在我們實際演算法開發的過程中,常常會遇到一些問題,例如算力不夠用、資源利用率不高,真實場景資料集難以獲取等。如果能有一套邏輯完整、資源全面又好上手的一站式開發工具,這些問題都能得到很好的解決。
極市平臺便是面向這些AI演算法開發問題所提出的解決方案。作為一個包含演算法開發全流程的AI平臺,極市平臺可以實現從資料生產到演算法落地一站式線上開發,包括編碼、訓練和測試,同時開發效率相比線下可提升60%以上。
不論是在極市平臺參加競賽、演算法打榜還是專案,都需要在極市平臺進行線上演算法開發。極市平臺的功能模組十分完整,不僅有開箱即用的開發環境,還有隨時儲存的雲端編碼、算力充足的智慧訓練以及規範快捷的自動測試。透過這些全面的演算法開發基建支撐,在極市平臺進行演算法開發可以更專注於開發工作,從而大大提升開發效率。
今天我們就來簡單的為大家介紹一下極市AI演算法開發平臺的幾大主要的功能板塊以及它們的工作方式,之後我們還會帶來每一個功能板塊的詳細技術原理和使用技巧,歡迎大家關注。
線上演算法開發
極市AI演算法開發平臺包含編碼、訓練和測試三個相互隔離的環境,其中編碼環境是進行演算法開發的環境,訓練環境用於演算法模型訓練及模型生成,測試環境則用於評估演算法模型的質量和效能表現。
編碼
極市平臺開發效率的提升主要得益於這幾點功能:
1 |
配置了所有必要工具和主流深度學習框架的開發環境 |
2 |
根據習慣建立自定義映象,並支援在所有開發任務中使用 |
3 |
提供雲端IDE,並實時儲存程式碼和資料備份 |
4 |
高質量的真實場景資料集 |
極市平臺提供開箱即用的開發環境,它的編碼環境安裝配置了所有必要工具的雲伺服器例項(Linux),並且配備了主流的深度學習框架,包括TensorFlow、PyTorch、MXNet、DarkNet等,不需要進行繁瑣的前置配置。
如果基礎元件不滿足開發需求,還可以透過 apt、pip 等工具來安裝額外的軟體。值得一提的是,極市平臺還可以根據開發習慣來建立自定義的映象,配置好自定義映象後,可以在所有的開發任務中使用,這樣便能明顯提升開發效率。
此外,極市平臺的編碼環境還提供 JupyterLab、Visual Studio Code 這兩個雲端 IDE,可以按照習慣進行選擇或隨時切換。編碼環境所有程式碼都是實時儲存的,也有完備的資料備份機制。只要有網路,就可以繼續開發,完全不受時間和空間的限制。
高質量的資料是高質量模型的前提,在極市平臺進行演算法開發基本不用擔心資料集的問題,因為極市平臺會提供來自真實場景的資料集,並且已經做好相應資料標註。
PS:因為資料集來自真實業務場景,所以其有較強的保密性要求,這也是編碼環境、訓練環境和測試環境相互隔離的原因之一。開發者無法在編碼環境中直接接觸完整的資料集,但可以在路徑/home/data/ 下檢視樣例資料集。
訓練
在編碼環境中完成演算法程式碼開發後,即可建立發起訓練。訓練任務成功啟動後,平臺會將編碼環境及環境中的所有檔案完整克隆為正式的訓練環境,然後使用預置的訓練資料集開始模型訓練。
模型訓練過程中,可以隨時登入極市平臺檢視實時訓練日誌。訓練任務結束後,平臺還會提供訓練日誌、終端日誌和結果曲線。
極市平臺還有模型管理功能,每次訓練得到的模型都會自動儲存在模型列表當中,並支援選擇當中任意版本再次訓練或發起自動測試。當然,模型訓練不一定需要從零開始,極市平臺還支援上傳載入本地預訓練的模型進行訓練。
測試
為了規範評估標準以及加速演算法迭代,極市平臺內建了自動測試框架JiTest,它由極視角獨家首創,能快速、多維度自動評估模型質量,評估指標包括F1-score、FPS、硬體能耗值等。
進行模型自動測試的方法很簡單,只需要按照極市平臺的說明文件封裝成標準測試SDK,就可以快速發起任務。與訓練任務類似,極市平臺支援檢視實時日誌,並在任務結束後提供完整的測試報告,根據報告內容便可以對當前的模型進行準確的評估。
最後,極市平臺還預置了模型轉換工具,能夠快速的完成演算法移植,並實現演算法在不同架構的硬體平臺上的推理與釋出。
以上就是極市AI演算法開發平臺的基本功能介紹,在接下來的文章我們會更詳細地解碼這些功能。另外,極市平臺已經上線了包括演算法打榜、演算法競賽、深度學習課程以及公開資料集等多個模組,如果你還沒有使用過極市平臺,可以在這些板塊進行嘗試。(PS:極市平臺還提供免費算力哦!
點選進入:極市開發者平臺