美團是一家集生活服務及商品零售的電商平臺，公司聚焦“零售+科技”戰略，以“吃”為核心，透過科技創新，服務於生活服務業需求側和供給側數字化升級。美團在中國業務涵蓋餐飲、配送、網約車、共享單車、酒店及旅遊預訂、電影票務等 200 多個服務品類，覆蓋全國 2800 個市區縣，服務 6.7 億活躍使用者和 830萬活躍商家。
伴隨著使用者規模的提升和業務的精細化運營，業務側對推薦系統的準確度、吞吐能力和時延都提出了新的挑戰，而 CTR 模型作為推薦系統的核心模型，其效果直接影響業務的收入。
美團的 CTR 模型過去一直在使用 CPU 推理的方式，但隨著使用者訪問量的提升和深度神經網路的引入，CTR 模型結構趨於複雜，吞吐和計算量也越來越大，CPU 開始不能滿足模型對於算力的需求，而僅僅透過 CPU 伺服器的堆疊帶來的效能提升價效比相較偏低。
而 GPU 擁有數以千計的計算核心，可以在單機內提供密集的平行計算能力，特別適合深度學習場景，在行業內已經在 CV 、NLP 等領域展示了強大的能力。透過 CUDA 及相關 API ，NVIDIA 建立了完整的 GPU 生態系統。基於此，美團基礎研發平臺將 CTR 模型部署到 GPU 上，並透過一系列針對 CPU 與 GPU 的異構系統平行計算設計、資料儲存方式和傳輸方式上的特定最佳化，希望能透過 GPU 強大的計算力，協助美團在 CTR 預測的各業務場景中發揮出最大優勢。
為了解決算力瓶頸及上述各種挑戰，美團機器學習平臺採用 NVIDIA AI 計算平臺，在繼 CV 、NLP 及 CTR 訓練後，也使用了 NVIDIA T4 來提供 CTR 預測支援，大幅提升使用者體驗與服務穩定性。除此之外，時延也是業務側非常重視的效能指標，許多複雜模型縱有更好的準確度，但卻因響應時間不達標而無法落地應用，例如，在某搜尋框自動補全的場景，由於天然的互動屬性，時延要求非常苛刻，一般來說無法使用複雜的模型。而在 GPU 能力的加持下，其複雜模型的平均響應時間從 15 毫秒降低至 6~7 毫秒，足足縮短了一倍多，達到了上線要求。
透過 NVIDIA T4 深度最佳化方案，成功為美團 CTR 模型創造更多應用機會，不僅極大地提升了系統吞吐量，更進一步地提升了整個模型訓練的速度與降低訓練成本，落實 AI 框架在 GPU 上效能推理的最佳化實踐。
透過 NVIDIA T4 深度最佳化方案，成功為美團 CTR 模型創造更多應用機會，不僅極大地提升了系統吞吐量，更進一步地提升了整個模型訓練的速度與降低訓練成本，落實 AI 框架在 GPU 上效能推理的最佳化實踐。
美團研發工程師，機器學習平臺預測引擎負責人王新表示，“ 在美團和英偉達的共同努力下， CTR 預測服務成功的遷移到 GPU 平臺上，在為業務提供更好的支撐的同時也獲得了更好的價效比；下一步，機器學習平臺計劃採用 NVIDIA Triton 推理服務框架和 NVIDIA Ampere A30 ，進一步提升美團推理服務的效率。”
