蕭簫 發自 凹非寺
量子位 報道 | 公眾號 QbitAI
看場直播或影片，結果卻看中了主播的衣服、褲子甚至裙子？
現在，你不再需要手動截圖識別了——
已經有人將AI用在直播商品識別技術中，幫你自動“挑出”其中的商品。
為了提升AI識別直播商品的準確率，阿里淘系技術聯手浙江大學，在全球頂會ACM MM 2021的Workshop上搞了個AI識別大賽，甚至拿出1萬美金（6.3萬人民幣）獎勵TOP 3。
來自清華、北大、中科院、CMU、浙大、哈工大、華科等高校的587支隊伍紛紛參賽，力圖研究出更好的演算法。
最終，來自中科院計算所的「mcg」奪得冠軍，來自北大、南京大學、湖南大學的「寫的程式碼都隊」奪得亞軍，來自中南大學、DGUT和華南理工大學的「百億補貼matchmatchmatch」獲得第三名。
這場比賽究竟比了些什麼，背後的Workshop又有些什麼內容？
我們一起來看看。
多模態技術識別主播帶貨
相比於用一張截圖進行商品識別，直播的商品識別還需要考慮更多因素。
從難度來看，直播時主播並非完全不動，而是會走動、轉動來展示商品的形態，衣服非常容易發生形變、模糊；
同時，畫面背景中還存在其它衣服的干擾、同時還可能面臨直播遮擋、服裝相似等問題。
從優勢來看，直播時呈現給AI的資訊量也會更多，包括主播的語音、帶貨商品標題等，都會在畫面直播的同時呈現出來。
如果能結合語音識別，透過多模態技術增加模型輸入資訊量，就能有效提升商品檢索的準確率。
具體來說，直播商品識別的過程是這樣的：
首先，對輸入的影片解析成影片幀，再利用AI目標檢測進行商品識別；
然後，再從影片中提取出語音進行AI語音識別，利用AI模型提取出有用的商品描述資訊。
最後，利用多模態獲取的資訊，在商品資料集中進行檢索，預測出最合適的商品，並給出對應的標籤。
為了讓選手們更好地識別商品，淘系技術還透過這個Workshop，開源了業界首個大規模的多模態影片商品檢索資料集，包括50000對匹配的影片片段。
其中，這些影片片段都是從淘寶直播和產品商店的直播中提取的。
標註也非常詳細，包括產品類別、邊界框、視點型別、展示型別、例項ID、標題描述和語音識別文字都有所涉及。
事實上，這已經不是淘系技術第一次舉辦這項比賽了。
中科院再次奪冠
這場今年4月27日發起的比賽，是第二屆淘寶直播商品大賽。
這是一個多模態領域的國際挑戰賽，由阿里巴巴淘系技術聯合浙江大學教授莊越挺、悉尼科技大學教授楊易、天津大學教授韓亞洪等國內外知名學者發起。
相比於第一屆大賽，第二屆大賽在賽題設計上，主要做了兩點改進：
- 注重全類別的識別效果，尤其是長尾的商品類別、視覺紋理簡單商品的識別等
- 強調多模態等資訊(主播講解語音、商品標題)，對精確識別視覺相似講解商品的重要性
也就是說，這屆AI模型考驗的不止是某幾種商品的識別準確率，而是AI對直播中商品的“整體理解能力”。
除了看清楚商品以外，AI還需要知道這是哪種類別的商品，並儘可能收集影片中的各種資訊，包括語音資訊等，來確認自己看到的是哪一種商品。
同時，由於這次更注重長尾商品類別的識別，因為各類別資料集的大小不一樣，評估方式自然也要有所變化。
這裡採用了Macro F1的評估標準，計算方法如下：
比賽也需要透過預賽、半決賽和決賽三場比賽，從最初的提交結果中依次篩選出20支和10支隊伍，進行最終的測試集測試，並進行復現。
最終，來自中科院計算所的「mcg」從587支隊伍中脫穎而出，取得了0.69的高分，超過baseline 0.22，排名TOP 3的三支隊伍評估分數也均超過0.6。
而在第一屆淘寶直播商品識別大賽中，同樣也是來自中科院和吉林大學的隊伍奪得冠軍。
這場比賽的目的，是希望能推動電商直播場景中多模態商品檢索識別的研究、以及AI技術在實際應用場景中的落地。
當然，除了這一場比賽之外，在ACM MM 2021的Workshop中，還有不少收穫。
共收錄5篇論文
一方面，在論文徵集部分，這次Workshop一共接收了5篇論文，包括兩篇long paper，三篇short paper：
此外，還有不少AI領域的教授也在這次Workshop上做了演講，其中就包括新加坡國立大學計算機學院的KITHCT講座教授Tat-Seng Chua、北京航空航天大學的劉偲副教授、悉尼科技大學青年研究員朱霖潮、淘系技術高階演算法專家陳志文。
除此之外，來自中科院、北大、中南大學、清華、華中科技大學的五位同學也在這場Workshop上進行了口頭報告，分享了他們的參賽方案和成果。
對於這次Workshop的目的，阿里巴巴淘系技術資深演算法專家李曉波表示：
這次Workshop透過提供真實的多模態商品識別的應用場景、資料，希望能夠促進更多學術和工業的結合，激發更多創新研究和技術落地。
對這個場景感興趣的小夥伴，可以在下方地址中獲取開源資料集~
淘寶直播多媒體商品識別資料集：
https://tianchi.aliyun.com/competition/entrance/531893/information
參考連結：
https://tianchi.aliyun.com/competition/entrance/531893/introduction
— 完 —
量子位 QbitAI · 頭條號簽約
關注我們，第一時間獲知前沿科技動態
