sponsored links

Github熱榜:2021年33篇最酷AI論文綜述!多位華人作者入選

編輯:小鹹魚

【新智元導讀】GitHub上,有一位小哥放出了「2021年充滿驚喜的人工智慧論文綜述」這個專案。目前,裡面總結了33篇今年必看論文,堪稱「良心寶藏」。這個專案仍在更新中,收藏一波,繼續追更!

現如今,AI技術突飛猛進,每年都會誕生很多優秀的論文。

想知道2021年有哪些paper是你不能錯過的嗎?

這不,在GitHub上,有一位小哥放出了這樣一個專案,目前,裡面總結了33篇今年必看論文,堪稱「良心寶藏」。

Github熱榜:2021年33篇最酷AI論文綜述!多位華人作者入選

https://github.com/louisfb01/best_AI_papers_2021

這個專案的名稱是「2021年充滿驚喜的人工智慧論文綜述」,作者是Louis-François Bouchard(GitHub名為louisfb01),上線一天就收穫314個star(持續上漲中)。

Louis-François Bouchard來自加拿大蒙特利爾,我目前在École de Technologie Supérieure攻讀人工智慧-計算機視覺碩士學位,同時在designstripe兼職做首席人工智慧研究科學家。

值得一提的是,Louis還在YouTube上有自己的頻道「What's AI」。

Github熱榜:2021年33篇最酷AI論文綜述!多位華人作者入選

What's AI主頁:https://www.louisbouchard.ai/

Louis之所以在YouTube上做「What's AI」這個頻道,是希望用簡單的語言分享和解釋人工智慧,為大家分享新的研究和應用。

Github熱榜:2021年33篇最酷AI論文綜述!多位華人作者入選

YouTube What's AI 頻道:https://www.youtube.com/c/WhatsAI/featured

Louis想為所有人揭開人工智慧「黑匣子」的神秘面紗,讓人們意識到使用它的風險。

Louis是一個很有分享精神的人,喜歡學習和分享他所學到的東西。他寫了不少文章,也在自己的頻道更新影片,在GitHub上也正在做一些有趣的專案。

Github熱榜:2021年33篇最酷AI論文綜述!多位華人作者入選

其實,「2021年充滿驚喜的AI論文綜述」已經是Louis更新「AI論文綜述」系列的第二年了。

在2020年,Louis也上線了「2020年充滿驚喜的AI論文綜述」專案,裡面是按釋出日期排列的AI最新突破的精選列表,帶有清晰的影片解釋,更深入文章的連結和原始碼。

Github熱榜:2021年33篇最酷AI論文綜述!多位華人作者入選

https://github.com/louisfb01/Best_AI_paper_2020

下面,就來看看「2021年充滿驚喜的AI論文綜述」裡面到底有哪些讓人驚喜的AI最新研究成果吧!

2021年充滿驚喜的AI論文綜述

儘管世界仍在慢慢復甦,但研究並沒有放緩其步伐,尤其是在人工智慧領域。

此外,2021年還強調了許多重要的方面,如道德方面、重視偏見、治理、透明度等等。

人工智慧和我們對人腦的理解及其與AI的聯絡正在不斷髮展,在不久的將來,也許有希望改善我們的生活質量。

精彩論文節選

1、DALL-E:Zero-Shot Text-to-Image Generation,來自OpenAI

Github熱榜:2021年33篇最酷AI論文綜述!多位華人作者入選

論文地址:https://arxiv.org/pdf/2102.12092.pdf

Github熱榜:2021年33篇最酷AI論文綜述!多位華人作者入選

一個Emoji的小企鵝,帶著藍帽子,紅手套,穿著黃褲子示例

論文介紹:

GPT-3表明,語言可以用來指導大型神經網路執行各種文字生成任務。

而Image GPT表明,同樣型別的神經網路也可以用來生成高保真度的影象。這個突破說明透過文字語言來操縱視覺概念現在已經觸手可及。

OpenAI成功地訓練了一個能夠從文字標題生成影象的網路。它非常類似於GPT-3和Image GPT,併產生了驚人的結果。

Github熱榜:2021年33篇最酷AI論文綜述!多位華人作者入選

和GPT-3一樣,DALL-E也是一個Transformer語言模型。它同時接收文字和影象作為單一資料流,其中包含多達1280個token,並使用最大似然估計來進行訓練,以一個接一個地生成所有的token。

這個訓練過程不僅允許DALL-E可以從頭開始生成影象,而且還可以重新生成現有影象的任何矩形區域,與文字提示內容基本一致。

Github熱榜:2021年33篇最酷AI論文綜述!多位華人作者入選

利用DALL·E生成企鵝抱枕

2、Swin Transformer: Hierarchical Vision Transformer Using Shifted Windows

Github熱榜:2021年33篇最酷AI論文綜述!多位華人作者入選

論文地址:https://arxiv.org/pdf/2103.14030.pdf

論文介紹:

這篇文章介紹了一種新的、可以應用於計算機視覺裡的Transformer,Swin Transformer。

Transformer解決計算機視覺問題的挑戰主要來自兩個領域:影象的比例差異很大,而且影象具有很高的解析度,在有些視覺任務和如語義分割中,畫素級的密集預測對於Transformer來說是難以處理的,因為其self-attention的計算複雜度與影象大小成二次關係。

Github熱榜:2021年33篇最酷AI論文綜述!多位華人作者入選

為了克服這些問題,Swin Transformer構建了分層Transformer特徵圖,並採用移位視窗計算。移位視窗方案透過將self-attention計算限制在不重疊的區域性視窗(用紅色標出),同時還允許跨視窗連線,帶來了更高的效率。

Swin Transformer透過從小尺寸的面片(用灰色勾勒)開始,並逐漸合併更深的Transformer層中的相鄰面片來構建分層表示。這種分層體系結構可以靈活地在各種尺度上建模,並且在影象大小方面具有線性計算複雜度。線性計算複雜度是透過在分割影象的非重疊視窗(用紅色標出)內區域性計算自我注意來實現的。 每個視窗中的面片數量是固定的,因此複雜度與影象大小成線性關係。

Swin Transformer在影象分類、目標檢測和語義分割等識別任務上取得了很好的效能,在三個任務中,Swin Transformer的時間延遲與ViT,DeiT和ResNeXt模型相似,但效能卻得到了大幅提升:COCO test-dev 58.7 box AP和51.1 mask AP,力壓之前的最先進結果2.7 box AP和2.6 mask AP。 在ADE20K語義分割任務中,Swin Transformer在驗證集上獲得了53.5 mIoU,比以前的最先進水平(SETR)提高了3.2 mIoU。 在ImageNet-1K影象分類中,它也達到了87.3%的最高精度,充分展現Transformer模型作為新視覺backbone的潛力。

該論文一作劉澤是中科大的學生,在微軟亞洲研究院實習。他於2019年獲中國科技大學學士學位,並以最高榮譽獲得郭沫若獎學金。

個人主頁介紹,其2篇論文和1篇Oral被ICCV2021接收。

Github熱榜:2021年33篇最酷AI論文綜述!多位華人作者入選

個人主頁:https://zeliu98.github.io/

3、StyleCLIP: Text-driven manipulation of StyleGAN imagery

Github熱榜:2021年33篇最酷AI論文綜述!多位華人作者入選

論文地址:https://arxiv.org/pdf/2103.17249.pdf

論文介紹:

這是一項來自以色列的研究人員的工作StyleCLIP,可以使用基於人工智慧的生成對抗性網路對照片進行超逼真的修改,並且只需要讓使用者輸入他們想要的東西的描述即可,無需輸入特定的圖片。

這個模型也會產生一些非常搞笑的結果。例如可以給Facebook 的CEO馬克 · 扎克伯格的臉隨意修改,例如讓他看起來禿頂,戴上眼鏡,或者在下巴上紮上山羊鬍。

這個「火星人」的臉上似乎也有了一點人類的感覺。

Github熱榜:2021年33篇最酷AI論文綜述!多位華人作者入選

StyleCLIP模型主要由StyleGAN和CLIP模型組成。

StyleGAN可以在不同領域(domain)生成高度真實影象,最近也有大量的工作都集中在理解如何使用StyleGAN的隱空間來處理生成的和真實的影象。

Github熱榜:2021年33篇最酷AI論文綜述!多位華人作者入選

但發現語義上潛在有意義的操作通常需要對多個自由度進行細緻的檢查,這需要耗費大量的人工操作,或者需要為每個期望的風格建立一個帶註釋的影象集合。

既然基於註釋,那多模態模型CLIP(Contrastive Language-Image Pre-training)的能力是否就可以利用上,來開發一個不需要手動操作的基於文字的StyleGAN影象處理。

Github熱榜:2021年33篇最酷AI論文綜述!多位華人作者入選

例如輸入可愛的貓(cute cat),眯眼睛的貓就被放大了眼睛,獲取了所有可愛小貓的特徵,還可以老虎變獅子等等。

4、GitHub Copilot & Codex: Evaluating Large Language Models Trained on Code

Github熱榜:2021年33篇最酷AI論文綜述!多位華人作者入選

論文地址:https://arxiv.org/pdf/2107.03374.pdf

論文介紹:

OpenAI在2020年,曾推出1750億引數的GPT-3,引數規模直逼人類神經元的數量。

GPT-3使用了在2019年之前的網際網路上的幾乎所有公開的書面文字進行訓練,所以它對於自然語言是有一定理解能力的,能作詩、聊天、生成文字等等。

今年夏天,OpenAI 釋出了 Codex。

Github熱榜:2021年33篇最酷AI論文綜述!多位華人作者入選

Codex基於GPT-3進行訓練,接受了從GitHub中提取的TB級公開程式碼以及英語語言示例的訓練。

只要你對Codex發號施令,它就會將英語翻譯成程式碼。

Github熱榜:2021年33篇最酷AI論文綜述!多位華人作者入選

隨後,你的雙手離開鍵盤,Codex會自動程式設計,火箭就自己動起來了。

而Copilot正是建立在OpenAI強大的Codex演算法之上,獲得了「海納百川」的程式碼積累和前所未有的程式碼生產能力。

Github熱榜:2021年33篇最酷AI論文綜述!多位華人作者入選

Copilot不僅僅可以模仿它見過的程式碼,而且還會分析利用函式名、方法名、類名和註釋的上下文來生成和合成程式碼,為開發人員提供編輯器中整行程式碼或函式的建議。

Github熱榜:2021年33篇最酷AI論文綜述!多位華人作者入選

它能減少工程師透過API文件做苦工的時間,還能幫忙編寫測試程式碼。

Github熱榜:2021年33篇最酷AI論文綜述!多位華人作者入選

5、Skillful Precipitation Nowcasting using Deep Generative Models of Radar

Github熱榜:2021年33篇最酷AI論文綜述!多位華人作者入選

論文地址:https://www.nature.com/articles/s41586-021-03854-z

論文介紹:

今天的天氣預測是由強大的數值天氣預報(NWP)系統驅動的。透過解決物理方程,數值天氣預報系統可以提前數天得到地球尺度的預測。然而,它們很難在兩小時內產生高解析度的預測。

即時預報填補了這一關鍵時間區間的效能空白。氣象感測的進步使高解析度雷達可以高頻地(在1公里解析度下每5分鐘)提供測量出的地面降水量資料。

Github熱榜:2021年33篇最酷AI論文綜述!多位華人作者入選

過去20分鐘的觀測雷達被用來提供未來90分鐘的機率預測

已有的短期預測方法,如STEPS和PySTEPS,沿用NWP的方法來考慮不確定性,但按照帶有雷達資訊的平流方程對降水進行建模。

基於深度學習的方法則不需要對平流方程的依賴,但現有方法側重於特定地點的預測,而不是對整個降水場的機率預測,這使其無法在多個空間和時間集合中同時提供一致的預測結果,限制了實用性。

Github熱榜:2021年33篇最酷AI論文綜述!多位華人作者入選

為此,DeepMind使用深度生成模型(DGMR)為機率預報開發了一種觀測驅動的方法。DGMR是學習資料機率分佈的統計模型,可以從學習到的分佈中輕鬆生成樣本。由於生成模型從根本上是機率性的,可以從給定的歷史雷達的條件分佈中模擬許多樣本,生成預測集合。此外,DGMR既能從觀測資料中學習,又能表示多個空間和時間尺度上的不確定性。

Github熱榜:2021年33篇最酷AI論文綜述!多位華人作者入選

結果表明,DeepMind的深度生成模型可以提供更好的預測質量、預測一致性和預測價值。模型在1,536公里×1,280公里的區域內產生了逼真且時空一致的預測,提前期為5-90分鐘。

Github熱榜:2021年33篇最酷AI論文綜述!多位華人作者入選

DGMR能更好地預測較長時段的空間覆蓋和對流,同時不會高估強度

透過50多位氣象專家的系統評估,與其他兩種競爭方法相比,DeepMind的生成模型以89%的絕對優勢在準確性和實用性兩方面排名第一。

其他有意思的論文都可以在Louis的GitHub主頁上找到,目前這個專案仍在更新中,收藏一波,繼續追更!

Github熱榜:2021年33篇最酷AI論文綜述!多位華人作者入選

參考資料:

https://github.com/louisfb01/best_AI_papers_2021

分類: 遊戲
時間: 2021-11-21

相關文章

NBA討論篇:新賽季常規賽MVP你看好誰?

NBA討論篇:新賽季常規賽MVP你看好誰?
候選人: 洛杉磯湖人隊,勒布朗-詹姆斯,上賽季資料:25分,7.7籃板,7.8助攻,新賽季的湖人兵強馬壯,老詹有可能獲得自己的第五座常規賽MVP嗎 金州勇士隊,斯蒂芬-庫裡,上賽季資料:32分,5.5 ...

21世紀後,誰能單賽季同時拿下常規賽mvp和總冠軍?僅僅四人

21世紀後,誰能單賽季同時拿下常規賽mvp和總冠軍?僅僅四人
要說NBA最具有含金量的幾個獎項,那麼無疑就是總冠軍,FMVP以及MVP了吧.如果能夠擁有這三項榮譽,那麼對歷史地位的排名是有很大的提升的.那麼在進入21世紀之後,有多少名球員是能夠在當賽季同時拿下常 ...

實力強橫如科比,為什麼只拿了一個常規賽mvp?

實力強橫如科比,為什麼只拿了一個常規賽mvp?
科比·布萊恩特,歷史第二分衛,nba最冷酷偏執的頂級殺手.在星光最璀璨的洛杉磯湖人退役了兩件球衣. 8號的科比,三個總冠軍,歷史上最強悍.也是第二偉大的二當家(沒辦法,皮蓬拿了六個戒指),單場81分歷 ...

DPOY這一獎項堪比常規賽MVP,盤點NBA歷史拿到三次以上的球員

DPOY這一獎項堪比常規賽MVP,盤點NBA歷史拿到三次以上的球員
說起MVP(最有價值球員)這一個獎項是對球員整個賽季的肯定,但是還有個獎項DPOY(最佳防守球員)是對球員整個賽季防守上的肯定,能拿到這個獎項的球員都是防守專家,DPOY這個獎項可以堪比常規賽MVP的 ...

德里克羅斯成功阻止詹姆斯常規賽MVP五連冠,08年狀元實至名歸

德里克羅斯成功阻止詹姆斯常規賽MVP五連冠,08年狀元實至名歸
羅斯獲獎 2008年選秀公牛隊用狀元籤選中了德里克羅斯,雖然因為傷病的原因,羅斯的職業生涯特別是後期的表現有明顯的下滑,所以就有媒體開始說如果08年選秀重新排名,狀元應該是維斯布魯克,因為威少的資料. ...

約基奇當選常規賽MVP後,一項資料衝上了歷史第二

約基奇當選常規賽MVP後,一項資料衝上了歷史第二
在2020-21賽季的常規賽MVP評選中,尼科拉-約基奇力壓喬爾-恩比德和斯蒂芬-庫裡而當選,這樣約基奇成為了NBA歷史上第二個當選常規賽MVP的次輪秀.儘管恩比德和庫裡都有當選MVP的理由,但是約基 ...

盤點NBA歷史最不值的常規賽MVP?

盤點NBA歷史最不值的常規賽MVP?
雖然掘金今年再次在季後賽中折戟,被太陽隊淘汰出局.但是他們的核心球員越積極,以無可爭議的表現,當選了本賽季常規賽的MVP.作為當今NBA聯盟最會傳球的內線球員,約老師是整個聯盟最會傳球的大個子球員,他 ...

常規賽MVP預測詹姆斯沒有一張選票!為什麼專家團喜歡針對詹皇?

常規賽MVP預測詹姆斯沒有一張選票!為什麼專家團喜歡針對詹皇?
隨著新賽季逐日臨近,近期有專家團預測新賽季MVP:杜蘭特排在第一位,庫裡和詹姆斯排在第六和第七. 專家團38.9%的第一選票.總計45分給了杜蘭特,最被看好當選新賽季MVP:上賽季FMVP字母哥獲得3 ...

TA阿德:萊昂納德將缺席很長一段時間 至少新賽季常規賽難復出

TA阿德:萊昂納德將缺席很長一段時間 至少新賽季常規賽難復出
直播吧9月24日訊 The Athletic名記David Aldridge撰文,談到了快船球星科懷-萊昂納德的傷病情況. 根據此前報道,萊昂納德遭遇前十字韌帶部分撕裂,已接受修復手術. Aldrid ...

錫安:扣最兇的籃,挨最毒的帽!成功榮膺上賽季“被封蓋王”

錫安:扣最兇的籃,挨最毒的帽!成功榮膺上賽季“被封蓋王”
近日,美媒曬出了上賽季被封蓋最多的球員榜單,其中鵜鶘隊的錫安赫然位居首位,騎士隊的塞克斯頓和尼克斯的巴雷特分別位居二三位,下面是部分球員的具體榜單資料: 第一位:錫安-131次 錫安 第二位:塞克斯頓 ...

ESPN預測明年MVP:杜蘭特壓字母哥東契奇,詹姆斯庫裡無第一選票

ESPN預測明年MVP:杜蘭特壓字母哥東契奇,詹姆斯庫裡無第一選票
ESPN預測明年MVP:杜蘭特壓字母哥東契奇,詹姆斯庫裡無第一選票 原創作者:好火子 美媒ESPN預測了2021至2022賽季MVP的歸屬,下面先看ESPN的具體預測名單,然後我再來吐槽,最後給出我心 ...

字母哥20-21賽季奪冠後、給他排名在歷史前30、合適嗎?

字母哥20-21賽季奪冠後、給他排名在歷史前30、合適嗎?
雄鹿隊取得2020-2021賽季總冠軍,還是出乎不少人的意外的.畢竟在季後賽開始前大家還是一致看好湖人.籃網.快船.沒想到字母哥在季後賽帶領雄鹿隊過關斬將拿下總冠軍. 字母哥能成長到這個地步基本又是很 ...

著名詹黑變本加厲黑詹姆斯,詹姆斯MVP排名應該在戴維斯後面

著名詹黑變本加厲黑詹姆斯,詹姆斯MVP排名應該在戴維斯後面
著名詹黑變本加厲黑詹姆斯,詹姆斯MVP排名應該在戴維斯後面! 近日,NBA評論員夏普和著名詹黑Skip在<Undisputed>這檔節目中就詹姆斯在美媒新賽季常規賽MVP排名第七進行了一番 ...

一年前今天字母哥成歷史上第12位連續兩年榮膺MVP的球員

一年前今天字母哥成歷史上第12位連續兩年榮膺MVP的球員
直播吧9月18日訊 一年前的今天,25歲的字母哥榮膺2019-2020賽季常規賽MVP獎項,這讓他成為了NBA歷史上第12位連續兩個賽季獲得MVP大獎的球員. 同時,有媒體也列出了字母哥近幾個賽季所獲 ...

名嘴:詹姆斯和杜蘭特不在一檔次 他MVP排名不應超濃眉

名嘴:詹姆斯和杜蘭特不在一檔次 他MVP排名不應超濃眉
ESPN此前對NBA新賽季常規賽MVP候選人進行了一番預測,其中杜蘭特位列第一,而勒布朗-詹姆斯則是排名第七.在節目<Undisputed>中,頭號詹黑,名嘴斯基普-貝勒斯就表示:&quo ...

東契奇距離MVP還有多遠?

東契奇距離MVP還有多遠?
每個賽季開始之前,誰能贏下MVP獎盃,都會成為熱議的焦點.去年此時,東契奇被看做最有機會在2020-21賽季捧起波多羅夫杯的球員.但最終,他在MVP的評選裡面僅僅位列第七,與最終的獲獎者約基奇還存在著 ...

一人一國!盤點世界各國最強最具影響力的籃球運動員

一人一國!盤點世界各國最強最具影響力的籃球運動員
籃球在世界的影響力非常大,有多少年輕人都在籃球中找到了屬於自己的快樂,每個國家都有代表性的籃球運動員在國際舞臺,或者NBA征戰,他們代表著一個國家最強的籃球實力,也是這個國家的驕傲,由於篇幅有限,只遴 ...

湖人OK三連冠時期,科比與奧尼爾相差大嗎?最客觀的分析告訴你

湖人OK三連冠時期,科比與奧尼爾相差大嗎?最客觀的分析告訴你
湖人隊曾在OK組合的帶領下,在99-00賽季.00-01賽季.01-02賽季實現過三連冠的霸業.奧尼爾憑藉總決賽超強的統治力表現連續三次獲得FMVP殊榮.所以一直有一種聲音說科比是抱巔峰奧尼爾大腿才奪 ...

事了拂衣去,深藏功與名!盤點NBA歷史上最難打破的10大紀錄

事了拂衣去,深藏功與名!盤點NBA歷史上最難打破的10大紀錄
競技體育的魅力之一就是超越極限,突破自我的成就感與興奮感,在NBA聯賽中,有些前人創造的紀錄卻難以打破,令人心生嚮往,由於篇幅有限,盤點筆者認為NBA10大最難以打破的紀錄,排名不分先後. 73勝9負 ...

美媒評現役十大中鋒,大帝屈居第二

美媒評現役十大中鋒,大帝屈居第二
10.約納斯·瓦蘭丘納斯:1992年5月6日出生於立陶宛. 把柔軟手感.觸球自然度.腳步優勢和健壯的身體結合起來,有效完成背身單打.完成切入.二次進攻.擋拆和定點跳投的技術動作,在擋拆和快攻中極具效率 ...