作者: 李中梁( 智源社群)
2021可謂是AI醫療商業化元年,政策的利好和資本的聚集催生了AI在包括醫學影像診斷、慢病管理、醫療資訊服務等醫療領域各個子賽道的深度賦能。在更加前沿的領域,國內研究者在臨床上的探索也從未止步,與馬斯克的侵入式腦機不同,非侵入式腦電帽利用電極收集人腦複雜的電訊號,癱瘓病人透過主動的運動想象獲得康復的可能。在近日智源社群的訪談中,騰訊天衍實驗室主任、AIMBE Fellow鄭冶楓博士深入講述了有關AI醫療落地的幾種不同方向。
騰訊傑出科學家、騰訊天衍實驗室負責人 鄭冶楓
鄭冶楓, 騰訊天衍實驗室主任、AIMBE Fellow。1998年,鄭冶楓教授畢業於清華大學電子工程系並保送本系研究生,之後在美國馬里蘭大學電子與計算機工程系攻讀博士學位。畢業後,鄭冶楓博士加入西門子美國研究院,專注於智慧醫學影像分析。任職期間,鄭冶楓博士發明了投影空間學習法,用於醫學影像中器官的快速檢測與分割,並於2011年獲得美國專利授權,旋即獲得當年的愛迪生專利獎。
採訪物件:鄭冶楓
採訪人員:李夢佳、李中梁
整理:李中梁
騰訊天衍實驗室:騰訊天衍實驗室是人工智慧實驗室,聚焦於醫療AI,主要職責是支援公司醫療線的業務。整個實驗室主要分為三個方向,一是醫學影像分析,二是醫學自然語言理解,三是醫療大資料方向。騰訊天衍實驗室於2018年9月成立,實驗室主要成員為“海歸”博士,至今三年已申請300多項專利,發表60多篇論文,獲得多次醫療AI競賽的冠軍。目前實驗室在腦機介面等前沿研究上亦有佈局。
研究歷程
Q:鄭博士,您能分享下您的研究經歷,介紹下自己的代表性工作嗎? A:從我98年本科畢業讀研究生算起,至今有20多年時間。我一直從事的是計算機視覺相關的研究工作。我在碩士和博士期間做的是文字影象識別(OCR,optical character recognition)。進入醫學影象領域也有些機緣巧合,在我博士最後進入西門子美國研究院實習,西門子公司生產CT,核磁共振,超聲X光等高階的醫學影像裝置,硬體生產主要在德國,軟體開發和影象的智慧分析在美國研究院,最後轉正留下,然後就進入這個領域了。
坦率地講,我挺喜歡這個領域,首先醫學影象分析和我之前做課題都屬於計算機視覺不同分支,專業非常匹配,而且做醫療比較有成就感,我們做的東西能夠給醫生用,能夠幫助到病人甚至減少醫生的誤診,可以拯救病人生命,所以就一直堅持下來。我在西門子從06年工作到17年,在18年1月加入騰訊,至今也快4年了。
Q:從您的角度,國內外的科研環境有什麼差別嗎?
A:我覺得現在國內的科研環境和氛圍在迅速提高,與國外的差距已經不大了。不過,不同的公司在文化上、能觸達的使用者群體上還是有比較明顯的差異。在17年下半年獵頭聯絡我說騰訊在組建醫學影像分析團隊時,我其實還沒有做好準備。不過在和騰訊面試過程中,我發現這家公司非常踏實。在西門子的時候,主要是銷售硬體,我們做的軟體常常是作為贈品搭配。騰訊不做硬體,會有非常多的資源傾斜在軟體開發上,很多產品的設計都是圍繞我們AI的能力。例如我們剛拿到的新冠肺炎輔助診斷三類證,它的核心功能就是給定病人的CT影象,用AI演算法去判斷是不是肺炎。在騰訊還有一個好處是我們可觸達的使用者群體非常大。去年新冠疫情期間,我們上線了騰訊健康小程式,我們給十幾億微信使用者提供自動匹配最近的發熱門診等功能。在工作節奏上,我認為不同的公司文化是有適應的過程。在美國基本上是一年一個專案,大家節奏不是特別快。在騰訊節奏會快一些,我們會根據專案發展形勢及時調整,有的方向我們會重點投入,調整優先順序。
Q:您的履歷中提到了一種投影空間學習法,用於器官的檢查和分割,可以給我們介紹些您這些年的代表性工作嗎?
A:這個工作是我06年加入西門子就開始做的。當時深度學習還沒有火起來,可以說是人工智慧的寒冬。我們是最早一批把機器學習應用於醫學影像分析的科研人員。當時機器學習的方法不是學術的主流,會遇到一些阻力,CT,核磁影象的器官、病灶的檢測和分割主要使用非機器學習的方法。但是我們當時認為,傳統方法下限很高,但是上限很低,這種方法可以調整的引數太少,以至於訓練影象增加到成百上千,模型的效能也不會發生太大的變化。而機器學習,特別是現在流行的深度學習方法,下限很低但是上限很高。這種方法只有樣本數量足夠多的時候才能有效果,但是隨著樣本越來越多,效果也會越來越好。我們當時比較堅信機器學習在醫學影像分割上會大有可為,有很多工作可以做,因此提出了一個叫投影空間學習法。
簡單介紹這個方法。第一步是做器官的定位,我們用可以旋轉拉伸的矩形框去表示這個器官。做完這一步後,我們大概就知道這個器官的位置、姿態和形狀。第二步我們做精細分割。在這個方法中,第一步的預測結果很重要,如果沒找準,後面分割都會偏掉。我們第一步預測的矩形框包含九個引數:三個引數代表物體中心位置;三個引數代表三個旋轉方向;還有三個引數,表示沿不同的方向去拉伸長寬高。當時機器學習演算法直接去預測這九個引數很難,所以我們當時把整個過程分成三步。第一步我們預測這個器官/病灶的中心,再預測它的旋轉方向,最後預測長寬高。
因為最後預測結果是九維的高維空間的解,而我們每一步的求解都是在一個低維空間中,所以叫投影空間學習法。這個方法速度非常快,在CPU上僅需要零點幾秒就能預測器官的姿態。第二步分割的時候我們也採用類似的方法,訓練二分類器預測器官的表面位置進行器官分割。投影空間學習法非常通用,在內部有50多個專案使用了我的方法。後面我們也為這個方法申請了專利,2011年拿到了美國的托馬斯.愛迪生專利獎。
技術路線與最新進展
Q:天衍實驗室的技術路線主要有醫學影像和自然語言處理,目前實驗室在不同技術路線上哪些新的進展呢?
A:影像方面,我們最近取得的一個里程碑式進展就是我們的新冠肺炎CT輔助診斷系統在八月份獲得了NMPA三類證,可以進入臨床了 。在網際網路科技公司中我們是首個獲得三類證。目前疫情何時結束還未知,我們希望開發的肺炎篩查系統可以在疫情防控,特別是常態化防控中發揮一些作用。在自然語言處理與大資料上,我們希望用知識圖譜的方式,將醫學場景中的許多知識表達出來,基於這個知識圖譜進行推理。一個突破是,我們提出了知識自動提取的方式。我們讓AI學習臨床病例,構建知識圖譜自動識別系統,進行關係抽取。我們的研究論文也發表於自然語言處理頂會ACL 2021,同時也在一些醫療AI競賽上獲得了冠軍。
另一個突破是,圖譜的對齊與合併 。不同的業務可能會用到不同的圖譜,比如“合理用藥”這個業務會用到藥物圖譜,疾病輔助診斷這個業務會用到疾病和症狀的圖譜。每個業務各自往前發展,圖譜不斷地豐富,但我們最終需要把它們合併成一個大的醫療圖譜,這樣就可以有很大的通用性。這兩個不同圖譜有些節點代表同一個知識,比如說疾病的節點,在藥物圖譜和症狀圖譜中都出現了,我們就需要把這個節點自動找出來。人工去匹配很慢,因為圖譜節點都是上百萬、幾千萬級別的,所以需要AI自動地去做對齊合併。
Q:有關腦機介面,天衍實驗室在這方面有什麼進展可以介紹一下嗎?
A:腦機介面更偏向前沿探索,我們大概在兩年前就開始佈局這個方向。腦機介面分為侵入式和非侵入式兩種。天衍做的是非侵入式研究,具體來說是運動想象。我們用一種非侵入式的電腦帽,上面有64或者128個電極,被試者戴上電腦帽後可以去有意識地想象一些東西。對於癱瘓病人來說,可以去想象運動左手或者右手,我們用電腦帽收集資料,將這個資料進行解碼,後面用AI演算法來判斷被試的意圖,用識別結果來驅動相應的機器人完成動作。
其中的一個挑戰是非入侵式的腦機介面收集到的電訊號微弱,信噪比低。第二個是人與人之間的差異大。人腦在高速運轉,除了在運動想象,還會下意識地完成很多功能,所以電訊號非常複雜。目前我們主要用深度學習來進行訊號的分解,成果也是受到業界的認可。去年12月我們參加世界機器人大賽,獲得了腦控機器人賽道運動想象類的冠軍。我們實驗室主要是做醫療AI的,所以希望腦機介面可以應用於臨床。
中風是中國死亡人數最高的疾病,四個去世的人中有一個就是因為中風。中風病人很多有一些肢體殘疾,可能身體左邊癱瘓了,左手動不了。在康復過程中,需要每天透過運動來刺激左手,透過一定量的運動刺激來重新建立肌肉運動功能,達到運動康復的目的。中風病人早期進行運動的時候,通常是家人幫助運動,不是主動式運動康復,效果不是太好。我們做的是主動式運動康復,患者帶上腦電帽,腦機介面將想象訊號解碼驅動外骨骼機器人運動,進而患者透過非常努力的主動想象來刺激神經元接管運動控制的功能。目前我們的專案在天津環湖醫院開展臨床實驗,得出嚴格的臨床實驗結果還需要時間。
臨床落地Q:在臨床落地方面,與醫生的合作會給你帶來哪些新的啟發或者思路?
A:我在和不同醫生合作的過程中還是會受到不同的啟發。例如在自然語言理解的方向上,大家希望利用AI助力分診,一些小病在基層醫院解決,同時利用AI輔助診斷來提高基層醫院的診斷準確率。在合作的過程中我們和醫生溝通非常頻繁,確實會挖掘出醫生很多的需求,特別是很多之前沒有關注到的需求。我們根據這些需求又新增了鑑別診斷和書寫病歷報告模組。
我們還開發了“合理用藥”的功能。用藥是比較複雜的,每個人病情不同,即使是同樣控血壓的藥也有三五種。但是不同的藥有不同的副作用,對某些病人來說,他可能不適合某種藥。但是給病人開出合適的藥需要花許多時間仔細看完病人的完整病歷記錄,否則有可能開錯藥。用AI分析病人的完整病歷進行用藥推薦就非常方便,並且最後是否用AI推薦的藥由醫生把控。在和醫生的合作中我們發現需要讓醫生先真正用上我們的產品,再根據需求進一步迭代我們的產品。
Q:您和醫學背景出身的人一起工作有什麼感受,印象最深的是什麼?
A:我主要的感受是現在人工智慧能力被神化,比如說100%的準確率,超過人類專家,這個有點過了。
好處是能引起大家對這個行業的重視。但不太好的就是對人工智慧的期待過高,這是一個很大的挑戰。在和不瞭解人工智慧的醫生合作前,我們會把使用者的期望稍微降低一點,告訴他們演算法的優點和缺點。
比如現階段的這個人工智慧演算法需要大量資料,需要高質量標註,演算法的上限是由資料決定的。更多的訓練資料,更高質量標註,演算法可能還能夠再往前走一點。還有就是演算法在某個特定任務上,可以透過大量資料訓練出一個非常好的模型,可是訓練好的模型舉一反三能力比較差,不能期望今天能識別這個疾病,然後明可以立馬去識別下一個疾病。
我覺最重要的是兩邊在期待值層面能夠達成一些共識。此外我們研究員跟醫生聊之前要花一兩天時間看一看相關的基礎知識,熟悉醫學術語。總體來說,我們跟醫生合作還是比較愉快的,中國醫生的合作態度比較開放。我在西門子的時候去過德國訪問過,在美國好多醫院我也去過,發現中國醫生對合作創新的態度相對比較開放,會嘗試用新的技術,美國、德國醫生他會相對保守一點,因為他們的這套流程,做了二三十年,不太喜歡改變。如果說AI演算法能幫他們減輕一些工作壓力,中國醫生還是非常願意去嘗試的。
Q:您和國內哪些知名的計算機或者醫療團隊有過合作?
A:我們和高校的合作比較多。最近我們一個重要的合作是騰訊和鍾南山院士團隊在疫情期間建立了聯合實驗室。騰訊AI Lab和鍾院士團隊利用AI技術分析新冠病人入院後有多大的機率會惡化,有多大的機率會需要到ICU治療。這樣我們可以結合AI預測的結果,提前關注病情更容易惡化的病人,在資源和關照方面都對這些病人給予更多的關注,降低他們的死亡風險。這項工作發表在Nature Communications上。
我們和鍾院士團隊在疫情防控上也做了一些工作。我們分析了全球100多個國家的新冠疫情管控措施,大致分為八類。我們希望可以定量地評估各種防疫措施有多大機率降低新冠傳播風險。我們分析了關閉學校、取消集會、取消國際航班等措施對新冠防控的作用。我們發現關閉學校是最有效的,類似的關閉工作場所、取消公眾集會都大約會在採取措施的兩週後開始生效,大概一個月左右達到效果最高峰,之後效果慢慢衰退。該研究最近剛剛被Value in Health期刊接收,這是我們實驗室和鍾院士團隊合作的第二個專案。
第三個和鍾院士團隊合作的專案主要做流感趨勢預測。我們希望可以提前一到兩個星期預測流感高峰的到來,以採取關閉幼兒園等措施來進行干預。這個工作目前也取得了一些階段性的成果,我們希望最終能形成實時的流感指數,每天或者每週公佈一次,預測流感的爆發。
我們在腦科學領域的另外一個工作是和美國Allen Institute(艾倫腦科學研究所)以及東南大學腦科學研究院合作。這個工作開展了兩年多,主要目標是解決一個科學問題:分析神經元。大腦中有大量神經元,神經元體積很小,連線關係又特別複雜,我們對大腦工作機理的瞭解還比較淺顯。這個專案的目標就是繪製一個腦圖譜,將腦中各個區域的神經元連線關係和形態都提取出來。這項工作成果剛剛發表於Nature正刊。
Q:未來五到十年,您覺得有哪些臨床問題,或者說新的場景亟待解決?
A:我不是臨床醫生,我的回答可能會有些片面,我根據我的接觸情況做一點預測吧。醫院服務的線上化應該會是一個長期趨勢,會持續地普及。因為目前醫生短缺,導致病人就診體驗非常差。有個說法“三長一短 ”,“三長”指掛號時間長,候診時間長,取藥時間長,“一短”指就診時間短,幾分鐘就結束了。
醫生短缺是一個長期存在的問題。中國醫生和美國醫生是差不多數量的,但中國人口是美國的四五倍,這就導致了一箇中國醫生面對的病人是美國的四五倍,導致國內醫生短缺。培養一個醫生大約要十年的時間,很難從技術上解決“一短”的問題,但是可以用技術解決“三長”的問題。
比如智慧掛號服務、互動問答環節推薦就診科室、預問診,並自動生成初步診斷報告給到醫生,這些動作就是在試圖把“三長”的問題變短。在診斷時醫生可以做進一步追問,他可以花費更多時間和病人溝通,把醫生這幾分鐘的就診時間高效利用起來,這是我們預問診的一個功能。騰訊在醫療支付上也為患者的便利考慮,使用電子醫保憑證,把各種醫保的資訊拉通,不需要患者支付後自己走一遍醫保報銷途徑。在取藥環節,我們也響應國家的處方流轉政策,患者並非只能在醫院病房去等藥,也可以把處方流轉到連鎖藥店,或者自動配送到家中,這樣可以方便患者
。Q:最後,您對從事醫療影像研究或者是醫療AI的青年學者有什麼建議?
A:我談談個人體會吧,我在這個行業也將近20年了。首先作為研究員,應該追求推動前沿技術的發展。但是,醫療人工智慧是一個應用學科,所以還是需要落地,解決一些實際臨床問題,我覺得這樣這個學科才能發展更好,如果太偏理論,輕落地,實際上整個行業很難發展起來,所以我覺得還是要跟醫生多溝通,去挖掘醫生的一些痛點,比如我剛才提到的智慧輔診專案,一開始只做某個疾病的判斷,後來又應用於病歷的質量控制、智慧開藥等。
和醫生的交流促使你拓展研究領域,發現新的應用方向,最終你的專案、技術可能就落地到醫院去了,我個人還挺看重這個的,因為一篇論文可能真的就躺在那兒了,最多有些人引用一下而已,研究成果沒有對社會產生太多價值。這個演算法真的用到醫院去了,醫生用了服務到、幫助到病人,個人會有更大成就感,所以我希望我們的青年研究員能夠關注一下落地。
另外,醫療是一個很慢的行業,需要長期持續的投入。 從idea,資料原型到最終落地,它是很漫長的過程,有些產品還需要嚴格的認證才能上市,所以我們就不能太追求短平快,幾個月就想出結果,這個不太適合醫療領域和行業。當然,這裡面就需要一些情懷,因為真的認可這份事業你才能真的去堅持,如果不夠認可就可能會去追求其他快速的回報。這就是我個人的一些體會。