過去的一年見證了人類百年不遇的大事記，也見證了多種影片應用的厚積薄發。而因此所帶來的影片資料量的爆發式增長更加加劇了對高效編解碼這樣的底層硬核技術的急迫需求。正是在這樣的大環境下，在ITU-T VCEG和ISO/IEC MPEG兩大標準組織再次聯手推出的最新影片編解碼標準VVC定稿不久之後，阿里巴巴的影片團隊開始全力投入開展VVC軟體編解碼的開發工作。本次LiveVideoStackCon2021北京峰會我們邀請到了阿里巴巴研究員，阿里雲智慧雲影片標準與實現負責人葉琰老師來分享影片業界現狀、Ali266自研VVC編解碼器的技術演進史和業務展望、以及影片業界所面臨的未來機遇和挑戰。
文 / 葉琰
整理 / LiveVideoStack
大家好，我是葉琰，我是阿里雲智慧影片標準與實現團隊負責人。本次分享的話題是編解碼再進化：Ali266與下一代影片技術。
本次分享分成四個部分：首先是影片業界現狀、然後Ali266自研VVC編解碼器的技術演進史和業務展望，最後會從影片業界角度來看所面臨的未來機遇和挑戰。
01
影片業界現狀
不誇張的說，過去一年和現在所經歷的新冠疫情是人類百年不遇的大事。疫情打斷了正常生活節奏和人與人之間習慣的面對面交流模式，改變了非常多遊戲規則，同時觸發了先進影片影片科技產品的厚積薄發。全世界疫情情況各有不同，中國屬於疫情控制非常好的國家，因此人民日常生活基本照常，但是在疫情較為嚴重的國家和地區，由於受到疫情影響，人們的生活和工作發生了天翻地覆的變化。
這些變化包括幾個方面。首先無論是工作上的互動從線下轉到線上，大量使用雲會議，拿釘釘的視訊會議來講，到今天累計每天使用者時長超過了一億分鐘。另外，受疫情影響比較嚴重的國家和地區過半員工在家辦公，在家工作中透過遠端協同進行，和之前所習慣的面對面交流有了很大變化。不光是工作，人們的娛樂也從線下轉到線上，拿美國來講，在過去一年多電影院關門，雖然從今年夏天開始營業，但是看電影的人寥寥無幾。大家的娛樂生活主要依賴於家庭影院，包括明星也從線下轉到線上演出，透過線上互動方式與粉絲進行互動。
從影片業界的角度來說，我們在過去的一年見證了非常重要的里程碑，就是H.266/VVC新一代國際影片標準的定稿。VVC標準是從2018年4月正式開始標準化，經過兩年多時間，在2020年夏天達到Final Draft International Standard，也就是第一版的定稿。VVC在整個兩年多的旅程中，尤其最後半年，受到疫情影響，來自全世界各地近300名的影片專家日夜顛倒的參加透過網會的形式開展技術討論，終於如期完成H.266/VVC新一代標準制定。
與之前每一代國際影片標準類似，VVC相對於上一代HEVC標準頻寬成本減半。上圖表示VVC主觀效能測試結果，這裡展示的是VVC參考平臺相比於HEVC參考平臺，在相同主觀質量的前提下，VVC所能做到的頻寬節省。這裡面的影片內容分為5類，前兩列為UHD和HD，也就是超高畫質和高畫質影片，我們可以看到VVC的VTM參考軟體相比於HEVC的HM參考軟體可以達到43%到49%的頻寬節省。對於HDR和360全景影片這兩種更加新穎的影片格式，VVC可以做到更高的頻寬節省，分別達到51%到53%。最後一列是針對於低延時應用的測試，也就是使用視訊會議上所用的時域預測結構，由於預測結構收到了更多的限制，VVC所能達到的頻寬節省稍小，但也達到了37%，相當可觀。篇幅有限，這裡面只是展示了高度總結的數字，如果讀者對中間細節感興趣，可以去查一下JVET標準委員會T/V/W2020三個會議中主觀測試集報告，其中有非常多的細節可供參考。
在影片爆發和最新標準VVC定稿的背景下，阿里巴巴開始了Ali266技術開發。首先看一下Ali266技術演進史。
02
Ali266技術演進史
什麼是Ali266？我們希望它做到什麼？Ali266是我們對最新標準VVC進行編解碼實現，第一點希望做到高壓縮效能，拿到VVC所帶來的頻寬節省紅利；第二點是高畫質實時編碼速度，相較於HEVC，VVC編碼工具更多，保持實時編碼速度對於真正商用來說具有巨大的意義；第三點是讓Ali266具有完整的自成一體的編解碼能力，更好開啟端到端的生態。做Ali266是希望實現上述三個非常有挑戰的技術點，做到技術領先性，轉換成產品競爭力，並幫助我們進行業務拓展。
上圖展示了眾多的VVC編碼工具。我這裡把傳統的影片編解碼框架中的主要功能模組分成幾類，包括塊劃分、幀內預測、幀間預測、殘差編碼、變化量化、環路濾波、以及其他編碼工具。上面的藍色圓圈是HEVC的編碼工具，下面的紫色圓圈是VVC的編碼工具。我們可以看到，在相應的功能模組中，HEVC只有三四個相應編碼工具，而VVC支援更加豐富的編碼工具集，這也是它能夠有強大的壓縮能力並拿到頻寬節省紅利的主要原因。
編碼工具都具有一定的複雜度，因此每增加一個編碼工具都會相應帶來複雜度和效能的上升。上圖是JVET標準委員會在VVC標準開發期間跟蹤的每個編碼工具帶來的複雜度和能提供的編碼效能的全面概覽圖。這個圖中橫軸是時間，縱軸是編碼效能的上升，不同顏色點對應於不同的VVC編碼工具。其中橫軸越往右相當於一個編碼工具的複雜度越低，縱軸越靠上說明編碼工具帶來的效能越高。因此我們希望編碼工具落在右上角，但其實從圖中可以看到，VVC編碼工具基本上在右上角一片空白，更多的編碼工具能夠帶來1%、1.5%的效能增益，但是也有小幅的複雜度上升。這對於做編碼器最佳化提出挑戰，因為並不能只要抓住幾個主要的編碼工具進行最佳化就可以，而是要在豐富的編碼工具集中，針對當前的輸入影片能夠快速準確選擇應該使用的編碼工具，這是做H.266編碼器的主要最佳化難點。
上圖右邊的表展示的是在我們軟編系統對不同編碼工具耗時比進行profile，相應於左邊的圖，再一次驗證40%的編碼工具的耗時都不多，只佔了2%左右，但都提供效能，所以我們必須決定如何去選擇。另外，92%的編碼工具的耗時都不到10%，對整個工程演算法上的最佳化提出挑戰。
這圖裡面展示的不光是H.266編碼器最佳化所受到的挑戰，而是任何一個實時編碼器都會受到的挑戰。因為在影片編碼過程中，都要經歷壓縮效能上升、編碼速度下降的拉鋸戰，所以我們要做的是克服這個拉鋸戰。如果我們對比VVC參考平臺VTM相比於HEVC參考平臺HM，雖然頻寬減半，但是VTM的編碼速度只有HM編碼速度的八分之一，這是對實時編碼是不能接受的，所以接下來我主要講一下Ali266所進行的最佳化。
我們主要從兩個維度對最佳化工作進行介紹，首先是編碼質量（編碼效能）的最佳化。
我們在編碼質量和效能的保持上做了很多工作。由於篇幅有限，我只介紹一個例子，這裡我選的是預分析、前處理、和核心編碼工具的聯合最佳化例子。預分析選的是場景切換檢測，做編碼器的同學都知道每個商用編碼器能夠進行精準的場景切換檢測非常有必要；前處理選的是MCTF過程，下文會簡單介紹一下MCTF是什麼；核心編碼工具選的是VVC的新編碼工具LMCS。
這個是關於MCTF前處理過程的一個簡介。MCTF是motion conmpensated temporal filtering的意思，它是透過逐層運動搜尋和運動補償對輸入影片訊號進行時域上濾波，透過雙邊濾波器做時域上的濾波，可以進行有效的進行影片降噪，並且降噪在時域上發生的同時在空域上也起到降噪的效果。MCTF可以有效提升編碼效率，正是因為如此，VTM和VVEnc（VVC的開源編碼器）平臺上都有支援MCTF這個前處理過程。
那麼我們看一下場景切換和MCTF如何進行結合。上圖展示編碼器在淺黃低時域層影片幀上進行MCTF，由於MCTF要使用時域上的運動補償和搜尋，每個淺黃色的幀都有相應的淺灰的幀作為MCTF的參考幀，而淺藍色的幀與MCTF沒有關係。由於有時域參考的關係，因此遇到場景切換時需要對MCTF進行修改。我們可以看到，在正常情況下，第八幀是MCTF幀，它的前後兩幀共四幀是MCTF參考幀。遇到場景切換情況，比如在第十幀遇到場景切換，本來第十幀是MCTF參考幀，但是由於場景切換，第十幀會變成新的I幀，它的時域層相應下降，原來的MCTF濾波幀和MCTF參考幀必須進行調整，也就是淺黃色和淺灰色的幀會有調整。上下對比可以看見，因為場景切換，第八幀的MCTF參考幀調整為它的前三幀和後一幀，而第十幀變成MCTF濾波幀，其使用的MCTF參考幀為它的後四幀。
看一下場景切換和LMCS如何進行結合。LMCS是VVC中的新編碼工具，需要編碼器進行相應的引數計算，透過APS進行傳輸，這裡LM指的是luma mapping，調整亮度訊號動態範圍，讓亮度訊號更加充分利用動態範圍，比如說8bit是0-255動態範圍、10bit是0-1023動態範圍。由於在LM過程中對亮度訊號進行調整，需要進行CS過程，也就是chroma scaling，對同一個塊裡面的色度訊號做相應的調整，來補償亮度訊號調整對色度的影響。
此工具和場景切換如何結合呢？用剛才那個例子，第十幀發現有場景切換，是新I幀，新場景的動態範圍可能完全不一樣了，因此會在新的I幀上判斷是否需要進行LMCS引數更新，而且在相應的GOP預測結構改變後，新的幀會變成新的低時域幀，比如第26幀在GOP16情況下變成低時域幀，那麼我們會對運動是否比較劇烈進行判斷，如果運動劇烈，在低時域幀上也需要進行LMCS引數更新。
透過這樣的最佳化，場景切換+前處理MCTF+LMCS聯合最佳化能夠拿到什麼樣的效能呢？如果影片相當長，包括一次以上場景切換，如果單獨與LMCS一起最佳化，可以達到2%的頻寬節省；如果單獨與MCTF一起最佳化，可以達到2.1%的頻寬節省；如果三個同時進行最佳化，可以將效能完美疊加，得到4.1%效能增益。
如果一個影片中場景切換相當頻繁，達到2次以上，表中可以看出有進一步效能提升，從單獨最佳化分別達到2.1%和2.9%，到三者同時最佳化拿到5%效能增益。
如果還有更加頻繁的場景切換，那麼這個聯合最佳化的紅利會更多，和LMCS進行結合，可以達到3.6%；如果與MCTF結合，可以達到3.2%；如果三者一起聯合最佳化，可以得到6.8%的效能增益。大家做編碼器的同學都知道，6.8%的效能相當可觀，而我們可以透過預分析、前處理和核心編碼工具的聯合最佳化的方法拿到。
剛才主要介紹的是編碼質量效能的最佳化，接下來會從第二個非常重要的維度去看怎樣進行編碼的速度最佳化。
首先看一個示例。VVC非常有代表性的新工具是靈活的塊劃分結構，上圖對比VVC和HEVC對同一個場景的劃分對比，VVC是左邊，HEVC是右邊。在同一場景下，VVC透過更加靈活的塊劃分可以更加好的對物體輪廓進行描述。我們看一下放大圖。拿HEVC來講，由於只支援四分樹劃分，所以每一塊都是正方形的。VVC允許更加靈活的在水平方向、豎直方向進行二分樹（binary tree，BT）或三分樹（ternary tree，TT）的劃分。二分樹和三分樹統稱為MTT（mutli-type tree）。對比左邊的放大圖和右邊放大圖，透過長方形劃分，VVC對於手指描述更加精準。
雖然VVC用了更多的塊劃分方法得到更加好的物體輪廓描述，但是給編碼器帶來的困難是編碼器需要嘗試更加多的選擇，因此怎麼樣加速MTT劃分的決定對提升編碼速度非常重要。這裡我們使用了基於梯度的MTT加速概念。如果一個塊的紋理變化是在水平方向上比較劇烈，那麼在水平方向進行劃分的可能性就會降低，豎直劃分也是一樣的道理。如果拿水平做例子，基於這個觀察，對於每個塊進行塊劃分的具體決策之前先會計算四個方向梯度，包括水平方向梯度、豎直方向梯度、和兩個對角線上的梯度。拿水平方向來講，如果我發現水平方向梯度大於另外三個方向梯度，超過一定閾值，就說明當前塊在水平方向的紋理變化比較激烈，因此編碼器將不再進行水平的BT和TT的決策，加速編碼時間。
我們可以看到，這個技術的加速效果從絕對幀率、編碼器速度衡量來看，可以做到14.8%的提升，這個提速百分比相當可觀。當然，因為跳過了一些塊劃分的決策會造成效能下降，但是因為效能損失只有0.4%，從整體加速與效能價效比來說，這個是非常完美的快速演算法。
我們有其他非常多的最佳化工作，由於篇幅關係不一一多述。我來做一個Ali266編碼器小結。現在Ali266支援兩大檔次：Slow檔次，主要適用於離線應用，對標x265 veryslow檔次，Ali266 Slow檔次的編碼速度和x265 veryslow一樣，同時相比起x265 veryslow檔次可以達到50%的位元速率節省，也就是頻寬減半。同時Ali266還支援對於商業化來說非常重要的Fast檔次，對實時編碼速度要求嚴格的商業應用，可以做到720p30幀每秒實時編碼，在VVC編碼器速度業界領先，對標的實時應用，與x265 medium檔次相比，做到40%位元速率節省，是非常大的頻寬紅利。從編碼速度來說，我們並沒有停留在720p30，還在繼續開發2k和4k、8k超高畫質影片實時編碼能力。另外，在準備此次的分享過程中，Ali266已經做到了2k，也就是1080p30幀每秒的實時編碼能力，增加了我們挑戰超高畫質實時編碼的信心。我們後續持續推進Ali266的主要目標是繼續保持VVC的效能優勢，加速VVC商業落地。
講完編碼器，我接下來講一下解碼器，因為我們之前講到，開發Ali266的主要目標之一是提供完整的VVC編解碼能力。解碼器設計目標從商用角度來說有以下幾個，首先是實時解碼速度，甚至比實時更快；其次是需要解碼器非常穩定魯棒；然後是thin decoding的概念，希望解碼器比較輕。為了實現這些設計目標，我們從4個方面進行了最佳化，其中一個非常重要的維度就是從零開始。這個是說我們拋棄了之前所有的開源或者參考平臺的架構設計、資料結構設計，從零開始，按照VVC標準文件開始進行完全全新的資料結構和框架設計，在設計過程中使用了大家比較熟悉的加速辦法，包括多執行緒加速、彙編最佳化、記憶體和快取效率最佳化等。透過這四個維度來提升Ali266解碼器的效能。
上圖羅列了從四個維度上Ali266解碼效能。從速度來說我們比較關注低端機（讓VVC有普惠概念），然後在低端機測試上我們發現Ali266只需要三個執行緒就可以做到720p的實時解碼，由於執行緒佔用率較低，可以有效降低CPU佔用率和手機的功耗，對於實際商用是相當有利的指標。從穩定性的角度來說，我們進行了多款蘋果手機和安卓手機的測試，覆蓋了兩大移動端作業系統，並且全面覆蓋高中低三檔移動端裝置來保證穩定性。從魯棒性來說，我們使用了上萬條錯誤碼流來衝擊Ali266解碼器，保證其在無論是slice之上還是slice之下的出現錯誤，都能夠有完美的快速錯誤恢復機制。最後，正是由於我們從零開始，才能在thin decoder上給出一個滿意的答案，我們的Ali266解碼器包大小不到1MB，而且在解碼高畫質720p的時候，記憶體使用只需要33MB。
我來做了一個Ali266解碼器的小結。從當前效能來說，Ali266的解碼速度、穩定性、魯棒性、decoder footprint等指標均達到設計目標和商用要求，下一步我們希望對VVC進行Main Profile的全方位支援，主要指的是10-bit解碼的全面支援。另外，我們也會全力進行播放器生態的完善化，與Ali266編碼器相配合，加速VVC商業落地。
031
Ali266業務展望
既然之前我們多次提到了商業落地，接下來看一下對Ali266的業務展望。
首先來看VVC標準層面兩到三年的落地展望。與HEVC和之前的H264一樣，VVC是個通用標準，因此可以全面覆蓋多種影片應用，包括點播、視訊會議、直播、IoT影片監控等已有的影片應用。還有很多新興影片應用在興起中，包括全景影片、AR、VR、以及最近很火的元宇宙，這些應用也需要影片編解碼的技術底座，因此對於這類新興應用，VVC標準也有普適性。
那麼我們再來看一下Ali266的應用展望。我們從阿里集團內開始，這裡列了四點：優酷、釘釘視訊會議、阿里雲影片雲、淘寶。在整個如何推進Ali266應用上我個人的見解是會從閉環應用走到開放應用。為什麼是這樣的邏輯？原因在於閉環業務下端到端可控性更強，在新標準生態還不夠完善的時候可以透過閉環方法打通，這裡面優酷和釘釘視訊會議是比較完美的閉環業務示例。在閉環打磨了Ali266，並且走通從內容到播放的整體鏈路後，我們再去應對開放應用會更加ready，更加成熟。我們開始推進大規模開放應用的時候，VVC會有比較全面的移動端和端上硬解支援，那也將是真正大規模展示VVC標準壓縮力的時候。
剛才講到優酷，這裡我與大家介紹一下優酷幀享，就是藝術家與科學家聯手打造的超高畫質視聽體驗。它依賴了幾大非常重要的超高畫質技術指標，中間包括高幀率，60幀到120幀每秒的高幀率，從空域解析度角度來說，4K-8K都在幀享範圍內，動態範圍來說幀享完全支援HDR高動態範圍對比度和寬色域。而且，有影必須有音，優酷幀享還包括對3D環繞音效的支援。
另外一個優酷非常新穎的應用是優酷自由視角，它主要支援Free ViewPoint Video（FVV），FVV提供給使用者很好的Feature，因為它傳遞的影片格式是全景影片，使用者可以自己用手在螢幕上進行滑動選擇自己想要觀看視角，從不同角度自由選擇自己想看的內容，優酷的自由視角在CBA重大賽事以及《這就是街舞》大型的綜藝節目裡都有支援。
來看看Ali266能夠給優酷帶來什麼樣的價值，如何助力幀享解析度提升、幀率、動態範圍提升。VVC標準帶來的頻寬紅利在HDR影片上超過50%。對於幀享8k120幀HDR超高畫質體驗是有非常好技術支撐。全景影片自由視角方面，由於VVC原生支援360全景影片，能夠更好的提升主觀質量，幫助優酷在這方面孵化新業務。另外，之前雖然沒有提到，但是VVC和HEVC一樣，也有Still picture profile，因此可以幫助靜態圖片節省頻寬和儲存，因此優酷縮圖、封面圖靜態的場景也可以完美用到Ali266強大壓縮能力。目前我們團隊已經與優酷在進行深度合作，希望在不久的將來給大家彙報Ali266落地優酷的結果。
04
後VVC時代的機遇和挑戰
剛才講了在過去一年中發生的事情，接下來看一下在後VVC時代影片業界看到的機遇和挑戰。
這裡分為兩部分，技術和應用。從技術角度來說，每一代標準主要都在追求更高的壓縮率，因此VVC並不是終點。在對更高壓縮率的探索上，包括在傳統編解碼框架下進行探索以及在AI技術支撐下對影片編解碼框架和工具集的探索。從應用的角度來說，簡單看一下新興應用AR、VR、MR、雲遊戲、元宇宙這幾個新興應用在後VVC時代提出的機遇和挑戰。
更高的壓縮力：框架之爭
技術層面為了追求更高的壓縮力，現在到了時間去看一直以來影片編解碼標準所使用的框架在下一代是否會繼續使用。左邊是一直以來幾代影片標準以來的手工打造的影片編解碼框架，包括不同的功能模組，塊分割、幀內幀間編碼、環路濾波等。右邊是全新Learning based的框架，完全透過AI方法學習，對於encoder、decoder透過全神經網路進行實現。
在傳統框架下，JVET標準委員會最近設立了ECM（enhanced compression model）的參考平臺，用於探索下一代編碼技術。當前ECM版本是2.0，這個表中對比了ECM2.0與VTM-11.0的壓縮效能，可以看出在亮度訊號上ECM2.0已經可以做到14.8%的效能增益，色度訊號上有更高的效能，encoder 和decoder複雜度也有一定上升，不過現在主要是推進壓縮力，複雜度不是現階段最關心的維度。ECM基於傳統框架，大部分工具是之前開發VVC的時候已經看到過的，經過進一步的演算法迭代和打磨，得到14.8%的效能增益。
AI編碼的狀況分成兩部分：端到端的AI、以及工具集的AI。剛才的示例圖顯示，端到端的AI與傳統框架完全不一樣，採用全新框架。以今天端到端AI能力來說，在單張圖片的編碼效能可以小幅超過VVC，但如果考慮真正影片編碼，也就是把時域維度也考慮進來，端到端AI的效能還是比較接近HEVC，還有一定進步的空間。另外AI技術還可以用來做工具集AI，在不改變傳統框架的前提下，在某些功能模組上開發AI編碼工具，用以替換或疊加在已有傳統編碼工具之上，提升效能。這部分比較多的例子是幀內編碼和環內濾波工具。拿今天來說以我們所知，基於多神經網路模型的NNLF環路濾波技術相比VVC，效能增益可以達到10%。
AI影片編碼有其自己挑戰，分為三個維度。
第一個挑戰是計算複雜度，因為現在我們主要還是引數量換效能增益的概念，最近看到Google 的paper給出量化的指導，如果一個AI工具可以提供個位數的效能增益，那麼希望這個工具的引數量控制在50K的數量級上。今天很多AI工具的引數量在500k到1兆左右，還是與目標引數量還有數量級的差異，需要簡化。另外，計算複雜度同時也包括需要考慮引數定點化，運算量尤其是乘法運算量這些維度。
第二個挑戰是資料互動量，尤其是工具級AI與傳統編碼器的其它功能模組可能有很多畫素級的互動，無論是幀級還是塊級發生，對於編解碼吞吐率都是很大的挑戰。現如今所看到的效能較好的工具都依賴多神經網路模型，多NN模型需要模型調換，在模型引數量比較大的時候，調換模型所產生的資料互動量也對吞吐率提出挑戰。
第三個挑戰是移動端解碼，大家手機看影片是很普遍的行為，如何在移動端做好解碼，個人認為由於上面說到的資料互動量的原因，透過做解碼器+外接NPU的方法不太可行，如果要做合一的解碼器就要考慮硬體成本。同一篇Google的 Paper說一個傳統解碼器的成本相當於實現一個2M引數MobileNet模型的成本。我們知道MobileNet是比較輕量級的神經網路，如果一個NNLF濾波器需要1M引數的話，就是一半的解碼器成本。所以成本上的下降需要更加努力去做到。所以說AI編碼主要挑戰總結下來就是需要做到更合理的價效比，這方面需要各個公司進行大量研發投入才有可能拿到合理性價比。什麼時候能拿到合理的價效比，發揮AI影片編碼的潛力，我們還是拭目以待。
最後我想說一個個人見解。AI編碼有這樣價效比挑戰的一個原因是因為AI技術本來就是Data Driven的，在一個特定場景下的Data Driven更加容易設計，而主要的技術對於通用場景上的挑戰一定更大。因此我認為可以去看一下特定場景下的AI編碼，可能會更快的提供技術和業務的突破機會。大家最近可能注意到Facebook和英偉達對人臉影片進行端到端AI編碼，在這種特定場景下，在超低位元速率下，AI編碼對人臉清晰度恢復相比於傳統方法來說可以有比較大的突破，顯示了AI編碼的潛力。
新興應用
最後講三個新興應用的例子，AR/VR/MR、雲遊戲、元宇宙。前兩者是元宇宙的一部分，所以我們看一下元宇宙。
首先來看一下什麼是元宇宙。最近“元宇宙”這個詞興起的時候，我自己不是很清楚到底是什麼意思，所以我去查了一下。這是從紐約時報文章中摘出來的，什麼叫Metaverse也就是元宇宙，紐約時報定義為虛擬的體驗、環境、財產的混合模態。這裡給了五個元宇宙體現的例子，我們從最上面沿著逆時針方向看一下：如果你喜歡的遊戲可以在其中去建立自己的世界，與他人互動，這是元宇宙的體現；如果最近參加過無論是因公（meeting）或因私（party），沒有真人出現而是用數字的avatar出現，這也是元宇宙的體現；如果帶了頭盔或者眼鏡去體驗AR、VR所賦予的虛擬環境，也是元宇宙的體現；如果你擁有NFT或crypto currency這些虛擬財產，也是元宇宙的體現；最後我覺得比較有意思的一點是紐約時報認為絕大多數的社交網路也是元宇宙的體現，因為線上和線下的你不是完全一致，線上的你可能有一定虛擬的成分在，所以也是元宇宙的體現。
支援元宇宙和各種AR/VR體驗從影片技術的角度來看有幾大共同點：低延時、高併發、以及個性化。前面這兩點與現有應用的要求相類似，比如拿直播來說，也有低延時高併發的要求；但是第三點要求，就是個性化的要求，是一個完全不一樣的全新技術支撐。因為在這些虛擬場景下，每一個使用者都在追求自己的體驗和個性化的選擇。從阿里雲智慧的角度來看，個性化對於雲計算提出進一步挑戰，更高的要求。我們今天支援一次直播有成千上萬甚至上百萬的併發量，一次下發服務很多客戶。但是，如果每個客戶都有自己的個性化要求，每次下發只能支援十幾或幾十有類似要求的客戶，那麼對雲上影片處理能力的質量和吞吐率都提出了更高的要求，要求處理能力有數量級上的提升。所以我認為將來要對於影片處理和deliver做好技術支撐，雲上定製化硬體是必然的技術趨勢。
05
總結
最後我們對今天的分享做一個總結。首先我們介紹了Ali266，阿里雲自研的VVC編解碼器，首先Ali266對VVC這個最新影片標準提供完整的編解碼能力，速度可以達到實時高畫質，目前我們最快的速度是可以達到1080p30幀編碼速度。Ali266壓縮效能卓越，在Slow檔次上達到50%的頻寬節省，在實時Fast檔次上達到40%的頻寬節省，因此Ali266從質量優先到速度優先可以覆蓋不同業務的需求。同時我們非常高興的彙報我們正在與優酷進行深度合作，希望透過Ali266技術落地優酷，助力優酷降本增質、賦能新業務技術支撐。
展望未來的話，從技術上來說，下一代編解碼標準還是需要拿到更好的壓縮率，但是如何進行框架的選擇我們還在探索，今天還沒有定論。傳統框架下的ECM相比VVC能拿到15%的效能增益，但與40%、50%的要求還有距離。AI編碼可以給出很好效能潛力，但是從價效比來說還沒有達到要求，需要長足進步。從應用角度來說，元宇宙會帶給大家更加豐富的虛擬體驗，也可以支撐很多新的應用的成長。要讓元宇宙成為現實的話，在雲計算的方面需要儘快實現高質量高吞吐的個性化雲計算能力，應對新興應用所提出的挑戰。最後，雖然之前沒有提到，但是虛擬世界的體驗也需要更加友好、也就是更輕更普惠的AR/VR終端裝置早日登場。
本次分享到此結束，非常感謝大家，也特別要感謝主辦方LVS給我這個機會做分享，由於疫情的影響，非常遺憾與大家不能進行面對面交流，如果對我此次分享的內容有任何問題或希望進一步探討，歡迎大家在評論區留言。
