“元宇宙”的概念在近段時間爆火，國內外網際網路巨頭包括微軟、facebook、英偉達、騰訊、位元組跳動、網易等紛紛宣佈入局。甚至前不久羅永浩也在社交平臺上表示：“我們的下一個創業專案，竟然也是一家所謂的“元宇宙公司”。”
這個早在1992年就出現在科幻小說裡的概念，一時間成為了2021年最火爆，最流行的網路熱詞。按元宇宙Roblox公司的說法，一個真正成熟的元宇宙，應該具備八大要素，分別是：身份、朋友、沉浸感、低延遲、多元化、隨地、經濟系統、文明。
作為改變人們生活形態的新媒介，直播和元宇宙其實也有著一定的相似之處。在雲技術+音影片的技術加持上，直播有了更廣闊的應用場景。低延遲技術讓實時直播在線上教育場景中實現講師和學生間的高質量教學互動，VR技術讓房產直播實現沉浸式的遠端VR看房體驗，提升使用者體驗……那麼在直播中，雲音影片技術又是如何進行應用的呢？
前段時間，由中國企業直播服務市場第一梯隊服務商-微贊直播主辦的2021第二屆中國企業直播創新峰會就邀請了騰訊雲影片業務產品總監黃斌，圍繞“雲技術+音影片 直播新時代的技術場景”的議題，為與會的觀眾帶來了一場乾貨分享。
本文主要整理了其精彩觀點內容，為不能到場的使用者奉上一場技術盛宴。
騰訊雲影片業務產品總監黃斌
全真互聯時代的現在進行時
騰訊董事會主席兼執行長馬化騰曾說過這樣一句話：“移動網際網路十年發展，即將迎來下一波升級，我們稱之為全真網際網路。從實時通訊到音影片等一系列基礎技術已經準備好，計算能力快速提升，推動資訊接觸、人機互動的模式發生更豐富的變化。”元宇宙的概念在近期爆火，全真互聯時代也即將到來。全真互聯時代所呈現出的更高畫質的畫質體現、低延時/實時互動、沉浸式體驗等能力，都涉及到音影片和通訊的底層技術。
而音影片最底層最核心的能力就是編解碼。目前最通用的編解碼標準就是H.264和H.265，但目前國內外的研究機構乃至業界已經開始積極擁抱下一代的編解碼，比如H.266和AV1。相比上一代的編解碼標準H.265，新一代編解碼H.266能在不影響影片傳輸清晰度的情況下，將壓縮比例提升了50％。
以H.266為例，它可以在相同編碼單位和解析度的情況下體現更多細節，達到更為高畫質的視覺效果，還可以在有限頻寬下傳輸更高質量的網路影片，節省一半左右的頻寬。因此儘管基礎編解碼在使用者感知中並不強烈，但卻起到了非常重要的作用，猶如春風化雨，潤物細無聲。
在傳輸效率上，除了以硬核技術提升媒體處理的編碼效率、壓縮質量外。在媒體傳輸過程中，媒體內容透過技術進行深度的理解，從而在內容的生產加工過程提升效率。極速高畫質就是其中一種技術，不僅能實現智慧場景識別、前處理（畫質增強、超分插幀、HDR、去抖動/去劃痕/暗景增強等）、智慧編碼、後處理(超分/LCEVC)等，而且還能在同等畫質的情況下，節約45-50％的頻寬和成本。無論是在室內峰會場景、室外體育比賽場景下，透過AI的反覆訓練都能識別到具體的場景，匹配相應的編碼引數，在同樣頻寬的情況下，讓實時影片經過處理可以提升30％的畫質觀感。
第三則是影片生產過程中AI在多模態中的處理能力。舉個例子，在峰會的現場直播影片中，AI處理能力可以實現自動挑選影片中的某一幀畫面和圖片作為媒體釋出的內容，同時還能進行影片的拆條、語音識別、人臉識別、片頭片尾、精彩打點等多模態處理，AI的多模態處理能力為內容的生產加工提升效率。
除此之外，音影片的傳輸，呈現出從標準延遲到低延遲、超低延遲再到實時通訊的趨勢，更重要的是，這個趨勢是正在進行中。比如騰訊最新推出的新社交玩法——實時合唱/實時KTV就是基於音影片傳輸的實時通訊技術要求上進行的。在實時合唱過程中，延遲要求在70-80毫秒間才能實現。傳輸的延遲演進創造了非常多的創新的玩法和互動的模式，而這些新互動玩法也反過來助推傳輸的低延遲技術發展。
實時音影片重新定義新社交場景
新社交場景是基於傳統社交場景的一個創新，互動是新社交場景中一個重要特徵。在新社交場景中，語聊、雲沙龍、線上KTV、實時合唱，多人實時互動等都對實時通訊和實時音影片提出了新的要求。比如更豐富有趣的互動玩法、更沉浸式的線上互動體驗，多螢幕同時共享的娛樂場景等，都是實時通訊和實時音影片在新社交場景下的衍生。
以線上教育場景為例，不論是大班課、小班課、公開課還是1v1線上教學，超低延遲技術的加持，讓實時直播在線上教育場景中可以實現講師和學生間的高質量教學互動。
介於普通延遲和普通標準的幾秒鐘直播和無延遲實時通訊之間的快直播，延遲則是在1秒左右。相對於實時通訊，快直播的成本比較低，不但能兼顧低延遲的直播需求，也能滿足業務層面中的場景化要求。比如在秒殺搶券、直播答題互動中，快直播能讓主播和互動的使用者體驗感更佳。這對企業直播和商業直播場景也是一個重要的創新。
在雲端協同場景中，實時音影片技術可以助力雲端協同，降低內容生產溝通成本，提升效率。從非同步的協同到實時的協同，音影片低延遲技術打通內容生產全鏈路，實現雲創生產。此外，房產直播中的VR看房，也讓使用者實現了沉浸式的看房體驗，從而提升場景轉化率。在金融場景中，基於實時音影片構建的虛擬營業廳可以實現實時遠端的面籤、開戶和客服。線下金融場景線上化，《遠端音影片手機銀行技術規範》的修訂，也說明了線上金融場景的大有可為。
實時音影片技術在更廣泛場景中的應用趨勢，則是影片重新定義應用。在以往的一些3D渲染或者遊戲的場景，所佔用的GPU資源和低延遲的要求都非常高，但透過超低延遲技術的串流，可以在遠端的雲上進行實時的操作，即使是普通的千元機也體驗3A大作。實時雲渲染在遊戲行業和智慧產業都有著非常廣闊的應用場景，比如元宇宙互動雲遊戲、微端&雲試玩、數字孿生實時渲染、醫療雲渲染、雲展廳等，雲渲染通用能力的衍生拓展，助力產業變革發生。
全真互聯時代，攜手共創未來生態
在實時音影片技術的創新應用中，騰訊雲RT-ONE音影片通訊網路為其提供了堅實的技術基礎，全球2800+CDN加速節點、超過200Tbps+頻寬儲備、30億+分鐘日通話市場、10億+IM全球月活形成了一個強大的基礎設施。在這基礎設施之上，加上騰訊全面、易用、穩定的音影片通訊解決方案和合作夥伴在業務層面的創新和嘗試，構建了一個完整的音影片生態。
無論是底層的基礎設施通訊網路、IM基礎網路、以及流媒體分發的網路，還是包括雲端的媒體處理編解碼和實時通訊的技術在內的SDK產品，生態夥伴在企業直播、辦公協同等垂直的場景化應用中，都能實現很好的互補。
騰訊雲打造的V+俱樂部透過生態合作伙伴聯合共創的模式，同時提供產品聯合、技術服務、渠道合作等全鏈路支撐，為客戶提供更完善的雲產品和服務，共同開拓全真應用場景，微贊直播作為騰訊雲V+俱樂部的首批創始成員單位，也將攜手騰訊雲共創百億市場和客戶價值。
