【新智元導讀】「美女元宇宙」要來了？韓國最新AI將美女影片秒轉網路漫畫，除了輔助創作者外，或許也是實現虛擬化身的技術儲備。

最近，韓國最大的漫畫平臺網站Naver webtoon（네이버만화）推出了一個新工具WebtoonMe，可以將自拍照或者影片轉換為韓式網路漫畫的風格。

此處先上一波效果：

專案一經推出，就在Reddit上引發了熱議，不到一天時間就收穫了超1700個支援。

一方面是韓國美少女自帶流量，另一方面則是將照片轉換為漫畫後，畫面還有很大的提升空間。

首先，漫畫人物的眼球不會動，也不會眨眼，眯眼等動作，就顯得不是特別「真實」。

還有的網友指出，「恐怖谷理論」的假設場景在這裡特別明顯。

恐怖谷理論（Uncanny Valley）於1970年由日本機器人專家森政弘提出，簡單來說就是，由於機器人和人類在外表、動作上都會十分相似，所以人類對機器人天然的就是正面情感；但是當機器人真實到一定地步的時候，哪怕有一點點與人類不同的地方，都會顯得十分刺眼，讓機器人顯得僵硬恐怖，使人有面對殭屍的感覺。

而生成的網路漫畫人物有著呆板的眼睛，「心靈的窗戶」被關上了，自然顯得十分詭異。

不會開發AI的漫畫家不是好煉丹師

2018年，36歲的人氣網路漫畫作家河一權就利用AI技術在Naver Webtoon上發表新概念漫畫 《邂逅》（Met），釋出第二天的累計瀏覽量就突破了4000萬。

透過將讀者的形象融入網路漫畫中，讀者可以和漫畫中的人物在學校環境中進行眼神交流、直接交談和發展情緒的故事，因為讀者透過與作品進行互動來推進劇情，所以這類漫畫也稱為互動網路漫畫（interactive Webtoon）。

Met也是業界首部互動網路漫畫。

這類漫畫特別受歡迎，許多人非常喜歡這種沉浸式的故事參與感，而非簡單地閱讀作者給出的故事。

受到Met的啟發，這次推出的WebtoonMe專案則將轉換技術更進一步，在保留人物照片特點的同時生成網路漫畫風格圖片。

當你想到「將照片變成漫畫的技術」時，最好奇的是什麼？三次元的人臉是如何變成二次元的？

在好奇心的驅使下，團隊經過無數次的試驗，基於深度學習的人臉轉換技術終於開始有了一下眉目。

然而，想要把背景也換成「二次元」風格時，卻遇到了一個意想不到的問題，直接使用之前的技術會導致生成的結果非常地不自然。

在分析資料時，團隊得出一個結論：漫畫資料集中的物體具有獨特的「風格」屬性，這與通常用於深度學習研究的自然照片資料集不同。

此外，與換臉不同，照片中的各種物件（如臉部、身體部位、背景等）也都需要不同的「風格」，，而團隊最開始卻沒有意識到這一點。

於是，團隊決定深入瞭解網路漫畫的創作過程，從而瞭解不同的作品是如何將不同的物體風格化的。

在採訪了幾位創作者之後，團隊瞭解到：「前景（包括人臉）」和「背景」是用不同的工具建立的。

首先，需要建立一個由人臉、身體、物體和背景等各種「零部件」組成的網路漫畫資料集，然後再建立各種深度學習模型來減少前景和背景之間的風格差異。最後，應用幾種模仿不同創作者的修飾技術的後期處理演算法，從而更自然地提高結果的質量。

從AI上色到AI換臉

作為網路漫畫行業的領軍者，韓國國內第一大漫畫平臺Naver Webtoon此前一直致力於開發新的內容IP，例如大火的偶像劇《我的ID是江南美人》即出自此平臺。

隨著AI技術的實用性越來越強，Webtoon AI團隊利用深度學習技術開發了幾個專案，不僅能提高網路漫畫讀者的閱讀體驗，同時也能幫助創作者進行創作。

2021年10月27日，Naver Webtoon宣佈推出Webtoon AI Painter的測試服務，能夠幫助創作者對草圖進行著色。

AI演算法首先會對圖片進行區域分割，當創作者選擇一種顏色並觸控相應區域時即可對該區域進行自動上色。與現有的手動著色不同，AI著色只需幾次觸控即可完成全圖著色，能夠極大提升網路漫畫創作者的著色時間，從而提高創作效率。

Webtoon AI Painter的開發歷時3年，主要技術還是深度學習模型，使用了大約 30 萬個資料來學習影象中每個區域的特徵和各種著色風格，例如人的面部、身體和背景。該上色技術的模型相關工作還發表在了WACV 2022上。

除此之外，Webtoon AI Painter還透過應用圖層分離的PSD（Photoshop檔案格式）儲存功能和原創解析度維護技術，為創作者的後期編輯工作提供了更好的技術服務。

佈局美女元宇宙

在完全虛擬的元宇宙世界中，使用者需要一個虛擬分身，基於自拍照生成的虛擬分身能夠更好地同時保留真實感和虛擬感。

2018年8月，Naver Z公司推出元宇宙虛擬時尚社交平臺Zepeto，使用者可以在軟體裡自由打造個人數字形象，主打的就是一個「時尚」！

使用者需要先在平臺上「捏臉」，按照自己的喜好捏出臉型和五官；然後在平臺上用虛擬貨幣購買時尚服裝和飾品等，裝扮自己的虛擬形象；還可以購買解鎖不同的姿勢、動作，選擇不同的照相背景跟朋友合照；同時，使用者也可自己在Zepeto平臺上製作內容，並賺取收益。

使用者還可以在Zepeto內上傳自拍，然後將其轉換成社交平臺內的3D虛擬化身。

除了虛擬人物之外，Zepeto還打造了一個虛擬遊戲世界，使用者可以操作自己的虛擬人物在世界裡行動。平臺設定的社交場景豐富多樣，有鬼屋、教室、學校、著名景點等，使用者可以在參加派對、露營或者甚至朋友的虛擬婚禮等。

Zepeto跟時尚娛樂領域緊密合作，常邀請著名時尚品牌在平臺上釋出虛擬服裝飾品，也跟k-pop娛樂公司聯手推出活動。

去年2月，Gucci在Zepeto上釋出了模仿義大利總部的虛擬「Gucci別墅」，並推出NFT時尚單品。使用者可以用虛擬形象試穿或購買Gucci釋出的虛擬服飾，還可打卡漫遊「Gucci別墅」。

除此之外，D&G、Dior、Nike等著名品牌也已入駐該平臺。全球流行的k-pop組合Blackpink、 ITZY 和 SF9也在Zepeto上舉辦過虛擬活動，釋出k-pop相關內容。

品牌入駐的確為Zepeto帶來了可觀的收入。目前，已經有上百家公司和150萬工作室創作者在Zepeto平臺上推廣自己的虛擬產品，還有5000萬工作室的虛擬設計品正在出售。

2021年，該公司的月收入徘徊在211.7萬美元至279.4萬美元之間，比2020年同期增長了約70%，這些增長大多來自於跟Gucci、Dior、三星、現代等著名品牌的廣告合作。

Naver Z的首席戰略官Ruby Lee透露，Zepeto的月活躍使用者從去年5月的1000萬增長到今年1月的2000萬。Zepeto擁有2.9億註冊使用者，在過去的18個月內幾乎翻了一番。並且在其虛擬世界中，平均使用者會話時間可以達到約30分鐘。

雖然相比遊戲類頭部元宇宙平臺Roblox日活使用者已超4700萬的資料，Zepeto在整個元宇宙領域還遠不算第一梯隊的體量。

但當下的元宇宙平臺大多仍然以成年男性使用者為主，作為全球最大的虛擬時尚平臺，Zepeto吸引了大量青少年女性使用者，在元宇宙領域打出了充分的差異化效果。

Zepeto有超過2.4億使用者，其中90%來自韓國以外，80%是青少年，70%使用者是女性。

2021年末，Naver Z公司旗下元宇宙虛擬社交平臺Zepeto宣佈獲得2235億韓元（約合1.89億美元）的B輪融資，其中日本軟銀集團旗下願景基金2號（Vision Fund 2）領投金額高達1.5億美元。

軟銀的立場是十分支援元宇宙的發展的，所以獲得軟銀的投資，一定程度上可以說明Zepeto的價值，軟銀投資的管理合夥人Greg Moon曾表示，相信元宇宙有可能成為網際網路的下一次進化。

其他投資者還包括韓國金融公司Mirae Asset、網路漫畫出版商Naver Webtoon以及K-pop機構JYP、YG娛樂和HYBE的資金。

同月Naver Z還獲得了韓國遊戲公司Krafton（絕地求生 PUBG的開發者）的50億韓元（420萬美元）投資。

在元宇宙概念大火的今天，仍然還有很多技術問題沒有完全得到解決，AI技術解決方案可以加快元宇宙開發的速度，反過來元宇宙獲得的投資也會加快AI技術的發展。

在科技洪流中，期待更美好的真實世界和虛擬世界。

原文參考資料：

https://webtoon.github.io/WebtoonMe/en

https://www.reddit.com/r/MachineLearning/comments/sfbtds/p_webtoonme_project_selfie_to_webtoon_style/

https://m.jiemian.com/article/6893200.html

https://weixinso.com/article/jbzehb03.html