sponsored links

“每天一篇,愛上Python”AI虛擬主播,這個專案一年都玩不夠

來源:Jack Cui

今天分享一個演算法 KalidoKit,我們看下效果:

“每天一篇,愛上Python”AI虛擬主播,這個專案一年都玩不夠

根據真實的人物肢體、面部、手的動作,來驅動虛擬形象。

KalidoKit 是整合了多種演算法實現的,Facemesh、Blazepose、Handpose、Holistic。

這個技術的主流應用方向就是虛擬主播。

可以驅動虛擬人物跳舞:

“每天一篇,愛上Python”AI虛擬主播,這個專案一年都玩不夠

也可以像開頭的動圖那樣,捕捉全身的動作,面部表情、手勢等。

除了這種驅動虛擬形象型別的,還可以發揮自己的想象力,做一些有趣的小應用。

“每天一篇,愛上Python”AI虛擬主播,這個專案一年都玩不夠

KalidoKit

該專案是基於 Tensorflow.js 實現的。

專案地址:

https://github.com/yeemachine/kalidokit

捕捉的關鍵點資訊,可以用來驅動 2D 和 3D 的虛擬形象,結合一些虛擬形象的驅動引擎,即可實現文章開頭所展示的效果。

既可以驅動 Live2D 形象,又可以驅動 3D VRM 形象。

這裡涉及的技術點一篇文章講不完,今天主要講述基礎的關鍵點檢測技術:人臉關鍵點檢測、人體姿態估計、手勢姿態估計。

人臉關鍵點檢測

人臉關鍵點檢測,有稀疏的,有稠密的。

像基礎一點的,68 個關鍵點檢測。

“每天一篇,愛上Python”AI虛擬主播,這個專案一年都玩不夠

一般來說,一些閉眼、頭部姿態、張閉嘴的檢測,用這種簡單的 68 個關鍵點就夠了。

當然,也有更加稠密的關鍵點檢測。

“每天一篇,愛上Python”AI虛擬主播,這個專案一年都玩不夠

對於一些面板美容類的應用場景,就需要稠密的關鍵點檢測演算法了,成千上萬的那種。

不過演算法的思想都是一樣的,迴歸出這些關鍵點的位置座標,通常搭配人臉檢測演算法使用。

想要學習人臉關鍵點檢測演算法的,推薦兩個入門專案:

https://github.com/1adrianb/face-alignment

https://github.com/ChanChiChoi/awesome-Face_Recognition

一個是基礎的入門專案,一個整合了人臉關鍵點的主流演算法。

人體姿態估計

人體姿態估計也是計算機視覺中一個很基礎的問題。

從名字的角度來看,可以理解為對“人體”的姿態(關鍵點,比如頭,左手,右腳等)的位置估計。

一般可以分為 4 種任務:

  • 單人姿態估計 (Single-Person Skeleton Estimation)
  • 多人姿態估計 (Multi-person Pose Estimation)
  • 人體姿態跟蹤 (Video Pose Tracking)
  • 3D人體姿態估計 (3D Skeleton Estimation)

簡單來說,就是對於人體骨骼關節點進行檢測,定位人體的姿態。

“每天一篇,愛上Python”AI虛擬主播,這個專案一年都玩不夠

人體姿態估計,應用範圍寬廣,比如在自動駕駛行業進行街景中行人的姿態檢測、動作預測;在安防領域的行人再識別問題,特殊場景的特定動作監控;影視產業的電影特效等。

想要學習的小夥伴,可以看這整理的論文:

https://github.com/cbsudux/awesome-human-pose-estimation

手勢姿態估計

手關節更加靈活,動作敏捷和存在自我遮擋,因此略複雜一些。

“每天一篇,愛上Python”AI虛擬主播,這個專案一年都玩不夠

不過原理和人體姿態估計類似。

“每天一篇,愛上Python”AI虛擬主播,這個專案一年都玩不夠

除了這種常規的手勢識別,也可以用來做一些特效。

“每天一篇,愛上Python”AI虛擬主播,這個專案一年都玩不夠

其實,很多這種人體特效,位置的定位,都是藉助這些關鍵點實現的。

總結

本文介紹了一些基礎的演算法,並推薦了一些學習資料,比較基礎。

分類: 體育
時間: 2021-12-08

相關文章

解析:仔細觀察資料才發現,我們都小看了霍樂迪

解析:仔細觀察資料才發現,我們都小看了霍樂迪
朱-霍樂迪,你可以叫他"假日哥"(Holiday),一個被嚴重低估並且幾乎被遺忘的球員,在聯盟打了12年球,直到去到雄鹿隊後才重新被球迷認識.可能有球迷還記得,霍樂迪在2012-1 ...

現役誰有資格打破麥迪的35秒13分?麥迪親承僅3人,哈登還不夠格

現役誰有資格打破麥迪的35秒13分?麥迪親承僅3人,哈登還不夠格
現役誰有資格打破麥迪的35秒13分?麥迪親承僅3人,哈登還不夠格 麥迪是前NBA職業籃球運動員,他是聯盟中頂級的得分後衛.麥迪得分很厲害,麥迪的扣籃風格非常的詭異,當他想要進攻的時候很少有人能夠防得住 ...

顏丙濤兩杆破百零封伊朗一哥,艾倫轟第2杆147,火箭小特晉級正賽

顏丙濤兩杆破百零封伊朗一哥,艾倫轟第2杆147,火箭小特晉級正賽
北京時間10月11日訊息,2021-2022賽季斯諾克北愛爾蘭公開賽資格賽繼續進行,顏丙濤轟出兩杆破百以4比0完勝伊朗一哥瓦菲,斯佳輝以1比4不敵馬克-艾倫,後者在第五局打出生涯第2杆滿分147,這也 ...

小測試:觀察圖中模特,選擇符合你審美搭配方式,測下你深層人格

小測試:觀察圖中模特,選擇符合你審美搭配方式,測下你深層人格
觀察下面圖中模特,選擇符合你的審美搭配方式,測一下你的深層人格! A.深層次人格:不苟言笑的,高冷的 你是那種不苟言笑的人,給人一種高冷的感覺.你很少會主動的與人發展關係,但這並不代表你不喜歡別人,而 ...

詩儷貓小知識:減肥過程中常見的強迫行為之暴食症

詩儷貓小知識:減肥過程中常見的強迫行為之暴食症
暴食症其實是一種進食障礙,對食物的慾望在被壓抑後反彈,產生過度補償的行為.暴食症嚴重者可以在8小時之內吃進2-3萬大卡的食物,這個量就是非常可怖了.當然暴食症有非常嚴格的診斷標準,病情持續時間在三個月 ...

禮享國慶 樂在奇中

禮享國慶 樂在奇中
10月1日-1月7日 到東風日產中汽雷日店 參與試駕將有機會獲取環球影城門票

喬治表弟也要重回NBA啦!場均38.3分,火箭將試訓約瑟夫-楊

喬治表弟也要重回NBA啦!場均38.3分,火箭將試訓約瑟夫-楊
都說"上陣父子兵,打虎親兄弟". NBA聯盟裡,上演兄弟籃球的戲碼可是多如牛毛.大小洛.大小莫.大小球.字母哥三兄弟.霍樂迪三兄弟等等. 如今,聯盟裡可能要多加一對"喬楊 ...

21-22賽季NBA球隊薪資排名

21-22賽季NBA球隊薪資排名
10月20日,21/22賽季NBA常規賽正式開賽,首場比賽即是焦點之戰,由籃網對陣衛冕冠軍雄鹿.距離大戰還有1月,放下對比賽的憧憬,小編簡要盤點本賽季30支NBA球隊的總薪資,從中能發掘很多有意思的資 ...

09年選秀重排的話,庫裡和哈登誰當狀元?有人不樂意了

09年選秀重排的話,庫裡和哈登誰當狀元?有人不樂意了
2009年選秀已經過去多年,是騾是馬已經知曉,這屆選秀並沒有讓大家失望,是名副其實的選秀大年,除了眾多球星和角色球員,那從現在的角度去回顧這屆選秀,選秀重排的話誰能進前十?這期就根據我個人的看法對09 ...

悶聲發大財的五大NBA現役球員代表

悶聲發大財的五大NBA現役球員代表
三分天註定,七分靠打拼.放在NBA世界裡,有些巨星能拿到那個數字的累計工資,只是因為根據工資帽規則,資方最多能給他提供那麼多:而有些邊緣全明星又或者是全明星都沒有進入過的NBA優質球員,能拿到巨星級的 ...

雄鹿隊或2筆交易打造衛冕陣容!補充19+3悍將,送走2位冠軍功臣

雄鹿隊或2筆交易打造衛冕陣容!補充19+3悍將,送走2位冠軍功臣
雄鹿隊在上賽季剛剛獲得了NBA總冠軍,他們一路過關斬將,憑藉著優秀的自身實力以及多年的季後賽經驗,成功闖出重圍.儘管他們這次獲得總冠軍之路並不容易,受到了很多的質疑和抨擊,但是歷史不會改變,雄鹿隊是毫 ...

“進攻4000萬,防守底薪”,說的就是這4位球星

“進攻4000萬,防守底薪”,說的就是這4位球星
攻守平衡是對很多球星的肯定,可是球星卻不全是攻守平衡的,甚至還有一些球星,如果單靠進攻絕對能值4000萬,甚至是更高,可是說到防守,他們卻只值底薪.今天小編就來跟大家說說這樣的4位球星. 第一位:歐文 ...

03年只有詹姆斯一位MVP,哪一屆選秀大會上MVP級別球星最多?

03年只有詹姆斯一位MVP,哪一屆選秀大會上MVP級別球星最多?
在一屆選秀大會上,個人認為出現十位普通全明星的影響力是不如出現兩位MVP級別巨星的,所以今天我們從MVP球員數量上來重新定義下什麼才是選秀大年? 第五名:2008屆羅斯.維斯布魯克兩位MVP! NBA ...

ESPN球員排名威少不如西蒙斯?照這思路老詹應該排第幾?

ESPN球員排名威少不如西蒙斯?照這思路老詹應該排第幾?
北京時間9月23日,ESPN每年一度的新賽季百大球星榜再次更新,這一次給出的是第26到50位的排名. 和ESPN昨天推出的百大球員51-100名一樣,今天的這份排名,依然槽點多多,令人費解:威少排名低 ...

籃球防守教學,如何貼防射手?

籃球防守教學,如何貼防射手?
前兩期技巧君分別講了防守射手時的防守姿勢以及防守該怎麼幹擾對方,今天我們就來看看霍樂迪是怎麼防守的. 貼防射手也有技巧嗎?肯定有啊! 霍樂迪就來給我們做個示範! 重點是要緊貼對手的投籃手一側,不給他的 ...

盤點21世紀NBA最成功的7大交易,我是來送冠軍的,1年進隊史最佳

盤點21世紀NBA最成功的7大交易,我是來送冠軍的,1年進隊史最佳
交易,是NBA球隊最常用的一種方式,它可以補強.可以省錢.可以有很多用處.而有時候,一筆適當的交易,可以改變一支球隊的命運,以下盤點21世紀NBA最成功的7大交易,毫無疑問,這些人就是來送冠軍的. 第 ...

NBA東部有多弱?這8位球星一去就統治東部,6人拿冠軍2人進總決賽

NBA東部有多弱?這8位球星一去就統治東部,6人拿冠軍2人進總決賽
在邁克爾喬丹退役之後,NBA西強東弱是很明顯是一個局勢.在西部,有時候沒有50勝就進不了季後賽,而在東部,勝率不用過半就能拿到前八.雖然不可否認勒布朗詹姆斯的偉大,但是他在東部連續8年打進總決賽確實有 ...

美媒公佈現役五十大球星排名以及超巨總決賽勝率

美媒公佈現役五十大球星排名以及超巨總決賽勝率
美國媒體環球籃球列出了NBA現役的五十大球星排名,杜蘭特排名第三,詹姆斯位居第五,接下來讓我們一起來分享一下具體的排名. 排在NBA現役第41到50的球星為卡佩拉.德羅贊.艾頓.薩博尼斯.布羅格登.特 ...

96+94+91,聯盟唯一!恭喜字母哥,你為自己正名的機會來了

96+94+91,聯盟唯一!恭喜字母哥,你為自己正名的機會來了
今年休賽期,布魯克林籃網隊圍繞杜蘭特哈登歐文三巨頭繼續補強,形勢一片大好.三巨頭+格里芬+喬哈里斯+米爾斯+阿德+米爾薩普+詹姆斯約翰遜+趙四,第一陣容星光璀璨,第二陣容全是實戰派選手,第三陣容也夠對 ...

NBA八大禁令,喬丹因球鞋每場比賽罰款5000美元,NBA慘遭算計

NBA八大禁令,喬丹因球鞋每場比賽罰款5000美元,NBA慘遭算計
多年來,NBA實施了很多不同的規則和規定,試圖控制球員的著裝方式.從舊的著裝規範到更現代的著裝規範,總是試圖創造一種他們希望看到的聯盟形象.然而,這些著裝規範大多適用於場外媒體採訪或賽後會議的球員. ...