虛擬主播怎么弄

關注：5 發布時間：2021-10-15 17:00:45

其實做3d虛擬主播無非是以下幾點：

一個3d模型，一個中立者，還有一套支持3d虛擬偶像做真人動畫的技術。

那么它們是如何結合的呢？

每個虛擬偶像的背后，都有一個負責做動作的表演者和一個負責配音的cv。當然，他們可以是同一個人。

1.動作表現表達式匹配

表演者需要佩戴動作捕捉設備。然后，每次做出動作時，動作捕捉背景都會記錄表演者的動作數據。表演結束后，運動數據將保存在文件中。我們將這些運動數據與手動k-good表情數據合成，通過unity輸出序列，此時的動作會攜帶表情。比較后，導出動作視頻文件的綠色屏幕版本。這些動作都是我們看虛擬偶像節目時，虛擬主播所做的動作。

2.配音

要獲取配音文件，可以單獨在錄音棚里觀看動作素材配音，也可以在將聲音傳輸到錄音設備存儲的同時，帶上耳機做動作。這個音頻文件是虛擬主播的配音。

好了~現在我們有了綠屏的動作視頻文件，我也有了配音文件。通過ae或者pr編輯處理以上素材就是我們看到的虛擬偶像的日常視頻~

————————

同理，虛擬偶像直播，只有上半身，主體是面部表情，按照傳統方法，表情需要手動k幀。

但是，說到技術，并不是每個人都能一次性學會這些專業的美術工具。為了方便小白用戶更好的解決這些技術問題，我們團隊開發了一款工具，讓小白用戶在與其他做虛擬主播的小伙伴交流后，輕松制作3d虛擬主播——live 3d簡單的通過傻瓜式的操作解決了上述各種復雜的技術問題。

1.首先提到了模型

(1)live3d有自己的云3d模型庫，里面的模型可以免費使用

(2)支持用戶自定義捏捏。通過捏臉功能(捏臉、換衣服、捏身體)可以得到一個新的模型。

(2)live3d支持導入外部3d模型，目前支持fbx、pmx、vrm格式。可以導入你的模型，開始虛擬主播之路。

2.其次，說到面部表情，之前的方法，比如“手動k幀”，難度大，耗時長，與個人能力有很強的聯系。同樣，面部表情需要結合動作，合成序列需要通過統一推導

面部表情：live3d解決方案-“面部捕捉”

人臉捕捉的實現方式

(1)電腦攝像頭捕捉。

(iphonex及以上的相機拍攝。

具體過程：打開live3d人臉捕捉按鈕——把相機對準你的臉——你做出什么表情，你做出什么表情對應live3d畫面中的人物(包括眨眼、假唱、搖頭)

ps:對唇的準確性可以達到你說的每一句話都能準確對唇。

3.動作捕捉數據需要unity，在比較終將動作數據和表情數據轉換成可視視頻之前，必須對unity有一定的熟悉度。

動作數據live3d的解決方案是：預制動作庫動作捕捉接口，導入外部動作

(1)預制動作庫中有海量的云動作數據。通過按下電腦鍵盤上的一個鍵(在鍵盤上設置一個鍵，將live3d上的動作拖到live3d上的鍵盤上)，角色就會做出相應的動作。

(2)目前動態捕捉界面支持一套動態捕捉設備和nioten hi5手套來捕捉詳細的手部動作。用法：鏈接動態捕捉后，打開live3d上的noitom動態捕捉noitom hi5手套按鈕。您可以在live3d上看到您使用動態捕捉所做的動作。做動作前錄制屏幕，選擇綠屏背景，就可以錄制剛剛做的動作視頻。綠屏的視頻文件會直接出來，不像以前那樣需要統一處理。

(3)導入外部動作。除了支持導入外部模型，我們還支持導入外部動作。可以將自己喜歡的舞蹈動作、日常生活動作、動態捕捉動作導入live3d，應用到直播和動畫功能中。

大學生創新創業主播項目