[教程]手把手教你讓任何圖片唱Unravel/dame dane

因?yàn)橛性S多老友和我化學(xué)反響形形 *** 疑難啊，對(duì)不起可能沒全數(shù)得出答疑。如今有一類愈加單純的辦法去做阿誰音頻，只必要之一部智妙手機(jī)方可，詳細(xì)情況能點(diǎn)選我的新該文

Dante：目前最單純的造做Unravel/Damedane/相片跳舞類音頻的辦法63 附和 · 19 評(píng)論該文

假設(shè)你想在造做音頻的同時(shí)側(cè)面領(lǐng)會(huì)呵呵那背后的原理和代碼的現(xiàn)實(shí)運(yùn)轉(zhuǎn)，想要讓阿誰 *** 做過程愈加具有挑戰(zhàn)的 *** ，請(qǐng)看以下書名。

在起頭之前，詳細(xì)來說你必要預(yù)備：

Google帳號(hào)Google Drive(Google記事本）天然資本文檔

天然資本文檔閱讀地址： 鏡像：https://pan.baidu.com/s/1IM36QM5bSypcS6YOnVd-LA 提取碼：5gqg

最適宜也預(yù)備（可選）：

PS（標(biāo)定用做動(dòng)畫片子化的相片）PR（用做預(yù)處置，為音頻加上音樂）

出格留意：繼續(xù)施行 *** 做過程中常量?jī)蓚€(gè)兩個(gè)繼續(xù)施行，查抄上兩個(gè)常量繼續(xù)施行情況恒定之后再繼續(xù)施行下兩個(gè)常量能制止大部門問題。

出格小常識(shí)：常量要按挨次繼續(xù)施行，繼續(xù)施行常量前先看呵呵上兩個(gè)常量的運(yùn)轉(zhuǎn)成果正不恒定

介紹

我們接納的手藝現(xiàn)實(shí)上是Cadours了那篇論文的兩個(gè)Demo。 阿誰Demo的源倉庫包容了兩個(gè)能在Colab上在線運(yùn)轉(zhuǎn)的條記本電腦。我對(duì)其停止了一些刪去和常姓，只保留了必要加進(jìn)的部門。

閱讀好的天然資本文檔若是包容那幾個(gè)文檔.

預(yù)備階段

詳細(xì)來說將天然資本文檔夾上載至Google Drive，接著滑鼠接納Colab關(guān)上first-order-model-demo.ipynb

出格留意：之一次接納時(shí)必要干系呵呵應(yīng)用范疇，優(yōu)先選擇干系更多應(yīng)用范疇找到Google Colaboratory方可

預(yù)備兩張你期望用做動(dòng)畫片子生成的人臉識(shí)別相片，因?yàn)槲覀兡康囊纛l的解析度是256*256，所以那張人臉識(shí)別相片沒需要太高明晰度。只要大于256*256方可（你用高明晰度的相片也會(huì)被強(qiáng)迫上色為阿誰解析度）

可選：相片標(biāo)定

假設(shè)期望獲得優(yōu)良的效果，能將相片略微處置呵呵。接納PS翻轉(zhuǎn)相片和音頻的眼鏡和嘴巴，以及使人臉識(shí)別處于相片的中心位置。 那兒我選了兩張懂王的相片

假設(shè)能，最適宜把頭也放正。

標(biāo)定完成后上載至記事本同兩個(gè)文檔夾

此時(shí)你上載至記事本的文檔夾里若是包羅那些文檔

（Unravel.mp3在那兒是無謂的）

干系好之后關(guān)上，步入Colab

繼續(xù)施行 情況修建

步入之后詳細(xì)來說點(diǎn)選相連，Colab會(huì)為你分配一臺(tái)機(jī)器

假設(shè)呈現(xiàn)無法相連到GPU后端

暗示當(dāng)前用的人太多，亞麻已經(jīng)被薅完了。你能優(yōu)先選擇等等再試(CPU運(yùn)轉(zhuǎn)十分慢，不保舉)

詳細(xì)來說運(yùn)轉(zhuǎn)前三個(gè)常量，接著在左側(cè)切換到文檔快照

受權(quán)相連記事本，關(guān)上藍(lán)色鏡像，一路繼續(xù)，允許

復(fù)造代碼

粘貼到那兒，回車確定

顯示Mounted at xxxx即為勝利，此時(shí)能切換呵呵快照（右邊三個(gè)按鈕隨意點(diǎn)兩個(gè)再點(diǎn)回來），能發(fā)現(xiàn)多了兩個(gè)文檔夾，阿誰文檔夾就是你的記事本。

指定素材

修改下兩個(gè)常量中指定源音頻和源相片的途徑

能在左側(cè)文檔閱讀中找到文檔后間接滑鼠復(fù)造途徑粘貼方可

修改后運(yùn)轉(zhuǎn)方可

那一步的目標(biāo)是把相片上色成指定的尺寸（那兒是256*256)，還有把音頻處置成Python能承受的數(shù)據(jù)格局，最初得出預(yù)覽。

創(chuàng)建模子并繼續(xù)施行

把那兒的checkpoint_path的參數(shù)修改成你本身的。 阿誰文檔就是天然資本文檔中的vox-adv-cpk.pth.tar，那是pytorch的模子文檔，是訓(xùn)練完成的神經(jīng)收集本體，有了阿誰文檔我們就不必要從頭訓(xùn)練兩個(gè)模子。

創(chuàng)建好之后繼續(xù)施行下兩個(gè)單位方可，那兒我修改了原做者Demo。因?yàn)槲野l(fā)現(xiàn)生成的音頻幀率是固定為10，那兒我給imageio的save添加了fps的參數(shù)修復(fù)了阿誰問題。

那一步耗時(shí)較長(zhǎng)，必要耐心期待。生成完畢后右邊的文檔里面會(huì)呈現(xiàn)兩個(gè)generated.mp4的文檔，滑鼠閱讀下來方可。

可選：為音頻添加音樂

閱讀下來的音頻是沒音樂的，那兒我們用Pr為音頻添加音軌。 隨意創(chuàng)建兩個(gè)工程，接著將素材導(dǎo)入到媒體庫中。

詳細(xì)來說將Unravel.mp4和Unravel.mp3拖到軌道上，把那兩個(gè)翻轉(zhuǎn)，因?yàn)橐纛l是從中間起頭唱的。當(dāng)然你不消原版間接用音頻的女聲音軌也是能的（就是生草水平不如原OP好）

翻轉(zhuǎn)了之后把音頻也拖上去。

襯著音頻并導(dǎo)出：文檔-導(dǎo)出-媒體

默認(rèn)方可，生成后的音頻放在項(xiàng)目文檔夾下。

Have fun!