3D ・映像

【FaceRig】口の動きと音声をより正確に合わせる!動画の書き出し方について

facerig-exporting-video-to-match-lip-sync

FaceRigで出力した動画、口パクがなんかズレているなぁと言うときに

試してほしい方法です。

そう普段使われていない○○_clean.wavを活用するとリップシンクがきれいにつかがるかもしれません。

口パクをあわせる方法について

パフォーマンスを録音で生成されるデータ

まず、FaceRigでパフォーマンスを録音すると3つのデータが生成されます。

Sample.rpl

Sample.wav

Sample_clean.wav

動画を出力するにあたって、使用される音声データについて

そしてムービーとしてパフォーマンスをエクスポートする時は

Sample.rpl

Sample.wav

の2つ使用されます。

要するに同名の.rpl /.wavが合成されることになります。

※ちなみに.wavを消した状態でエクスポートすると音声無しの動画を作成することも可能です。

※そしてSample_clean.wavは使われてません!

○○_clean.wavについて

この使われないSample_clean.wavデータについて調べてみました。

まず音声Sample.wavとSample_clean.wavの波形を重ねて、差の絶対値を視覚的にだすと下記のようになります。

ほとんど同じ波形の形で、音が綺麗になったわけではなさそうです。

①上 Sample.rplとSample.wavのデータから書き出した動画

②下 Sample.rplとSample_Clean.wavをSample.wavとリネームしたデータから書き出した動画(もとのSample.wavは削除)

上図を見てのとおり、音のタイミングが違います。

動画と合わせてみるとわかるのですが、普通に書き出したものよりもリップシンクの動きが噛み合います。

要するにFaceRig動画の口パクのタイミングにより適している音声が合成されます。

口の動きと音声をより正確に合わせる動画の書き出し方

ということで元の〇〇.wavは使わず

〇〇_Clean.wavを〇〇. rplと同名にリネームしてから、動画出力することをおすすめします!

さらに付け加えると動画出力する前に.wavデータを音声編集ソフトで事前に編集

ホワイトノイズや音量を修正したデータにしたものを動画出力にすると

後々の編集に有効ですので、ぜひ試してみてください。

フェイスリグに関する記事をすべて掲載!
ABOUT ME
すいみん
名前:すいみん 東京在住のデザイナー DTP・映像・3D・プログラミングまで、 なんでも自分で試して作ることが好きです。 ブログはその備忘録です。