FaceRig

【FaceRig】口の動きと音声をより正確に合わせる!動画の書き出し方について

facerig-exporting-video-to-match-lip-sync

FaceRigで出力した動画、口パクがなんかズレているなぁと言うときに

試してほしい方法です。

そう普段使われていない○○_clean.wavを活用するとリップシンクがきれいにつかがるかもしれません。

口パクをあわせる方法について

パフォーマンスを録音で生成されるデータ

まず、FaceRigでパフォーマンスを録音すると3つのデータが生成されます。

Sample.rpl

Sample.wav

Sample_clean.wav

動画を出力するにあたって、使用される音声データについて

そしてムービーとしてパフォーマンスをエクスポートする時は

Sample.rpl

Sample.wav

の2つ使用されます。

要するに同名の.rpl /.wavが合成されることになります。

※ちなみに.wavを消した状態でエクスポートすると音声無しの動画を作成することも可能です。

※そしてSample_clean.wavは使われてません!

○○_clean.wavについて

この使われないSample_clean.wavデータについて調べてみました。

まず音声Sample.wavとSample_clean.wavの波形を重ねて、差の絶対値を視覚的にだすと下記のようになります。

ほとんど同じ波形の形で、音が綺麗になったわけではなさそうです。

①上 Sample.rplとSample.wavのデータから書き出した動画

②下 Sample.rplとSample_Clean.wavをSample.wavとリネームしたデータから書き出した動画(もとのSample.wavは削除)

上図を見てのとおり、音のタイミングが違います。

動画と合わせてみるとわかるのですが、普通に書き出したものよりもリップシンクの動きが噛み合います。

要するにFaceRig動画の口パクのタイミングにより適している音声が合成されます。

口の動きと音声をより正確に合わせる動画の書き出し方

ということで元の〇〇.wavは使わず

〇〇_Clean.wavを〇〇. rplと同名にリネームしてから、動画出力することをおすすめします!

さらに付け加えると動画出力する前に.wavデータを音声編集ソフトで事前に編集

ホワイトノイズや音量を修正したデータにしたものを動画出力にすると

後々の編集に有効ですので、ぜひ試してみてください。

フェイスリグに関する記事をすべて掲載!
バーチャルYouTuberの参考紹介

参考記事

 

おすすめ機材

マイクはいろいろ試して、これが一番おすすめです。
東雲めぐちゃんの収録で使われている機材です。
声だけ音声を拾ってくれます。最大の特徴は頭を動かしても、位置が変わらないので音が撮りやすく、ヘッドマウントディスプレイをつけたままでも装着可なところです。

FaceRigなどでVTuberやるなら、リープモーションもつけて手を動かすとより表現が増すのでおすすめです。

本気でバ美肉するなら手に入れたい機材です。
声を変換にできるだけでなく、ハードウェアなので音ズレなくリアルタイムに声を反映できます。

ABOUT ME
すいみん
東京在住。デザイナー寄りのテクニカルデザイナー。 ブログは技術検証の備忘録として書いています。