MENU
FaceRig

【FaceRig】口の動きと音声をより正確に合わせる!動画の書き出し方について

facerig-exporting-video-to-match-lip-sync

FaceRigで出力した動画、口パクがなんかズレているなぁと言うときに

試してほしい方法です。

そう普段使われていない○○_clean.wavを活用するとリップシンクがきれいにつかがるかもしれません。

口パクをあわせる方法について

パフォーマンスを録音で生成されるデータ

まず、FaceRigでパフォーマンスを録音すると3つのデータが生成されます。

Sample.rpl

Sample.wav

Sample_clean.wav

動画を出力するにあたって、使用される音声データについて

そしてムービーとしてパフォーマンスをエクスポートする時は

Sample.rpl

Sample.wav

の2つ使用されます。

要するに同名の.rpl /.wavが合成されることになります。

※ちなみに.wavを消した状態でエクスポートすると音声無しの動画を作成することも可能です。

※そしてSample_clean.wavは使われてません!

○○_clean.wavについて

この使われないSample_clean.wavデータについて調べてみました。

まず音声Sample.wavとSample_clean.wavの波形を重ねて、差の絶対値を視覚的にだすと下記のようになります。

ほとんど同じ波形の形で、音が綺麗になったわけではなさそうです。

①上 Sample.rplとSample.wavのデータから書き出した動画

②下 Sample.rplとSample_Clean.wavをSample.wavとリネームしたデータから書き出した動画(もとのSample.wavは削除)

上図を見てのとおり、音のタイミングが違います。

動画と合わせてみるとわかるのですが、普通に書き出したものよりもリップシンクの動きが噛み合います。

要するにFaceRig動画の口パクのタイミングにより適している音声が合成されます。

口の動きと音声をより正確に合わせる動画の書き出し方

ということで元の〇〇.wavは使わず

〇〇_Clean.wavを〇〇. rplと同名にリネームしてから、動画出力することをおすすめします!

さらに付け加えると動画出力する前に.wavデータを音声編集ソフトで事前に編集

ホワイトノイズや音量を修正したデータにしたものを動画出力にすると

後々の編集に有効ですので、ぜひ試してみてください。

フェイスリグに関する記事をすべて掲載!
バーチャルYouTuberの参考紹介

参考記事

【VTuber】バーチャルYouTuber制作に関連する全記事まとめ VTuberを作成した時のノウハウをまとめました。 Vtuber用Live2Dモデル制作 全制作工程土日でバーチャルYouTu...

おすすめ機材

created by Rinker
COMON
¥510
(2019/06/17 13:19:21時点 Amazon調べ-詳細)

マイクはいろいろ試して、これが一番おすすめです。
東雲めぐちゃんの収録で使われている機材です。
声だけ音声を拾ってくれます。最大の特徴は頭を動かしても、位置が変わらないので音が撮りやすく、ヘッドマウントディスプレイをつけたままでも装着可なところです。

created by Rinker
ロジクール
¥11,642
(2019/06/17 13:19:22時点 Amazon調べ-詳細)

数少ないフルHD(1920×1080)対応機種。多段可変でカメラ位置の調整が用意。三脚もつけることが可能。
さらに背景をリアルタイムで切り抜いてくれる機能もあります。トラッキングの精度を最大限確保したいならこのカメラがおすすめです。

FaceRigなどでVTuberやるなら、リープモーションもつけて手を動かすとより表現が増すのでおすすめです。

created by Rinker
ヤマハ(Yamaha)
¥15,508
(2019/06/17 13:19:23時点 Amazon調べ-詳細)

綺麗な音で配信するにはオーディオインターフェイスが必須です!

本気でバ美肉するなら手に入れたい機材です。
声を変換にできるだけでなく、ハードウェアなので音ズレなくリアルタイムに声を反映できます。

ABOUT ME
すいみん
東京在住。デザイナー寄りのテクニカルアーティスト。 ブログは技術検証の備忘録として書いています。