【FaceRig】口の動きと音声をより正確に合わせる!動画の書き出し方について

FaceRigで出力した動画、口パクがなんかズレているなぁと言うときに

試してほしい方法です。

そう普段使われていない○○_clean.wavを活用するとリップシンクがきれいにつかがるかもしれません。

この記事の著者
CGブロガー すいみん

CGブロガー

すいみん

Suimin

プロフィール

某美大の油絵科を卒業後、大手CG映像プロダクションに入社。
その後ゲーム業界に転職。
現在は技術系のCGデザイナーをしています。 書籍:Unity デザイナーズ・バイブル
プロフィール詳細はこちら

FaceRigの口パクを合わせる方法

パフォーマンスを録音で生成されるデータ

まず、FaceRigでパフォーマンスを録音すると3つのデータが生成されます。

  • Sample.rpl
  • Sample.wav
  • Sample_clean.wav

動画を出力するにあたって、使用される音声データについて

そしてムービーとしてパフォーマンスをエクスポートする時は

  • Sample.rpl
  • Sample.wav

の2つ使用されます。
要するに同名の.rpl /.wavが合成されることになります。

※ちなみに.wavを消した状態でエクスポートすると音声無しの動画を作成することも可能です。
※そしてSample_clean.wavは使われてません!

「○○_clean.wav」について

この使われないSample_clean.wavデータについて調べてみました。
まず音声Sample.wavとSample_clean.wavの波形を重ねて、差の絶対値を視覚的にだすと下記のようになります。


ほとんど同じ波形の形で、音が綺麗になったわけではなさそうです。


①上 Sample.rplとSample.wavのデータから書き出した動画

②下 Sample.rplとSample_Clean.wavをSample.wavとリネームしたデータから書き出した動画(もとのSample.wavは削除)

上図を見てのとおり、音のタイミングが違います。

動画と合わせてみるとわかるのですが、普通に書き出したものよりもリップシンクの動きが噛み合います。
要するにFaceRig動画の口パクのタイミングにより適している音声が合成されます。

FaceRigで口の動きと音声をより正確に合わせる動画の書き出し方まとめ

ということで元の〇〇.wavは使わず
〇〇_Clean.wavを〇〇. rplと同名にリネームしてから、動画出力することをおすすめします!

さらに付け加えると動画出力する前に.wavデータを音声編集ソフトで事前に編集

ホワイトノイズや音量を修正したデータにしたものを動画出力にすると

後々の編集に有効ですので、ぜひ試してみてください。

すいみん

下記の記事では出力した動画データ(.Webm)を編集ソフトで読むこむためのやり方を紹介しています。
【FaceRig】webmの動画データをAVIに変換する方法&Adobeソフトから読み込む方法

以上、すいみん(@cg_method)でした!

FaceRigに関する参考記事・ツール・書籍のまとめ

FaceRigに関する記事を下記にまとめました。



facerig-summary-article


Vtuberの作り方!FaceRigに関する技術まとめ

FaceRigのおすすめWEBカメラ

すいみん

FaceRigで一番使われるWEBカメラです、安いのでまずはこちらから始めるとよいです

すいみん

数少ないフルHD(1920×1080)対応機種。多段可変でカメラ位置の調整が用意。三脚もつけることが可能。さらに背景をリアルタイムで切り抜いてくれる機能もあります。トラッキングの精度が抜群なので、すぐにFaceRigが始められます!すいみんも愛用、このカメラがおすすめです!

FaceRigの腕を動かすための周辺機器

すいみん

FaceRigなどでVTuberやるなら、リープモーションもつけて手を動かすとより表現が増すのでおすすめです。

すいみん

リープモーションをこれに挟んで首にかけるとよいです!

FaceRigの参考書籍

FaceRig用おすすめライト

ディスプレイ上に設置できるライト。顔認識しやすくなります。

Vtuber おすすめマイク


eyecatch-vtuber-microphone
【VTuber】種類別!おすすめのマイク5選 [超定番]