メニュー
\ ポイント最大11倍! /詳細を見る

【FaceRig】口の動きと音声をより正確に合わせる!動画の書き出し方について

facerig-lip-sync

FaceRigで出力した動画、口パクがなんかズレているなぁと言うときに

試してほしい方法です。

そう普段使われていない○○_clean.wavを活用するとリップシンクがきれいにつかがるかもしれません。

海外でフリーランスをしているテクニカルアーティスト
ゲーム開発・映像制作・WEB制作等を請け負っています。
当ブログは作業効率化のための技術ブログです。

目次

FaceRigの口パクを合わせる方法

FaceRigの口パクを合わせる方法の紹介です。

パフォーマンスを録音で生成されるデータ

まず、FaceRigでパフォーマンスを録音すると3つのデータが生成されます。

  • Sample.rpl
  • Sample.wav
  • Sample_clean.wav

動画を出力するにあたって、使用される音声データについて

そしてムービーとしてパフォーマンスをエクスポートする時は

  • Sample.rpl
  • Sample.wav

の2つ使用されます。

要するに同名の.rpl /.wavが合成されることになります。

※ちなみに.wavを消した状態でエクスポートすると音声無しの動画を作成することも可能です。
※そしてSample_clean.wavは使われてません!

「○○_clean.wav」について

この使われないSample_clean.wavデータについて調べてみました。

まず音声Sample.wavとSample_clean.wavの波形を重ねて、差の絶対値を視覚的にだすと下記のようになります。

ほとんど同じ波形の形で、音が綺麗になったわけではなさそうです。

  1. 上の波形 Sample.rplとSample.wavのデータから書き出した動画
  2. 下の波形 Sample.rplとSample_Clean.wavをSample.wavとリネームしたデータから書き出した動画
    (もとのSample.wavは削除)

上図を見てのとおり、音のタイミングが違います。

動画と合わせてみるとわかるのですが、普通に書き出したものよりもリップシンクの動きが噛み合います。

要するにFaceRig動画の口パクのタイミングにより適している音声が合成されます。

FaceRigで口の動きと音声をより正確に合わせる動画の書き出し方まとめ

ということで元の〇〇.wavは使わず

〇〇_Clean.wavを〇〇. rplと同名にリネームしてから、動画出力することをおすすめします!

さらに付け加えると動画出力する前に.wavデータを音声編集ソフトで事前に編集

ホワイトノイズや音量を修正したデータにしたものを動画出力にすると後々の編集に有効ですので、ぜひ試してみてください。

下記の記事では出力した動画データ(.Webm)を編集ソフトで読むこむためのやり方を紹介しています。

全記事一覧

  • URLをコピーしました!

FaceRigに関する参考記事・ツール・書籍のまとめ

FaceRigのおすすめWEBカメラ

FaceRigで一番使われるWEBカメラです、安いのでまずはこちらから始めるとよいです

数少ないフルHD(1920×1080)対応機種。多段可変でカメラ位置の調整が用意。三脚もつけることが可能。さらに背景をリアルタイムで切り抜いてくれる機能もあります。トラッキングの精度が抜群なので、すぐにFaceRigが始められます!僕も愛用してます、おすすめです!

FaceRigの腕を動かすための周辺機器

FaceRigなどでVTuberやるなら、リープモーションもつけて手を動かすとより表現が増すのでおすすめです。

リープモーションをこれに挟んで首にかけるとよいです!

FaceRigの参考書籍

著:株式会社サイドランチ, 著:Crico株式会社 癸のずみ, 監修:株式会社Live2D
¥1,456 (2024/03/21 20:34時点 | Amazon調べ)

FaceRig用おすすめライト

ディスプレイ上に設置できるライト。顔認識しやすくなります。

Vtuber おすすめマイク

目次