オーディオ振幅|声の大きさに合わせてキャラクターの口を開閉する

蝶々を目で追い、大きな声で口を開くキャラクター

蝶々を目で追いながら、キャラクターが「おーい」と声をかけます。最初は小声、次は大声。音を出して再生すると、同じ呼び声でも口の開きが変わる様子を見比べられます。

1回目は小声、2回目は大声。呼びかけの間は口を閉じても、黒目は蝶々を追い続けます。

作例のAEプロジェクトと音声をダウンロードする ↓

目次

声の大きさを口の高さに変える

音声をAEで解析すると、声の強弱がスライダーのキーフレームになります。その数値を口の縦スケールに割り当てます。ひとつの楕円で、無音のときは細い線、小声では小さな口、大声では丸く開いた口を描けます。母音ごとの形を描き分ける必要がない、シンプルなキャラクター向けの方法です。

音声から振幅キーを作る

  1. コンポジションに声の音声を置きます。配布作例は1280×720、30fps、6秒です。BGMや効果音がある場合は声だけをソロにし、ワークエリアをせりふの区間に合わせます。
  2. タイムラインをアクティブにして「アニメーション → キーフレーム補助 → オーディオをキーフレームに変換」を選びます。
  3. 生成された「オーディオ振幅」レイヤーの名前を半角の VOICE_LEVEL に変更します。エフェクトの「両方のチャンネル」を LEVEL に改名します。
  4. LEVELのスライダーを開き、無音・小声・大声の位置で数値を読みます。音声の解析が済んだらソロを解除し、通常の再生状態に戻します。

この数値は音声の強弱を表す解析値です。音声レイヤーの「オーディオレベル」で入力するdBとは単位が違います。配布音声の最大値は約36.5です。

楕円の口に式を入れる

  1. 顔とは別の2Dシェイプレイヤーに直径60pxの楕円を作り、名前をMOUTHにします。塗りを濃い色にして、アンカーポイントと楕円の中心を合わせます。
  2. レイヤーのスケールの縦横比リンクを解除し、Xを100%、Yを75%にします。これが最も大きく開いたときの形です。
  3. MOUTHに「エフェクト → エクスプレッション制御 → スライダー制御」を2個追加します。名前と値をそれぞれ GATE=2、PEAK=32 にします。
  4. MOUTHの「トランスフォーム → スケール」のストップウォッチをOption(WindowsはAlt)を押しながらクリックし、次の式を貼り付けます。
var level = thisComp.layer("VOICE_LEVEL").effect("LEVEL")(1);
var gate = effect("GATE")(1);
var peak = Math.max(gate + 0.01, effect("PEAK")(1));
var opening = linear(level, gate, peak, 6, 100);
[value[0], value[1] * opening / 100];

linear()で、GATEからPEAKまでの振幅を6〜100%の開きに変換します。元のYスケールにその割合を掛けるので、声が途切れると75% × 0.06=4.5%。元が直径60pxなら高さ約2.7pxの閉じ口が残ります。Xは元の値を保つため、声が大きくなっても顔の横へ口が広がりません。

PEAKを変えて、ちょうどいい表情を選ぶ

3つの顔に同じ声を入力。左からPEAK 12・32・60で、GATEはすべて2です。

小声の場面で違いを見ると調整しやすくなります。PEAKを下げると小さな声でも口が開き、上げると同じ声で控えめな表情になります。

設定調整の目安
GATE息継ぎや部屋の雑音で口が開くときは、無音区間の振幅を少し上回る値へ上げる。
PEAK 12小さな声が見えやすい。大声では早めに最大の口に達する。
PEAK 32今回の作例値。2回の呼びかけの強弱を残せる。
PEAK 60大きな声でも口の開きを抑えたい表情向き。

実践:蝶々を追いながら呼びかける

配布AEPの「02_BUTTERFLY_VOICE」を開きます。蝶々と左右の黒目は前回の作例を引き継いでいます。もとの笑い口「SMILE」を非表示にし、同じ顔の中央下、位置[640,502]に新しいMOUTHを置きました。黒目は蝶々の位置を読み、口は声の振幅を読むので、別々のタイミングで動きます。

小声の「おーい」で蝶々を追うキャラクターの口が少し開く
小声。口の横幅を保ち、縦だけを小さく開きます。
同じキャラクターが大声で口を大きく開いた表情
大声。GATEとPEAKは小声と同じ設定です。

自分の声に差し替えるには

コンポに新しい音声を置き、元のVOICEをミュートします。古いVOICE_LEVELをいったん別名にして、新しい音声からもう一度振幅キーを生成してください。新しい解析レイヤーとエフェクトをVOICE_LEVEL/LEVELに揃えると、MOUTHの式をそのまま使えます。古いキーは録音の差し替えやタイミング編集には追随しないため、音声の編集後に変換するのが確実です。

気になる動き確認する場所
無音でも口が動くLEVELの値を見てGATEを調整。BGMまで解析した場合は、声だけで変換し直す。
声が聞こえるのに口が開かない変換したワークエリア、VOICE_LEVELとLEVELの綴り、GATEが高すぎないかを確認する。
口がずっと開き切る声のピーク付近でLEVELを読み、PEAKをその値に近づける。
顔ごと伸びてしまう式を貼る先は口だけのレイヤーのスケール。顔と口を別のレイヤーに分ける。

ほかの連動作例はAEエクスプレッション集から探せます。

作例のAEプロジェクトをダウンロード

感度比較と蝶々を追うキャラクターを収録しました。ZIPを展開し、assetsフォルダとAEPを同じ階層に置いて開いてください。

作例プロジェクトと音声をダウンロード(ZIP)

項目内容
制作環境After Effects 26.5/JavaScript/30fps
同梱内容編集用AEP、作例用に合成した呼び声(WAV)、コピー用の式、使い方
フォントヒラギノ角ゴ。未導入の場合は任意のゴシック体に置換できます。
利用条件学習・個人制作での利用と改変は可。商用利用は個別にご相談ください。
よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた人

フリーランスとしてPASを運営し、モーションデザインや映像制作を中心に活動しています。

映像をつくることだけでなく、情報をどう捉え、どう組み替え、どう伝えるかという「編集」に関心があります。

また、越境学習に関わる現場にも参加し、対話や問いを通じた学びの場づくりにも取り組んでいます。

コメント

コメントする

目次