Blender→UE5.4.2 顔を動かしてみた02 -Live Link Face-

Blender→UE5.4.2 顔を動かしてみた02 -Live Link Face-(備忘録)
前回エクスポートしたFBXをUnrealEngineで動かせるか試してみました。※このサイトではAuto-Rigと連携しています。

環境

Mac mini (M1, 2020)
macOS 14.4.1
Blender 4.1.1
UE5 5.4.2
Live Link Face 1.3.2

前回

Blender→UE5.4.2 顔を動かしてみた01 -Faceit -
Blender→UE5.4.2 顔を動かしてみた01 -faceit -(備忘録) Blenderプラグインのfaceitを試してみました。faceitはARKitなどに対応したシェイプキーを自動で作成してくれます。顔のリグについてはいろい...

参考

Just a moment...
【UE4】上半身と下半身のアニメーションを別々にしてコンボ攻撃のアニメーションをブレンドする - Qiita
最初にどうも、ろっさむです。今回はUE4でAnimMontageを使用してアニメーションを再生している際に、どのようにして上半身と下半身、異なるモーションを用いてブレンドするのかをまとめようと思…

事前準備 -Live Link Face-

Live Link Face アプリをデバイスにインストールします。こちらではiPadを使用しました。
iPadとMac/PCをライトニングケーブルで接続する。
Live Link Faceを起動。
キャプチャモード→livelinkを選択。
設定→ストリーミング→ターゲットにMac/PCのIPアドレスを入力する。

UnrealEngine

Pluginを有効化する

以下のPluginを有効化します。
Live Link
Apple ARKit
Apple ARKit Face Support

FBXをインポート・リターゲット

FBXのインポート・リターゲットについては以前に投稿しています。今回はキャラクタを顔以外は別で動作をさせたいのでりターゲットをしています。

Blender→UE5.4 Vroidを動かしてみた02 -UE5.4:リターゲット-
Blender→UE5.4 Vroidを動かしてみた02 -UE5.4:リターゲット-(備忘録) 前回、BlenderプラグインのAuto-rigProの拡張機能でQuickRigを試してみました。そこでエクスポートしたキャラクタをUnre...

FBXをインポートする。
Skelton→SK_Manequin_Skeltone
Import MorghTargets→チェック
Use To As Ref Pose→チェック
Create Phisycs Asset→チェックなし


読み込んだスケルタルメッシュをリターゲットする。

AnimBlueprintを生成する。

Retarget Pose From Meshを設定する。

BP_ThirdPersonCharacterを設定する。

動作するか確認する。

Live Link Faceとの連携

AnimBlueprintを編集する。
AnimGraph→LivelinkPoseを設定する。

LiveLinkSubjectName→iPadに設定する。
※接続をしてアプリを起動していないと表示されない。
QutputPoseに接続する。

Live Link Face(iPad)での表情変化が対応するかを確認する。首は動作しないが表情は変化する。
※動作しない場合→アプリ(iPad)の上部の「LIVE」をタップするとカラーが緑色になります。その状態で動作を確認してみてください。

首を動かす

以下の変数を追加してEventGraphにセットします。

Head Yaw Float
Head Pitch Float
Head Roll Float


AnimGraphを編集する。
プレビューで首の傾きがおかしい場合(逆向きなど)MakeRotatorを差し替えてみる。自分の場合はこの状態でした。

首が傾くかを確認する。

2つのアニメーションのブレンド

Layered blend per boneでアニメーションをブレンドする。
Retarget Pose Fom Mesh→Base Pose
Live Link Pose→Blend Poses 0
以下図のように接続する。

Layered blend per boneの詳細設定。
Branch Filters「+」で追加する。
Bone Name neck_01
設定したボーンの以下の子ボーンがブレンドされる。

YouTube

所感

思った以上に簡単に顔を動かすことが実現できました。簡単にできたのはFaceitがARKitに対応していたことが大きいと思われます。単純に表情がつくと楽しいです。YoutubeのはポストプロセスにPPcelshaderを使用しています。

コメント