Blender→UE5.4.2 顔を動かしてみた02 -Live Link Face-(備忘録)
前回エクスポートしたFBXをUnrealEngineで動かせるか試してみました。※このサイトではAuto-Rigと連携しています。
環境
Mac mini (M1, 2020)
macOS 14.4.1
Blender 4.1.1
UE5 5.4.2
Live Link Face 1.3.2
前回
参考
事前準備 -Live Link Face-
Live Link Face アプリをデバイスにインストールします。こちらではiPadを使用しました。
iPadとMac/PCをライトニングケーブルで接続する。
Live Link Faceを起動。
キャプチャモード→livelinkを選択。
設定→ストリーミング→ターゲットにMac/PCのIPアドレスを入力する。
UnrealEngine
Pluginを有効化する
以下のPluginを有効化します。
Live Link
Apple ARKit
Apple ARKit Face Support
FBXをインポート・リターゲット
FBXのインポート・リターゲットについては以前に投稿しています。今回はキャラクタを顔以外は別で動作をさせたいのでりターゲットをしています。
FBXをインポートする。
Skelton→SK_Manequin_Skeltone
Import MorghTargets→チェック
Use To As Ref Pose→チェック
Create Phisycs Asset→チェックなし
読み込んだスケルタルメッシュをリターゲットする。
AnimBlueprintを生成する。
Retarget Pose From Meshを設定する。
BP_ThirdPersonCharacterを設定する。
動作するか確認する。
Live Link Faceとの連携
AnimBlueprintを編集する。
AnimGraph→LivelinkPoseを設定する。
LiveLinkSubjectName→iPadに設定する。
※接続をしてアプリを起動していないと表示されない。
QutputPoseに接続する。
Live Link Face(iPad)での表情変化が対応するかを確認する。首は動作しないが表情は変化する。
※動作しない場合→アプリ(iPad)の上部の「LIVE」をタップするとカラーが緑色になります。その状態で動作を確認してみてください。
首を動かす
以下の変数を追加してEventGraphにセットします。
Head Yaw | Float |
Head Pitch | Float |
Head Roll | Float |
AnimGraphを編集する。
プレビューで首の傾きがおかしい場合(逆向きなど)MakeRotatorを差し替えてみる。自分の場合はこの状態でした。
首が傾くかを確認する。
2つのアニメーションのブレンド
Layered blend per boneでアニメーションをブレンドする。
Retarget Pose Fom Mesh→Base Pose
Live Link Pose→Blend Poses 0
以下図のように接続する。
Layered blend per boneの詳細設定。
Branch Filters「+」で追加する。
Bone Name neck_01
設定したボーンの以下の子ボーンがブレンドされる。
YouTube
所感
思った以上に簡単に顔を動かすことが実現できました。簡単にできたのはFaceitがARKitに対応していたことが大きいと思われます。単純に表情がつくと楽しいです。YoutubeのはポストプロセスにPPcelshaderを使用しています。
コメント