PAUSED
Emotion Mike
Condition-Aware Face Tracking
PNG Tuber向けに、状況に応じた表情制御を検討する開発プロジェクト。 PCの音量変化を表情切り替えのトリガーに用いる方針で、現在はモデル化を進めている。
STACKS
Emotion Mikeは、PNG Tuber向けのフェイストラッキングアプリの開発プロジェクト。顔の動きをもとに、ジト目や白目など、キャラクターに適したアニメ的な表情を選択する仕組みの実現を目指している。
トラッキングで得た動きを連続的に反映する方法に対し、あらかじめ用意した表情の状態へ対応づけ、画像を切り替える方法を検討した。PNG Tuberの画像切り替えを利用することで、現実の顔の動きとは異なるジト目や白目などの表現を取り込めると考えた。
ジト目や白目を候補として用意しても、顔の動きだけでは、どの場面でその表情を選ぶべきか判断しにくいという課題があった。表示する表情を増やすことに加え、状況に合った表情を選ぶための判断材料が必要だと分かった。
今後の検証は、PCの音量変化を受け取り、表情変化のトリガーとして利用する方法に絞る。音量の変化を表情の切り替えに結びつけることで、顔のトラッキング情報を補う入力として利用できるかを検証する。
現在は、PCの音量変化と表情変化の対応関係をモデル化している。音量変化の入力からトリガーの判定、表情の切り替えまでの流れを整理している段階である。
モデル化した内容をもとに、小規模な検証で表情切り替えの挙動を確認する方針。音量変化をトリガーとして利用する方法の有効性を確かめていく。
PCの音量変化を表情変化のトリガーとして扱う方法や、そのモデル化・検証方法について意見交換できる方を募集している。音量情報の扱いやキャラクターの表情制御に知見があり、共同検証に関心のある方は、ContactまたはXのDMからご連絡ください。