PAUSED
Emotion Mike
Condition-Aware Face Tracking
PNG Tuber向けのフェイストラッキングアプリ。 現在実際の表情とアニメ表現のマッピングの限界を感じ、表情以外の情報から表情を調整する実験的機能を検討中。
STACKS
Emotion Mikeは、PNG Tuber向けのフェイストラッキングアプリを探る実験です。現実の表情筋の動きを読み取り、キャラクターのアニメ表現へどのように対応させるかをテーマにしています。
現実の表情筋の動きとキャラクターの表情をただ紐づけるのではなく、トラッキングで得た動きを連続的な値としてそのまま反映せず、離散的な値として扱うことで、ジト目や白目といったアニメ的な表現を取り込める可能性を考えました。実写的な変形を再現するのではなく、決められた絵を切り替えられるPNG Tuberだからこそ試せる表現です。
ジト目や白目を候補として用意できても、現実の顔の動きだけでは、いつその表現を選ぶべきか判断できません。表情の形を増やすことと、キャラクターとして意図した表情を選ぶことは別の課題だと分かりました。
ジト目のようなアニメ表現は、顔の形だけで成立するものではなく、ジト目をするのに適した状況で再現されます。つまり、どの表情を選ぶべきか判断するには、顔面の筋肉の動作だけでは情報が足りません。状況や文脈も入力として扱い、キャラクターの表情を決める必要があると考えました。
今後、表情を選ぶための状況や文脈として、次のような情報を扱える可能性を考えています。
- ゲーム画面の状態：HPバーや敵との距離を自動判定し、危機、緊張、余裕などの状況を推定する
- LLMによる音声解析と感情推定：発話内容や声の調子から、喜び、困惑、苛立ちなどを推定する
- 操作状況やプレイ傾向：ボタン入力の増加、同じ場面での連続失敗、操作が止まった時間などから、集中、焦り、苛立ちを推定する
こうした案は浮かんでいるものの、AIを扱ったプロダクト開発の知見と、表情の選択に寄与する環境情報をモデル化・分析した経験はまだ浅く、どの方法が実用的かを判断し、実現方法を絞り込める段階にはありません。
そのため、まずは候補となる情報が本当に表情の選択に寄与するのか、どのようなデータと評価方法が必要なのかを整理するところから進めたいと考えています。実装を急ぐのではなく、AIや環境情報の扱いに関する知見を得ながら、小さく検証できる方法を探しています。
環境情報の選び方、感情推定の方法、検証の進め方について意見や知見があれば、ContactまたはXのDMから教えてください。AIを扱うプロダクト、表情認識、ゲーム情報の解析、キャラクター表現に詳しく、一緒に仮説を検証してくれる共同研究者も待っています。