多彩で奥深く、また適応的に調整できる表情をロボットやCGアバターなどの人工の顔でダイナミックに実現するために石原研究室で開発を進めている自動気分表現合成システム「AMESS：Automatic Mood Expression Synthesis System」の仕組みの解説資料・関連情報をここにまとめます。
情動や感情、あるいは気分や注意などの心的な状態を表情として伝える顔の「動き」を合成的な手段によって得る手法（動的表情合成手法）の一つとして提案した仕組みです。心理変化の基盤である気分状態（脳疲労，エネルギー資源，自律神経系，内分泌系が絡む複雑動的な生理状態）を表現する運動を逐次合成する手法として、2024年末に発表した気分表現アルゴリズムが開発基盤となっています。人らしい連動のルールを守りながら、気分に応じた無意識・自発的な動きを生成・調整し、気分を表現する高次元・高周波数の複雑運動時系列を合成するものです。様々な仕草を個別の波として表し、心的状態に応じて波形を変調させた仕草の波を多数重ね合わせて複雑な顔の動きを随時生成します。人が顔を動かす際に影響する要素を組み込んだ合成のモデルを用意することで、それらの要素を設計者が毎回考慮して動きを設計する必要が無くなります。乱数を用いないため、複雑性と再現性も両立可能です。個別の動きがそれぞれの周波数を有するため、多数の動きを同時に重ねても動きの情報が失われにくいという利点もあります。
Automatic generation of arousal expression on android robot face.mp3
AMESSによって実現したアンドロイドロボットの表情例です。「徐々に眠くなるように」という簡単な指令を与えるだけで、瞼が重くなり、呼吸も浅くゆっくりに、頭をゆらゆらさせるようになって最後は口をむにゃむにゃさせてあくびをするという動きが自動的に合成されます。
https://m.youtube.com/watch?v=OWJuINXp63E
H. Ishihara, R. Hayashi, F. Lavieille, K. Okamoto, T. Okuyama, and K. Osuka, “Automatic Generation of Dynamic Arousal Expression Based on Decaying Wave Synthesis for Robot Faces,” J. Robot. Mechatron., Vol.36 No.6, pp. 1481-1494, 2024.
動的表情合成の仕組みの提案と気分（1次元覚醒度）の表現を試みた研究です。システム開発のための数学的定式化と実装は石原が、システム評価のための実験デザインと解析は林里奈先生が担当しました。
この技術は、人の声だけでなく顔表情もまた波の合成で再現できる可能性を示すもので、ゲームキャラの表情をインタラクティブに変えたり、複雑なアバター動作を自動生成したりと、ロボット以外の応用先も広く見込まれます。この技術の重要なポイントは以下の通りです。
アンドロイドの表情に“気分の移ろい”を滑らかに表現 - ResOU
https://www.youtube.com/embed/QAvtAzdu_WQ?si=RfU5ZfKVVt6rI-09