音声駆動のインタラクティブなアバター動画生成フレームワーク「INFP」がとても面白いです。以下の特徴があります：
- 双方向対話音声と人物アバターを入力することで、双方向のインタラクション動画を生成します。
- 表情や頭部の動き、リップシンクの一致性が非常に高く、自然な動きを再現します。
- 音声に基づき自動的にキャラクターを切り替えるため、手動でキャラクターを指定する必要がありません。
- 表情や頭部の動きが非常に滑らかでリアルです。
- 軽量かつ高速で、40FPS以上の速度でリアルタイム生成が可能です。
プロジェクトページ: https://grisoon.github.io/INFP/