Adobeが動きに基づいて背景を生成するAIビデオモデル「ActAnywhere」をリリース

Bit Adobeは、HuggingFaceページによると、前景の被写体の動きと外観に基づいて、映画およびVFXコミュニティ用のビデオ背景を生成する新しいビデオモデル、ActAnywhereをリリースしました。

ActAnywhere モデルは、時間的推論のためのクロスフレーム アテンションを導入することで、ユーザーのクリエイティブなアイデアを動的な仮想シーンにすばやく組み込みます。 このモデルのトレーニング データセットには、人間がシーンと対話する 240 万本のビデオが含まれており、自己教師ありの方法でトレーニングされています。 評価結果は、ActAnywhereが前景と背景の相互作用、カメラの動き、光と影の効果の非常にリアルなビデオを生成でき、人間以外の被験者を含むトレーニングデータの外部に分散されたサンプルに一般化できることを示しています。