Adobe lance ActAnywhere, un modèle vidéo d’IA qui génère des arrière-plans basés sur le mouvement

Bit Adobe a publié un nouveau modèle vidéo, ActAnywhere, qui génère des arrière-plans vidéo pour la communauté des films et des effets visuels en fonction du mouvement et de l’apparence des sujets au premier plan, selon la page HuggingFace.

Le modèle ActAnywhere intègre rapidement les idées créatives de l’utilisateur dans une scène virtuelle dynamique en introduisant une attention croisée pour l’inférence temporelle. L’ensemble de données d’entraînement du modèle contient 2,4 millions de vidéos d’humains interagissant avec la scène et est entraîné de manière auto-supervisée. Les résultats de l’évaluation montrent qu’ActAnywhere est capable de générer des vidéos très réalistes des interactions entre le premier plan et l’arrière-plan, les mouvements de caméra, les effets d’ombre et de lumière, et peut être généralisé à des échantillons distribués en dehors des données d’apprentissage, y compris des sujets non humains.