Adobe phát hành ActAnywhere, một mô hình video AI tạo nền dựa trên chuyển động

Bit Adobe đã phát hành một mô hình video mới, ActAnywhere, tạo nền video cho cộng đồng phim và VFX dựa trên chuyển động và sự xuất hiện của các đối tượng tiền cảnh, theo trang HuggingFace.

Mô hình ActAnywhere nhanh chóng kết hợp các ý tưởng sáng tạo của người dùng vào một cảnh ảo động bằng cách giới thiệu sự chú ý xuyên khung hình để suy luận tạm thời. Bộ dữ liệu đào tạo của mô hình chứa 2,4 triệu video về con người tương tác với hiện trường và được đào tạo theo cách tự giám sát. Kết quả đánh giá cho thấy ActAnywhere có khả năng tạo ra các video thực tế cao về tương tác tiền cảnh-nền, chuyển động của máy ảnh, hiệu ứng ánh sáng và bóng tối và có thể được khái quát hóa cho các mẫu được phân phối bên ngoài dữ liệu đào tạo, bao gồm cả các đối tượng không phải con người.