Нейросеть навчилася «переносити» руху з відео на нерухомі фото людей

14.12.2020, 18:30

За допомогою нової технології, людини можна, наприклад, змусити танцювати, маючи лише одне-єдине зображення з ним. Причому, на відміну від минулих спроб реалізувати подібне, свіжа розробка робить це на якісно новому рівні.
Команда розробників з Impersonator опублікувала на сайті інформацію про новий проект - Impersonator ++. Його суть полягає в перенесенні рухів з видеоисточника на людей, зображених на фотографіях. В якості одного з прикладів роботи технології, компанія показала, як вона «змусила» Дональда Трампа грати з баскетбольним м'ячем, використовуючи лише одне фото з ним.

Для збереження вихідної інформації про текстуру, кольорах і т.д, розробники використовували технологію Attentional Liquid Warping GAN разом з Attentional Liquid Warping Block (AttLWB). З їх допомогою їм вдалося добитися максимально природного «змішання» фото і відеоджерел при створенні підсумкового відео. Свою роль в поліпшенні фінального результату зіграло і використання змагального навчання.

Більш детально з принципом роботи нейромережі можна ознайомитися на GutHub-сторінці проекту. Там же можна знайти інструкцію по запуску Impersonator ++ (поки що проект працює лише в режимі консолі).

Читайте АСН в Google News