В Университете Калифорнии алгоритм научили переносить человеческие движения между видео

Американские исследователи из Университета Калифорнии в Беркли под руководством Алексея Эфроса создали нейросетевой алгоритм, который способен переносить движения людей между видеороликами, пишет N+1.

Для обучения программе необходимо предоставить запись человека с оригинального видео длинной в несколько минут, после чего алгоритм перенесет обработанные движения на новый видеоролик.

Разработка использует машинное обучение, благодаря которому алгоритм способен переносить детали и стиль между изображениями и видеороликами. Исследователи в своем алгоритме реализовали перенос движений через промежуточные модели тела — таким образом упрощается сборка кадров, а движение человеческого тела отражается более точно.

Примененная в алгоритме OpenPose трехстадийная схема позволяет превратить исходное видео в упрощенную модель человеческого тела, которая состоит из соединенных линиями ключевых точек. Затем движения исходной модели переносятся на целевую и проходят нормализацию ввиду того, что разные люди могут иметь разные пропорции тела, а прямой перенос может привести к нереалистичным изменениям внешнего вида другого человека. После этого задействуется другой алгоритм pix2pixHD, который разработан в Университете Калифорнии в Беркли совместно с NVIDIA, превращающий движения модели в фотореалистичный видеоролик, в котором человек повторяет движения из исходного видео.

Основным заявленным недостатком является необходимость обучать алгоритм на видеоролике с множеством движений, а переносить заученные движения сможет только на ролик с конкретным человеком, однако на исходниках могут присутствовать разные люди.