Версія даної теми для друку
Натисніть сюди для перегляду даної теми у оригінальному форматі
XJedi FORUM: Online lightsaber fighting game _ Наука і техніка _ Компьютерное зрение и распознавание образов
Автор: Darth Tyranus 19.3.2016, 18:25
Компьютерное зрение и распознавание образов
Computer Vision and Pattern Recognition (CVPR), IEEE, June 2016
Информация о проекте
Научные интституты: - University of Erlangen-Nuremberg, Max Planck Institute for Informatics, Stanford University
Исследователи: - Justus Thies, Michael Zollhцfer, Marc Stamminger, Christian Matthias NieЯnerTheobalt
О проекте:
Мы представляем новый подход к реконструкции лицевой активности (эмоции, выражение лица - движение лицевых мускулов и реалистичная передача теней, освещения) актера перенесенной поверх лица цели в потоковой передачи изображения (к примеру ролики с youtube или прямой трансляции) в режиме реального времени.
Более подробные детали по проекту на английском языке, а также на сайте одного из участников проекта.
We present a novel approach for real-time facial reenactment of a monocular target video sequence (e.g., Youtube video). The source sequence is also a monocular video stream, captured live with a commodity webcam. Our goal is to animate the facial expressions of the target video by a source actor and re-render the manipulated output video in a photo-realistic fashion. To this end, we first address the under-constrained problem of facial identity recovery from monocular video by non-rigid model-based bundling. At run time, we track facial expressions of both source and target video using a dense photometric consistency measure. Reenactment is then achieved by fast and efficient deformation transfer between source and target. The mouth interior that best matches the re-targeted expression is retrieved from the target sequence and warped to produce an accurate fit. Finally, we convincingly re-render the synthesized target face on top of the corresponding video stream such that it seamlessly blends with the real-world illumination. We demonstrate our method in a live setup, where Youtube videos are reenacted in real time.
Более подробные детали по проекту на английском языке, а также на сайте одного из участников проекта.
We present a novel approach for real-time facial reenactment of a monocular target video sequence (e.g., Youtube video). The source sequence is also a monocular video stream, captured live with a commodity webcam. Our goal is to animate the facial expressions of the target video by a source actor and re-render the manipulated output video in a photo-realistic fashion. To this end, we first address the under-constrained problem of facial identity recovery from monocular video by non-rigid model-based bundling. At run time, we track facial expressions of both source and target video using a dense photometric consistency measure. Reenactment is then achieved by fast and efficient deformation transfer between source and target. The mouth interior that best matches the re-targeted expression is retrieved from the target sequence and warped to produce an accurate fit. Finally, we convincingly re-render the synthesized target face on top of the corresponding video stream such that it seamlessly blends with the real-world illumination. We demonstrate our method in a live setup, where Youtube videos are reenacted in real time.
Личное мнение:
Это не первый подобный проект в этом направлении, но на сегодняшний день данный проект самый впечатляющий. С такими возможностями можно много достичь не только в манипулировании видео материалом, но и в системах управления, автоматизации.
Официальный сайт проекта одного из исследователей Christian Matthias - http://www.graphics.stanford.edu/~niessner/thies2016face.html
Дополнительно, если кому интересно, о Техническом зрении в системах управления - http://www.iki.rssi.ru/books/2012tz.pdf
Автор: Rock 19.3.2016, 23:42
Но работы конечно еще непочатый край. Для более корректного результата нужно еще как-то задать параметры (рамки) за пределы которых модель не должна выходить. Что я имею в виду? Вот например у Путина при поджатии губ слишком уж сильно (у него нету таких эмоций и такого кривляния) растягиваются уголки рта. Сраза будет видно что это моделируемый монтаж. Перед подобным проектом нужно в мельчайших подробностях изучать эмоциональную карту человека, особенности проявления им эмоций и его физиономию.
Это конечно если придираться. Понятное дело что над проектом работают и будут дальше это развивать.
Для начала - весьма впечатляюще (=
Автор: Darth Tyranus 20.3.2016, 15:14
Этот проект далеко не начало, на сколько я знаю он тянется еще с 2012 года. И результаты работы очень впечатляют.
Если ты присмотришься, то ты заметишь, что там не просто в тупую переносится выражения лица, оно подстраивается именно под особенности лица цели, под ее мускулатуру. Как они этого добились я так полностью и не понял (большой пакет последовательностей для мимики разных типов лиц, которые сами распознают тип лица цели и задействуются, из того что я уловил).
Это хорошо видно даже на картинке. У азиатки вокруг рта не возникает морщин при широко открытом рте, но перенеся эту эмоцию на лицо Арни, мы видим как учитывается его тип лица.
На счет Путина, так это кривляния специально проделываются для демонстрации. Ты просто никогда не видел что бы ВВ кривлялся, потому тебе и кажется это не реалистичным.
Я тоже заметил, как он смешно выглядел с закушенной губой, но потом я посмотрел на актера и увидел, что он точно также ее закусил.
Проект конечно и дальше будут развивать. Вспомнился фильм "Эквилибриум" там давно умершего вождя в тайне изображал министр используя подобный метод.
Invision Power Board
© IPS