Todos en algún momento hemos sido testigos de las técnicas Deepfakes, el gran acrónimo en inglés formado por las palabras fake (falsificación) y deep learning (aprendizaje profundo), piezas audiovisuales invertidas digitalmente, con resultados que varían entre lo rústico y lo cómico, incluso se llega a peligrosas reproducciones conocidas como ultrafalsos.
Hay herramientas que permiten ediciones y clips con esta técnica deepfakes, obteniendo favorables resultados, incluso se puede probar directamente desde la web. con la única restricción que serán video clips cortos.
Un experto en sincronización de labios y voz
Una de las herramientas es Wav2Lip que se encuentra disponible en GitHub, que surge como una investigación publicada en un paper con el nombre de «A Lip Sync Expert Is All You Need for Speech to Lip Generation In the Wild”.
Wav2Lip es un experto sincronizador de labios, este es una adaptación del modelo SyncNet, el cual supera todos los enfoques anteriores independientes del hablante hacia la tarea de sincronizar los labios de video y audio.
Esta herramienta puede funcionar con cualquier identidad, idioma y voz, aceptando incluso animaciones generadas por computadora y voces sintéticas.
Puede ser muy provechosa desde distintos niveles, ya que posee muchos códigos de entrenamiento completos, códigos de inferencia y modelos previamente entrenados.
Adicionalmente, también está disponible mediante Google Colab Notebook, para trabajar en su código directamente desde la nube y con la posibilidad de hacerlo en equipo, de forma similar a los Documentos de Google.
Wav2Lip cuenta con la capacidad de adaptarse a distintas escenas, con resultados realmente buenos.
Los autores citan que un ser humano detecta un segmento de video con una falta de sincronización de aproximadamente 0,05 a 0,1 segundos, lo que implica un desafío amplio con un margen de error muy pequeño.
A pesar de lo complejo que pueda parecer esto para quien no domine aquellas destrezas, existe la posibilidad de realizar algunas pruebas desde la web. En el sitio de Wav2Lip puedes realizar algunas pruebas con los clips que ahí disponen o cargando tus propios clips de vídeo y voz, limitados en este caso a fragmentos de hasta 20 segundos.
Fuente: wwwhatsnew
