Video_retargeting Knowpia

Video Retargeting (en castellano, Reescalado de Video) es el proceso de transformación mediante el cual se adaptan las dimensiones de un video existente a las de un dispositivo de reproducción cualquiera (televisión, teléfono móvil, ordenadores portátiles, etc.)

Problemática

Esta adaptación es de vital importancia debido a la gran variedad de resoluciones y relación de aspecto que se encuentran tanto en la emisión como en la reproducción de secuencias de vídeo. Por tanto existirán problemas de compatibilidad sobre las dimensiones del vídeo al reproducir, como por ejemplo el caso de una secuencia original 16:9 en un sistema de visualización 4:3.

Pantalla con ratio 4:3.

Sistemas actuales

Ejemplo de aplicación de las diferentes opciones.

Los sistemas actuales utilizados en sintonizadores de TDT o pantallas de Televisión de última generación, permiten la adaptación de contenidos mediante la selección de opciones tales como Letterbox o pan and scan.

Cabe destacar la existencia del pan and scan automático (en inglés Automatic Pan Scan), esta técnica es capaz de situar el foco principal de la acción de una secuencia, mostrándolo en la pantalla de visualización correspondiente.)^[1]

No obstante estas aplicaciones presentan múltiples desventajas:

En el caso de Letterbox no se aprovecha al cien por cien la visualización que nos podría ofrecer nuestro dispositivo de reproducción (añadimos barras negras en la parte superior e inferior de la imagen).
En pan and scan se puede perder gran parte de la imagen original echando a perder la composición de una secuencia.
La combinación de las técnicas anteriores producen una distorsión en la forma de la imagen.
Finalmente la mayor desventaja que presentan estos sistemas es que no tienen en cuenta la importancia de los contenidos de la secuencia.

Ahora bien, en función de esta última y principal problemática han surgido recientemente sistemas que permiten la adaptación de la relación de aspecto en función de la semántica de los contenidos de la imagen.

Solución a los sistemas actuales

El Discontinuous Seam Carving és la técnica más reciente que propone solventar todas las desventajas explicadas anteriormente (sobre todo adaptación los contenidos en función de su importancia).

Se basa en una evolución del Seam Carving, algoritmo que se utiliza en imágenes fijas para el correcto reescalado de imagen.

Imágenes fijas

El Seam Carving primero establece un determinado número de costuras (en inglés, seams) a partir de la imagen original. Dichos seams son las partes con la menor relevancia en la imagen y por lo tanto las que deberán ser eliminadas o añadidas (carving) en el proceso final , no obstante este algoritmo también permite la elección manual de las áreas de interés que no deben ser modificadas debido a su importancia. La implementación se hace mediante Programación dinámica.

Esta técnica ha ido ganando popularidad recientemente ya que ofrece muy buenos resultados. Actualmente hay disponibles gran cantidad de Plug-in aplicables en programas de edición de imágenes que nos permiten escalar sin los típicos problemas de recortes, deformaciones, etc (por ejemplo Liquid Rescale para GIMP).

Las Costuras se corresponden con las líneas rojas.

A continuación se muestra el resultado final al aplicar el algoritmo.

Imagen reescalada.

Video

El Discontinuous Seam Carving (evolución del algoritmo en imágenes fijas), ha sido realizada por investigadores de Google Research junto con colaboradores del Instituto de Tecnología de Georgia.

Según sus creadores los objetivos claves de este proyecto son los siguientes:

Encontrar una solución que mantenga la continuidad temporal y la estructura espacial.
Permitir la selección los elementos más destacados las imágenes de video mediante el uso de contenidos interactivos.
Hacer un procesado secuencial fotograma a fotograma apropiado a longitudes de video variables y para video en streaming, obteniendo un sistema que comporte escalabilidad.

El nuevo algoritmo aplicable a secuencias de video recibe el nombre de Discontinuous Seam Carving. Según sus propietarios ha sido bautizado de esta manera (ahora es incluido el término discontinuous), ya que modifica el video añadiendo o eliminando las costuras (seams) que se encuentran desconectadas.

También cabe destacar que el algoritmo propuesto trabaja a nivel espacial y temporal.

Sin duda la mejora que propone el algoritmo es sustancial, ya que permite adaptar los contenidos de video sin que se produzcan expansiones de forma, recortes o distorsiones en la imagen resultante.