audiv027-2024-1

Clase 17 de mayo

Apuntes:

• GAN: Permite desarrollar un arte generativo a través de la recolección diferentes imágenes. Consiste en una red neuronal para generar imágenes sintéticas.

• Una imagen para un algoritmo es un vector. Una recolección de datos.

• Al igual con Wekinator, señala fallos en la base de datos, por ejemplo, te menciona que ‘‘la imagen 25 mil falló’’.

• GAN tiene sub géneros, como DCGAN (Deep Convolutional GAN).

• Style GAN: Básicamente una GAN, entrenada con estilos. Pueden ser capaces de entregar rostros.

• Style Transfer: Reconoce el estilo de un imagen y se lo aplica a otra. Similar a los filtros.

• SIGGRAPH: Convención de cómo hacer técnicas interactivas para gráficas.

• Pix2pix: Un pixel se convierte en otro pixel.

• Google Creative Lab.

• La computación no se enfoca únicamente en el mouse y el teclado, hay un campo de posibilidades creativas.

• T-sne: Permite crear una distribución de probabilidad que represente las similitudes de un elemento.

Artistas que me interesan de ML Art:

Lulu xXX, Memo Akten, Seung Joon Choi, Mario Klingemann, Derrick Schultz.

Seung Joon Choi

Lulu xXX

Mario Klingemann

Derrick Schultz

Primera parte:

1. Visita a la página web ML Art:

https://mlart.co/

1. Exploración de proyectos en conjunto de la página. Visualización de trabajos con GAN.

(Filtrar la página en Tecnología: GAN

1. Revisión de la página ‘‘Memo TV’’, un experto en Inteligencia Artificial.

https://www.memo.tv/

1. Revisamos un trabajo del artista Eyal Gruss:

https://mlart.co/item/a-browser-based-app-to-animate-faces-with-your-camera-in-real-time_-created-with-a-google-colab-wrapper-for-first-order-motion

1. Probamos el ejemplo con nuestra cámara:

1. Nos encargamos de revisar artistas que nos interesaran en Ml Art y tomamos apuntes.

Segunda parte:

1. Revisión de la página de Holly Plus.

2. Observación de la página Tone Transfer, que ofrece diferentes sonidos de instrumentos. Puedes entrenarlo con tu propio audio.

https://sites.research.google/tonetransfer

Trabajo de investigación:

Título: Edges 2 Cats

Autor: Christopher Hesse

Adaptación de pix2pix a TensorFlow

¿Qué hace?

Transforma un dibujo creado por el usuario en un gato, dentro de una página web. En mi comprensión, lo que hace es rellenar el dibujo con una imagen de gato.

¿Cómo lo hace?

A través de un almacenamiento de base de datos, en donde se entrena la inteligencia artificial (lo que se entiende como Deep Learning) para que reconozca ciertos estilos de dibujo y los asimile a un gato. Mantiene un formato que consta de imágenes de entrada y de salida. Está entrenado con alrededor de 2 mil fotografías de gatos, generando bordes de manera automática a partir de dichas fotografías.

Materiales:

• GAN: Red neuronal para generar imágenes sintéticas.
• Pix2pix: Coloca píxeles sobre píxeles. Construye ‘‘fachadas’’, generando imágenes de salida en base a la entrada que le llegue.
• Red adversarial generativa condicional (cGAN): GAN condicionada. Es decir, genera algo en base a datos que se le proporcionan específicamente.
• Tensorflow 1.4.1

Ejemplo:

En la siguiente demostración, dibujé una estrella como imagen de entrada, mientras que la salida se basó en rellenar dicha estrella con la foto de un gato.

Así mismo, probé con otras figuras, obteniendo como resultado que el relleno de la forma se completaba con la foto de un gato.

¿Y qué pasaba si hacía un intento de dibujo de un gato, para que se rellenara de otro gato?

¿Qué otras aplicaciones tiene?

Este mismo ejemplo se aplica a otros elementos, como generar bolsos, edificios, mapas. En palabras de los autores Isola, Junyaz, Tinghyuiz & Efros (2016) ‘‘Demostramos que este enfoque es eficaz para sintetizar fotografías a partir de mapas de etiquetas, reconstrucción de objetos a partir de mapas de bordes, y colorear imágenes, entre otras tareas’’ (p. 1).

Bibliografía:

1. https://www.tensorflow.org/tutorials/generative/pix2pix?hl=es-419
2. https://affinelayer.com/pixsrv/
3. https://affinelayer.com/pix2pix/
4. https://affinelayer.com/pix2pix/
5. https://github.com/affinelayer/pix2pix-tensorflow
6. https://arxiv.org/abs/1611.07004

This site is open source. Improve this page.