Link de la memoria del trabajo: https://e-archivo.uc3m.es/handle/10016/32120
La conducción autónoma es un tema latente actualmente y cualquier tipo de mejora y nuevo acercamiento que se pueda ofrecer puede llegar a ser determinante. En este trabajo se muestra un nuevo enfoque que consiste en la utilización de Redes Generativas Adversarias para generar imágenes de carreteras realistas que puedan ser utilizadas como apoyo para conjuntos de imágenes de Conducción Autónoma. Esto puede acortar los tiempos de obtención de conjuntos de imágenes realistas en situaciones determinadas, permitiendo que conjuntos de imágenes previamente muy escasos, comiencen a tener una buena cantidad de imágenes y variabilidad.
Para poder llevar a cabo este proyecto, ha sido necesario utilizar como base el simulador que el usuario de GitHub tawnkramer ofrece en su repositorio (https://github.com/tawnkramer/sdsandbox). Se han hecho múltiples modificaciones a este simulador entre las que destacan la generación de circuitos aleatorios con mapas de Kohonen y la implementación de una infraestructura cliente-servidor que permite transmitir imágenes de gran tamaño. También se implementa un sistema de conducción autónoma capaz de conducir en algunos circuitos aleatorios con imágenes generadas por las GAN. En este repositorio solo se muestran los resultados obtenidos por la Redes Generativas Adversarias, para ver el resto de elementos, se recomienda acceder al repositorio SelfDrivingInKohonenCircuits.
Los modelos que se muestran en la siguiente tabla han sido entrenados con distintos conjuntos de imágenes que se explican en la memoria mencionada al principio de este documento. Algunos de ellos son ampliamente conocidos, como Cityscapes o ADE20K, pero igualmente se van a puntualizar algunos datos.
- Cityscapes: Cityscapes es un conjunto de imágenes que contiene tanto la propia imagen realista como su par segmentado. Todas las imágenes son de carreteras alemanas desde el frontal del coche.
- PaisajeSeco: Este conjunto de imágenes ha sido obtenido a mano mediante la obtención de frames de distintas secciones del siguiente vídeo.
- roadsAmericanas: Este conjunto de imágenes ha sido generado mediante la obtención de un frame cada 30 frames del mismo vídeo mencionado en el conjunto de PaisajeSeco.
- ADE20K: Este conjunto de datos tiene muchísimas imágenes. Para acotarlo y solo utilizar imágenes relacionadas con paisajes, se utiliza un subconjunto utilizado por un trabajo llamado Attribute Hallucination.
- Transient Attributes: Este conjunto de datos es un conjunto de imágenes de distintas webcam repartidas en distintos lugares del mundo a lo largo de las estaciones. Gracias a esto, se puede obtener un mismo mapa segmentado pero con distintos estilos. El trabajo del que se ha obtenido este conjunto de imágenes se llama Transient Attributes.
| Modelos creados en la experimentación | Descarga |
|---|---|
| Arquitectura: Pix2Pix Data sets: Cityscapes (3.475 imágenes) |
Download |
| Arquitectura: Pix2PixHD Data sets: Cityscapes (3.475 imágenes) |
Download |
| Arquitectura: Pix2PixHD Data sets: PaisajeSeco (1.728 imágenes) |
Download |
| Arquitectura: Pix2PixHD Data sets: Cityscapes (3.475) PaisajeSeco (1.728 imágenes) |
Download |
| Arquitectura: Pix2PixHD Data sets: roadsAmericanas (1.992 imágenes) |
Download |
| Arquitectura: Pix2PixHD Data sets: Cityscapes (3.475) roadsAmericanas (1.992 imágenes) |
Download |
| Arquitectura: GAUGAN sin VAE Data sets: Cityscapes (3.475 imágenes) |
Download |
| Arquitectura: GAUGAN sin VAE Data sets: Cityscapes (3.475) roadsAmericanas (1.992 imágenes) |
Download |
| Arquitectura: GAUGAN con VAE Data sets: Cityscapes (3.475) |
Download |
| Arquitectura: GAUGAN con VAE Data sets: Cityscapes (3.475) roadsAmericanas (1.992 imágenes) |
Download |
| Modelos creados en la experimentación | Descarga |
|---|---|
| Arquitectura: GAUGAN con VAE Data sets: Cityscapes (3.475) ADE20K (8.363 imágenes) |
Download |
| Arquitectura: GAUGAN con VAE Data sets: Cityscapes (3.475) Transient Attributes (8.571 imágenes) |
Download |
| Arquitectura: GAUGAN con VAE Data sets: Cityscapes (3.475) ADE20K (8.363 imágenes) Transient Attributes (8.571 imágenes) |
Download |
Para poder ejecutar los modelos, se recomienda utilizar uno de los programas que se utilizó durante el desarrollo de la solución. Los únicos requisitos necesarios para ejecutar los modelos son los mismos que aparecen en el repositorio de la respectiva arquitectura, además de OpenCV. Es decir, si se intenta utilizar un modelo de Pix2PixHD, será necesario tener todos los requisitos de su repositorio. En concreto, los repositorios que se utilizaron fueron: Pix2PixHD y GAUGAN.
Los ficheros para hacer la inferencia son los siguientes:
Fichero de inferencia con Pix2PixHD
Fichero de inferencia con GAUGAN sin VAE
Fichero de inferencia con GAUGAN con VAE
Para seleccionar qué modelo utilizar y en qué directorio inferir, se deben cambiar las opciones que aparecen al inicio de cada fichero entre los comentarios "PROGRAM OPTIONS".
David González González LinkedIn
Juan Manuel Alonso Weber Perfil de la universidad