Diseñar, implementar y validar un pipeline de generación sintética parametrizable que integre recreación física de condiciones adversas (noche, reflejos, oclusiones, IR), inserción controlada de objetos y aumentos fotométricos, orientado a la creación de conjuntos de datos para el entrenamiento de modelos de visión artificial. El pipeline garantizará la reproducibilidad, trazabilidad y el control del dominio, facilitando la generación eficiente y controlada de datos sintéticos para su posterior uso en evaluación y comparación externa del rendimiento de modelos basados en datos reales, sintéticos o mixtos.
Objetivos Técnicos
• Construcción de un generador de complejidad en escenas: crear escenas parametrizables que reproduzcan condiciones adversas reales (noche, reflejos, oclusiones, respuesta IR)
• Construcción de un generador de objetos en escenas: ubicar objetos realistas en zonas específicas del entorno respetando perspectiva, iluminación y oclusiones para aumentar casos raros o aumentar los elementos de una clase minoritaria.
• Domain Randomization: variación sistemática de texturas, iluminación, posición y efectos (ruido, motion blur) para ampliar cobertura del espacio operativo.
• Aplicación de aumentos fotométricos: integración de aumentaciones para simulación climática, blur y cambios de color intentando alcanzar una solución con alta reproducibilidad
• Definición y creación de un pipeline integrador: diseño de un flujo modular que genere conjuntos de datos sintéticos con trazabilidad, facilitando exportación y gestión de versiones.
• Validación y Pruebas Rigurosas: preparar datos para entrenamiento y validación de modelos fuera del pipeline, garantizando soporte para comparaciones a nivel de métricas entre datos reales, sintéticos y mixtos.
Entrenar modelos de visión robustos en condiciones complejas (nocturnidad, destellos, filtros infrarrojos, oclusiones, sombras duras y penumbras) sigue siendo difícil por la escasez y el coste de capturar y anotar datos reales en esos escenarios. Las campañas de adquisición nocturna o bajo clima adverso son logísticamente caras, poco controlables y a menudo incompatibles con restricciones de privacidad. Además, la cobertura de combinaciones raras de iluminación, óptica, materiales y geometría queda sistemáticamente infrarrepresentada, lo que se traduce en modelos que fallan justo donde más se les necesita.
La generación sintética controlada sobre escenas reales aborda este vacío por dos vías complementarias:
1. Recrear y parametrizar condiciones de la escena (nocturnidad, reflejos, respuesta espectral tipo NIR/IR, sombras realistas u oclusiones parciales) con consistencia geométrica y fotométrica, manteniendo el realismo de la imagen base y esfuerzos de captación real.
2. Insertar nuevas instancias de objetos realistas en regiones específicas de la escena (por ejemplo, calzada, acera, intersecciones), respetando perspectiva, iluminación, materiales y relaciones de oclusión, y exportando etiquetas en formatos estándar.
Con ambos enfoques, se permite aumentar la prevalencia de casos raros, cubrir mejor el espacio operativo mediante domain randomization y medir el impacto de cada factor (noche, reflejos, IR, oclusión) de forma aislada y trazable. El resultado es una mejor generalización de los modelos (especialmente en condiciones difíciles), menor dependencia de datos propietarios, reproducibilidad por control de semillas y versiones, y un time-to-data (tiempo entre la recopilación y la aplicación de los datos) mucho más corto.
El entregable incluirá:
• Generador sintético con documentación de parámetros y guías de edición.
• Datasets sintéticos exportados (imágenes + etiquetas) y scripts de conversión/validación.
• Resultados de entrenamiento: pipelines, pesos, configuraciones y métricas.
• Informe comparativo real vs. sintético y mixto, con comentarios de análisis y recomendaciones de despliegue.
• Receta reproducible (preferiblemente dockerizada) y README de ejecución y detalles de despliegue.
• Código resultante.
RECURSOS INTERNOS DISPONIBLES
La empresa proporcionará acceso a:
• Acceso a hardware y software para el desarrollo y prueba de modelos de IA.
• Asesoramiento técnico y apoyo de expertos en visión por computadora y aprendizaje profundo.
CRONOGRAMA DEL PROYECTO
El proyecto se distribuirá temporalmente del siguiente modo:
• Semana 1-2: Estudio de datos y diseño de escenarios, assets y etiquetas objetivo. Incluyendo la investigación inicial de soluciones actuales en esta línea.
• Semana 3-4: Implementación del generador parametrizable de condiciones complejas (nocturnidad, reflejos, sombras, oclusiones…)
• Semana 5-6: Implementación del generador controlado de nuevos objetos en escena.
• Semana 7-8: Entrenamiento baseline (real) y experimento mixto (real+sintético). Evaluación de resultados.
• Semana 9-10: Optimización, empaquetado de la solución.
• Semana 11-12: Análisis final, recomendaciones prácticas y desarrollo de la documentación entregable.
• Semana 9-10: Segunda ronda de optimización y pruebas en hardware de bajas prestaciones.
• Semana 11-12: Documentación final, informe de resultados y preparación para el despliegue.
