Ingeniero de visión artificial

Horario de trabajo

La mayoría de los ingenieros de visión artificial trabajan a tiempo completo, normalmente en horario laboral habitual, aunque las pruebas en condiciones reales —como en una planta de producción o durante una prueba de conducción de un vehículo— pueden requerir madrugar o horarios irregulares. El trabajo se divide entre la programación en un escritorio, la revisión del rendimiento de los modelos con datos de prueba y el tiempo dedicado a realizar pruebas en un laboratorio o sobre el terreno con cámaras y hardware reales. La mayoría trabaja para empresas tecnológicas, fabricantes de automóviles y de robótica, o en las divisiones tecnológicas de empresas manufactureras y del sector sanitario, mientras que otros trabajan como autónomos en proyectos específicos.

Funciones típicas

• Recopilación y anotación de conjuntos de datos de imágenes y vídeos para el entrenamiento
• Entrenamiento y ajuste de modelos de detección y segmentación de objetos
• Evaluar la precisión del modelo con conjuntos de datos de prueba del mundo real, y no solo con datos limpios de laboratorio
• Optimización de modelos para que se ejecuten en tiempo real en cámaras, teléfonos o dispositivos integrados
• Integración de modelos de visión con cámaras, sensores y sistemas robóticos
• Depuración de casos de fallo provocados por la iluminación, la oclusión, el ángulo o el desenfoque de movimiento
• Crear flujos de datos que permitan un reentrenamiento continuo a medida que se incorporan nuevas grabaciones
• Colaborar con los equipos de hardware, robótica y producto en la integración de sistemas
• Probar los sistemas en condiciones reales de campo, y no solo en entornos simulados
• Redacción de documentación técnica e informes de comparativas
• Evaluación comparativa de modelos en función de objetivos estrictos de latencia y precisión

Responsabilidades adicionales

• Mantenerse al día sobre las nuevas arquitecturas e investigaciones en el ámbito de la visión artificial
• Colaborar en las revisiones de seguridad y cumplimiento normativo de las solicitudes sujetas a regulación
• Gestión de conjuntos de datos y coordinación con proveedores de etiquetado o equipos de anotación
• Orientar a los ingenieros noveles sobre técnicas de depuración específicas para sistemas de visión
• Realización de demostraciones en directo de sistemas de visión para las partes interesadas y los clientes
• Aportar mejoras a las herramientas de visión artificial de código abierto

La jornada de un ingeniero de visión artificial suele comenzar revisando los resultados del entrenamiento realizado durante la noche y comprobando si la precisión del modelo ha mejorado en el último conjunto de pruebas. Si un modelo no rinde lo suficiente con determinados tipos de imágenes, la primera tarea suele consistir en examinar minuciosamente los ejemplos para comprender exactamente dónde y por qué falla.

A mediodía solemos dedicarnos al desarrollo y a las pruebas, ya sea ajustando un modelo de detección, escribiendo código para optimizarlo y acelerar la inferencia en un dispositivo, o montando una nueva prueba con una cámara en el laboratorio. Si un equipo de robótica o de hardware necesita integrar el sistema de visión en un producto físico, a menudo hay que dedicar tiempo a conectar el código con cámaras y sensores reales y observar su funcionamiento en directo.

Por las tardes solemos revisar junto con los compañeros de equipo casos complicados de fallo, como un modelo que tiene dificultades con los reflejos, las sombras o los ángulos inusuales, y proponemos soluciones como un mejor aumento de datos o una arquitectura de modelo diferente. Antes de terminar, los ingenieros suelen documentar las conclusiones y actualizar las directrices de anotación para que el siguiente lote de datos de entrenamiento subsane las deficiencias detectadas.

Habilidades sociales

• Gran capacidad de razonamiento visual y espacial
• Paciencia ante los ciclos de depuración largos e iterativos
• Atención al detalle a la hora de revisar los resultados de las pruebas y los casos de fallo
• La curiosidad por saber en qué se diferencian las formas en que los seres humanos y las máquinas perciben el mundo
• Resolución de problemas bajo restricciones del mundo real, como la iluminación y las limitaciones del hardware
• Comunicación clara con los equipos de hardware, robótica y de producto
• Capacidad de adaptación a medida que surgen nuevas arquitecturas y herramientas
• Perseverancia a lo largo de largos ciclos de entrenamiento y pruebas del modelo
• Trabajo en equipo entre los departamentos de ingeniería, hardware y áreas empresariales
• La preocupación por la seguridad, especialmente en aplicaciones de alto riesgo
• Creatividad en el diseño de estrategias de aumento de datos y de pruebas

Habilidades técnicas

• Programación en Python para el desarrollo de modelos y flujos de datos
• OpenCV para tareas clásicas de procesamiento de imágenes y visión artificial
• PyTorch o TensorFlow para el desarrollo de modelos de aprendizaje profundo
• Redes neuronales convolucionales y arquitecturas de transformadores de visión
• Marcos de trabajo para la detección de objetos, como YOLO y Detectron2
• Herramientas de anotación de imágenes y vídeos, como CVAT o Labelbox
• Técnicas de calibración de cámaras y sensores
• Programación de GPU y CUDA para código en el que el rendimiento es fundamental
• Técnicas de optimización de modelos, como la cuantificación, la poda y TensorRT
• Geometría 3D básica y matemáticas de la cámara para el razonamiento espacial y de profundidad

• Ingeniero de detección de objetos: desarrolla sistemas que detectan y clasifican objetos en imágenes
• Especialista en segmentación de imágenes: crea modelos que dividen una imagen en regiones u objetos bien definidos
• Ingeniero de reconocimiento facial: desarrolla sistemas que identifican o verifican a personas a partir de imágenes
• Ingeniero de percepción de vehículos autónomos: diseña sistemas de visión que ayudan a los coches autónomos a interpretar la carretera
• Ingeniero de detección de defectos de fabricación: diseña sistemas que detectan defectos en los productos en una línea de producción
• Ingeniero de visión para imágenes médicas: crea modelos que ayudan a analizar radiografías, tomografías y otras imágenes médicas
• Ingeniero de análisis de vídeo y vigilancia: desarrolla sistemas que analizan flujos de vídeo con fines de seguridad o para obtener información empresarial

• Empresas del sector de la automoción y de los vehículos autónomos
• Empresas de robótica y automatización
• Empresas de fabricación y de control de calidad industrial
• Empresas del sector sanitario y de diagnóstico por imagen
• Empresas de tecnología de seguridad y vigilancia
• Empresas de tecnología agrícola que utilizan drones e imágenes de campo
• Empresas de comercio minorista y comercio electrónico que utilizan la búsqueda visual y el seguimiento de inventario
• Empresas contratistas del sector aeroespacial y de defensa
• Redes sociales y plataformas para compartir fotos
• Empresas de electrónica de consumo que fabrican cámaras y dispositivos inteligentes
• Organismos públicos y laboratorios de investigación
• Empresas del sector deportivo y de los medios de comunicación que utilizan el análisis de vídeo

Los ingenieros de visión artificial suelen trabajar en sistemas en los que los errores tienen consecuencias reales, ya sea un coche autónomo que identifica erróneamente un obstáculo o una herramienta de diagnóstico por imagen que pasa por alto algo importante. Esa responsabilidad implica un cuidado especial a la hora de realizar las pruebas y un respeto merecido por todo lo que puede salir mal cuando un sistema se enfrenta al caótico mundo real, en lugar de a un conjunto de datos limpio de laboratorio.

Los ciclos de entrenamiento y prueba pueden ser largos; a veces se tarda días en entrenar un modelo y otros tantos en evaluarlo adecuadamente con suficientes escenarios del mundo real. Esperar los resultados, solo para descubrir un fallo sutil y tener que empezar de nuevo, es una parte habitual y, en ocasiones, frustrante del trabajo.

Este campo también plantea cuestiones éticas reales, sobre todo en torno al reconocimiento facial y la tecnología de vigilancia, y a menudo se espera que los ingenieros reflexionen detenidamente sobre la privacidad, el consentimiento y la equidad, y no solo sobre la precisión. Encontrar el equilibrio entre la ambición técnica y el uso responsable de la tecnología es una parte constante de este trabajo.

• El auge de los transformadores visuales como alternativa a las redes convolucionales tradicionales
• El desarrollo de modelos multimodales que combinan la visión con la comprensión del lenguaje
• Expansión de la IA en el borde, con la ejecución de modelos de visión directamente en cámaras y dispositivos
• El uso cada vez mayor de datos sintéticos para entrenar modelos cuando los datos reales son escasos o costosos
• Avances en la comprensión de escenas 3D para la robótica y los vehículos autónomos
• El auge del preentrenamiento autosupervisado, que reduce la necesidad de disponer de enormes conjuntos de datos etiquetados
• Ampliación del análisis de vídeo en tiempo real para el sector minorista, la seguridad y los deportes
• El rápido crecimiento de los sistemas de percepción para vehículos autónomos y robótica
• El aumento de la regulación y el escrutinio público de la tecnología de reconocimiento facial y de vigilancia
• Mayor uso de la inteligencia artificial aplicada a la visión en la agricultura, la construcción y la inspección industrial

Muchos ingenieros de visión artificial crecieron apasionados por la fotografía, los videojuegos o por montar y desmontar cámaras y aparatos electrónicos. Les gustaban los rompecabezas que consistían en detectar patrones o encontrar las diferencias entre dos imágenes casi idénticas.

A otros les atraían los kits de robótica, los drones o la construcción de objetos capaces de percibir el mundo que les rodeaba y reaccionar ante él. La fascinación por cómo los ojos y el cerebro procesan las imágenes, unida al interés por la programación o la ingeniería, solía conducirles directamente a una carrera dedicada a enseñar a las máquinas a ver.