Ingeniero de datos

Horario de trabajo

La mayoría de los ingenieros de datos trabajan a tiempo completo, normalmente unas 40 horas a la semana, aunque los plazos relacionados con lanzamientos importantes de productos o migraciones de datos pueden suponer jornadas más largas o, en ocasiones, trabajo fuera del horario habitual cuando un proceso de datos falla de forma inesperada. El puesto se desarrolla casi íntegramente frente al ordenador, ya sea desde una oficina o de forma remota, a menudo en equipos distribuidos que abarcan diferentes husos horarios. Algunos ingenieros de datos están de guardia por turnos para intervenir si un proceso de datos crítico falla durante la noche, ya que muchos de estos procesos funcionan de forma continua para mantener los paneles de control y los sistemas de inteligencia artificial alimentados con datos actualizados. La mayoría trabaja como empleados a tiempo completo en empresas tecnológicas, pero un número cada vez mayor lo hace como consultores o contratistas, ayudando a varias empresas a modernizar sus sistemas de datos.

Funciones típicas

• Diseñar y crear canalizaciones de datos que transfieran los datos desde las fuentes a los sistemas de almacenamiento
• Redactar y mantener procesos ETL (extracción, transformación y carga) para depurar y reorganizar los datos sin procesar
• Creación y gestión de almacenes de datos y lagos de datos que almacenan información a gran escala
• Redactar consultas SQL complejas y optimizar bases de datos para mejorar su velocidad y fiabilidad
• Automatizar los flujos de trabajo de datos para que los procesos se ejecuten según lo previsto sin necesidad de intervención manual
• Supervisar los procesos para detectar fallos, retrasos o problemas de calidad de los datos y solucionarlos rápidamente
• Colaborar con científicos de datos y analistas para comprender qué datos necesitan y cómo
• Garantizar la seguridad de los datos, la privacidad y el cumplimiento de normativas como el RGPD o la HIPAA
• Documentar las fuentes de datos, las definiciones y la arquitectura del proceso para que puedan utilizarlas otros equipos
• Probar nuevas fuentes de datos e integrar API de terceros en los sistemas existentes
• Optimización de los costes de infraestructura en las plataformas en la nube a medida que aumenta el volumen de datos
• Resolución de discrepancias en los datos y localización de los errores hasta su origen

Responsabilidades adicionales

• Evaluación y adopción de nuevas herramientas de datos, marcos de trabajo y servicios en la nube
• Establecer políticas de gobernanza de datos para que estos se mantengan coherentes y estén correctamente etiquetados en todos los equipos
• Orientar a los ingenieros y analistas noveles sobre las mejores prácticas a la hora de trabajar con datos
• Participar en revisiones de código para garantizar que el código del pipeline sea limpio y fácil de mantener
• Coordinarse con los equipos de TI y de seguridad en materia de controles de acceso y protección de datos
• Estimación del coste y los plazos de los nuevos proyectos de infraestructura de datos
• Mantenerse al día sobre las nuevas tecnologías de bases de datos y los marcos de computación distribuida
• Apoyo a los turnos de guardia para hacer frente a interrupciones urgentes en el suministro de datos

La mañana de un ingeniero de datos suele empezar revisando los paneles de control y las alertas para asegurarse de que los flujos de datos nocturnos se han ejecutado correctamente. Si algo ha fallado, eso se convierte en la prioridad principal: hay que rastrear el error a través de los registros para averiguar si ha cambiado algún sistema de origen, si un servidor se ha quedado sin espacio o si los propios datos se han recibido con errores de formato. Una vez que todo parece estar en orden, es posible que se una a una reunión de pie con científicos de datos o analistas para conocer qué nuevos datos necesitan para un próximo proyecto.

A menudo, a mediodía se dedica a escribir y probar código, a crear un nuevo proceso para importar datos de una fuente recién añadida, a reescribir una consulta SQL lenta para que un panel de control se cargue más rápido o a reestructurar una tabla de la base de datos para que resulte más fácil de usar para otros equipos. Los ingenieros de datos suelen alternar entre programar, revisar las solicitudes de incorporación de cambios (pull requests) de sus compañeros y investigar cómo una nueva herramienta o un servicio en la nube podría resolver un problema complicado de forma más eficiente.

Las tardes suelen estar dedicadas a la colaboración y la planificación. Un ingeniero de datos puede reunirse con un ingeniero de aprendizaje automático para asegurarse de que los datos de entrenamiento llegan en el formato adecuado, comentar una nueva fuente de datos con un equipo de negocio o documentar cómo funciona un proceso para que no resulte un misterio para quien se encargue de su mantenimiento posteriormente. Antes de terminar, comprueban que las tareas programadas estén configuradas para ejecutarse correctamente durante la noche y anotan cualquier asunto que requiera un seguimiento al día siguiente.

Habilidades sociales

• Gran capacidad para resolver problemas y pensamiento analítico
• La atención al detalle, ya que los pequeños errores en los datos pueden provocar grandes problemas más adelante
• Una comunicación clara tanto con los equipos técnicos como con los no técnicos
• Organización y capacidad para gestionar varios procesos y proyectos a la vez
• Paciencia y perseverancia a la hora de depurar problemas complejos y difíciles de localizar
• Colaboración y trabajo en equipo entre los equipos de ciencia de datos, ingeniería y negocios
• Capacidad de adaptación a herramientas y tecnologías en constante evolución
• Gestión del tiempo y establecimiento de prioridades ante plazos que se solapan
• Curiosidad por saber cómo encajan los sistemas de principio a fin
• Responsabilidad y compromiso con la fiabilidad de sus tuberías
• Disposición a documentar el trabajo de forma clara para que los demás lo entiendan
• Se siente cómodo trabajando tanto de forma independiente como dentro de un equipo de ingeniería más amplio

Habilidades técnicas

• SQL y diseño de bases de datos relacionales
• Lenguajes de programación como Python, Java o Scala
• Herramientas de ETL y de flujos de datos como Apache Airflow, dbt o Informatica
• Marcos de trabajo de big data como Apache Spark, Hadoop o Kafka
• Plataformas en la nube, como AWS, Google Cloud Platform y Microsoft Azure
• Soluciones de almacenamiento de datos como Snowflake, BigQuery o Redshift
• Modelización de datos y diseño de esquemas para datos estructurados y no estructurados
• Sistemas de control de versiones como Git para gestionar el código de los flujos de trabajo
• Conocimientos sobre la gobernanza de datos, la normativa en materia de privacidad y las mejores prácticas de seguridad
• Conocimientos básicos sobre los flujos de trabajo del aprendizaje automático y sobre cómo los modelos procesan los datos

• Ingeniero de canalizaciones: se dedica a la construcción y el mantenimiento de los sistemas que transportan datos de un lugar a otro
• Ingeniero de análisis: Actúa como puente entre la ingeniería de datos y el análisis, preparando los datos específicamente para paneles de control e informes.
• Ingeniero de big data: especializado en el manejo de conjuntos de datos extremadamente grandes o que cambian rápidamente mediante sistemas distribuidos
• Ingeniero de datos en la nube: se encarga de crear y gestionar la infraestructura de datos en plataformas en la nube como AWS o Azure
• Ingeniero de datos en tiempo real: se centra en los flujos de datos en tiempo real, como los sistemas de seguimiento en directo o de detección de fraudes
• Ingeniero de datos de aprendizaje automático: crea flujos de trabajo diseñados específicamente para alimentar con datos los modelos de IA y aprendizaje automático
• Ingeniero de plataformas de datos: se encarga de desarrollar la infraestructura general y las herramientas de las que dependen otros ingenieros de datos
• Arquitecto de bases de datos: diseña la estructura general y la estrategia para el almacenamiento de los datos de una organización

• Empresas de tecnología y software
• Empresas de comercio electrónico y minoristas
• Empresas de servicios financieros y bancarias
• Sistemas sanitarios y empresas de tecnología sanitaria
• Empresas de streaming y entretenimiento
• Empresas de transporte compartido, reparto y logística
• Organismos gubernamentales y equipos de datos del sector público
• Empresas de consultoría especializadas en datos y análisis
• Proveedores de servicios en la nube como AWS, Google Cloud y Microsoft
• Universidades e instituciones de investigación
• Organizaciones sin ánimo de lucro que recopilan datos sobre su impacto
• Startups que desarrollan nuevos productos de inteligencia artificial y datos

Los ingenieros de datos asumen una responsabilidad real, ya que, cuando fallan los flujos de datos, todo lo que viene después falla con ellos: los paneles de control se quedan en blanco, los modelos de IA se entrenan con datos obsoletos o erróneos y las decisiones empresariales pueden basarse en información errónea. Esa presión por crear sistemas fiables y precisos implica que el trabajo exige realizar pruebas minuciosas y estar dispuesto a tomarse en serio los fallos, en lugar de limitarse a ponerles parches.

Dado que hay tantas canalizaciones que funcionan de forma continua y que otros equipos dependen de datos actualizados cada día, los ingenieros de datos a veces tienen que estar de guardia fuera del horario habitual para resolver problemas urgentes, especialmente en empresas en las que los flujos de datos alimentan productos en producción o sistemas financieros. El trabajo también puede llegar a ser muy técnico y minucioso, lo que requiere largos periodos de depuración que requieren mucha concentración; algo que a algunos les resulta satisfactorio y a otros, agotador.

El sector evoluciona rápidamente, con la aparición constante de nuevas herramientas en la nube, marcos de trabajo y buenas prácticas, a medida que los volúmenes de datos siguen creciendo y se acelera la adopción de la inteligencia artificial. Los ingenieros de datos que quieran seguir siendo valiosos deben seguir formándose a lo largo de toda su carrera profesional, ya que una herramienta que hoy es estándar puede quedar obsoleta en pocos años, y las empresas esperan cada vez más que los ingenieros comprendan cómo se conectan sus flujos de trabajo con los sistemas de aprendizaje automático.

• Crecimiento explosivo de la demanda de datos limpios y fiables para entrenar modelos de inteligencia artificial y aprendizaje automático
• El auge de las plataformas de datos nativas de la nube, que están sustituyendo a las bases de datos tradicionales instaladas en las propias instalaciones
• El uso cada vez mayor de datos en tiempo real para la detección de fraudes, la personalización y la logística
• Mayor adopción de la «data mesh» y de los modelos de propiedad descentralizada de los datos
• Ampliación de las herramientas automatizadas de supervisión de la calidad de los datos y de observabilidad
• La creciente importancia de la normativa sobre protección de datos está marcando la forma en que se construyen las tuberías
• El auge de las herramientas «low-code» y «no-code», que permiten a más personas crear flujos de trabajo sencillos
• Convergencia de las funciones de ingeniería de datos y de ingeniería de aprendizaje automático
• Mayor uso de formatos de tabla abierta como Apache Iceberg y Delta Lake
• Mayor énfasis en la optimización de costes a medida que aumentan el almacenamiento y el procesamiento de datos en la nube

Muchos ingenieros de datos crecieron disfrutando de los rompecabezas, los juegos de lógica y cualquier actividad que implicara organizar información, ya fuera clasificar por colores una estantería, crear hojas de cálculo complejas como pasatiempo o descubrir la forma más eficiente de ordenar una enorme colección de cromos. A menudo se sentían atraídos por las matemáticas, las clases de informática y los videojuegos que premiaban el pensamiento sistémico y la optimización.

Otros descubrieron desde muy temprano su pasión por crear cosas, ya fuera con juegos de construcción, programas informáticos o sencillas páginas web, y disfrutaban de la satisfacción específica que supone tomar algo desordenado y hacer que funcione a la perfección y de forma eficiente. Muchos de ellos acabaron siendo ese amigo al que todos acudían para que les solucionara los problemas técnicos, disfrutando en silencio del proceso de rastrear un fallo hasta llegar a su causa raíz.