Me gusta compartir mi experiencia en la preparación de certificaciones, sobre todo cuando el objetivo es construir criterio y no solo aprobar un examen. El verdadero valor no está en el sello de la certificación sino en el conocimiento que se adquiere y en cómo se aplica para crecer profesionalmente. Actualmente me preparo para las certificaciones de Machine Learning y AI Developer en AWS y, siguiendo buenas prácticas, recorro con cuidado las guías oficiales. En este diario documento el camino para aterrizar conceptos que suelen aparecer abstractos cuando se estudian de forma aislada y que, muchas veces, durante un examen se presentan como detalles ya trabajados previamente y marcan la diferencia en la respuesta y en la solución técnica.
En Q2BSTUDIO, empresa de desarrollo de software y aplicaciones a medida, somos especialistas en inteligencia artificial, ciberseguridad y servicios gestionados en la nube, y entendemos la importancia de tomar decisiones informadas sobre formatos y arquitectura de datos. Nuestro enfoque combina experiencia en software a medida y soluciones de IA para empresas con prácticas seguras de ciberseguridad y despliegues en servicios cloud aws y azure y herramientas de inteligencia de negocio como power bi cuando corresponde.
Formatos de datos: un tema poco glamoroso pero crítico. Elegir el formato adecuado afecta directamente al rendimiento de los laboratorios, al tiempo de entrenamiento de modelos, a los costos de I O y a la capacidad de escalar. En el dominio Data Preparation for Machine Learning del examen aparecen conceptos clave como formatos validados y no validados, y la distinción entre almacenamiento por filas y por columnas.
Formatos validados son aquellos que los servicios AWS soportan de forma nativa para entrenamiento, procesamiento o inferencia y que están documentados en servicios como Amazon SageMaker. Formatos no validados pueden almacenarse en S3 u otros servicios pero requieren transformaciones antes de ser usados eficientemente en un flujo de ML.
Otra clasificación relevante es row based versus column based. En un enfoque orientado a filas cada registro se guarda completo con todos sus atributos, lo que es útil para acceder a registros individuales o para cargas pequeñas. En un enfoque orientado a columnas los atributos se almacenan agrupados por columnas, lo que resulta mucho más eficiente para leer solo las columnas necesarias durante entrenamiento y análisis en grandes volúmenes.
Una analogía práctica para entenderlo es con tarjetas coleccionables: si cada tarjeta contiene nombre, tipo y rareza, un almacenamiento por filas guarda cada carta completa en una ficha, ideal para consultar una carta concreta. El almacenamiento por columnas agrupa todos los nombres, todos los tipos y todas las rarezas por separado, ideal para análisis masivo como contar cuantas cartas de cierto tipo existen.
Principales formatos y casos de uso resumidos. JSON es legible, útil para eventos y APIs y soportado ampliamente, pero menos eficiente para grandes datasets en entrenamiento. CSV es sencillo y útil para prototipos o datasets pequeños, pero carece de esquema y no escala bien. RecordIO es un formato binario optimizado para SageMaker en entrenamiento secuencial y eficiente en I O. Parquet es column based y comprimido, ideal para big data, training y consultas ad hoc ya que permite leer solo las columnas requeridas. Avro se usa en pipelines de streaming y mensajería, es eficiente para intercambio en sistemas distribuidos pero suele requerir transformación antes de usarlo directamente en entrenamiento.
Elegir correctamente depende del volumen de datos, del patrón de acceso, del servicio AWS involucrado y del tipo de carga de trabajo. No todos los formatos sirven para todo y el examen busca precisamente evaluar ese criterio práctico que también se traduce en decisiones reales de arquitectura.
Ejercicio práctico para el examen. Escenario: una empresa debe entrenar un modelo de clasificación con varios terabytes en S3. El modelo usa solo un subconjunto de columnas y el objetivo es reducir tiempo de entrenamiento y costos de I O. ¿Qué formato elegirías? Respuesta: Parquet, porque al ser column based y comprimido permite leer únicamente las columnas necesarias, reduciendo I O, acelerando el entrenamiento y optimizando costos en servicios como Amazon SageMaker, Athena o AWS Glue.
En Q2BSTUDIO aplicamos este tipo de criterio cuando diseñamos pipelines y soluciones de inteligencia artificial para empresas, combinando capacidades de software a medida y agentes IA con prácticas sólidas de ciberseguridad. Si te interesa avanzar en proyectos que integren data engineering con modelos de IA y despliegues en nube, podemos ayudarte a definir la mejor estrategia técnica y de datos, desde la ingestión hasta la inferencia.
Conclusión. Entender cuándo usar formatos orientados a filas o a columnas, distinguir formatos validados de no validados y reconocer el propósito de cada formato dentro del pipeline es esencial tanto para aprobar el examen como para construir soluciones de Machine Learning eficientes en producción. Este es apenas el primer paso de mi diario. En próximas entregas hablaré sobre cómo transformar, preparar y consumir estos datos en AWS, herramientas de orquestación y ejemplos prácticos para poner en producción modelos de inteligencia artificial.