Accede directamente a archivos S3 con permisos de Lake Formation

En el ecosistema actual de datos, los equipos de ciencia de datos e ingeniería de machine learning necesitan acceder con frecuencia a archivos sin procesar almacenados en Amazon S3 para entrenar modelos, explorar datasets o construir flujos de inteligencia artificial generativa. Sin embargo, cuando el control de acceso a nivel de tabla está gestionado por AWS Lake Formation, acceder a los archivos subyacentes requería mecanismos de permisos separados, como políticas de bucket S3 o roles de IAM, lo que generaba una carga operativa considerable y el riesgo de desviación de permisos. Ahora, Lake Formation permite el acceso directo a las ubicaciones de archivos S3 de las tablas cuyos permisos administra, eliminando esa complejidad.

Esta nueva capacidad unifica la gobernanza: los científicos de datos pueden leer y escribir archivos Parquet o CSV directamente desde Spark en Amazon EMR, desde notebooks de SageMaker o desde aplicaciones personalizadas, utilizando la misma API de Lake Formation que ya usan para consultas SQL. La clave está en la nueva API GetTemporaryDataLocationCredentials(), que otorga credenciales temporales limitadas a ubicaciones S3 registradas, siempre que el solicitante tenga los permisos adecuados sobre las tablas del Catálogo de Datos. Así se evita mantener políticas paralelas en S3 o IAM, reduciendo la complejidad operativa y los riesgos de seguridad.

Las ventajas son múltiples: permisos unificados para pipelines de analítica y machine learning, reducción de la complejidad operativa al no tener que sincronizar dos sistemas de permisos, y una auditoría unificada mediante CloudTrail que registra tanto accesos a tablas como a archivos directos, vinculándolos a la concesión de Lake Formation. Además, el nuevo plugin de concesión de credenciales para el SDK de Java (AWS SDK v2) permite que aplicaciones Java personalizadas se beneficien de esta gobernanza sin necesidad de Spark.

En Q2BSTUDIO, como empresa de desarrollo de software a medida, ayudamos a las organizaciones a diseñar e implementar estas arquitecturas de gobernanza unificada en la nube. Nuestros servicios cloud AWS y Azure incluyen la configuración de entornos seguros y escalables para datos, integrando herramientas como Lake Formation, EMR y Athena. Combinamos esta base con nuestros servicios de inteligencia de negocio y Power BI para ofrecer paneles de control que reflejen con precisión los accesos y la seguridad de los datos.

La inteligencia artificial para empresas es otro de nuestros pilares: desde la construcción de agentes IA hasta flujos completos de machine learning, pasando por la integración de modelos generativos en entornos productivos. Todo ello sobre infraestructuras cloud robustas que garantizan la ciberseguridad y el cumplimiento normativo. Nuestro equipo aplica buenas prácticas de IaC y automatización para que los equipos de datos puedan centrarse en extraer valor, no en gestionar permisos.

Si su organización busca simplificar la gobernanza de sus datalakes y potenciar el acceso seguro a los datos para iniciativas de inteligencia artificial, le invitamos a explorar cómo podemos ayudarle. KQ2BSTUDIO ofrece servicios de inteligencia artificial para empresas que se integran de forma natural con las capacidades nativas de AWS, garantizando un gobierno de datos unificado y eficiente.