Construir productos de datos con IA
¿Cómo construyes un producto de datos con IA?
Por Dr. Simon Harrer · · video de 2:08 · 7 diapositivas
En resumen
Un coding agent escribe el código del pipeline del producto de datos. Necesita tres entradas. El Data Contract dice qué construir y un repositorio de skills dice cómo construirlo. El marketplace de datos aporta los datos sobre los que construir.
Ver en YouTube
Un coding agent escribe el pipeline
Cada producto de datos necesita código de pipeline: modelos, tests y un workflow de CI. Hoy, un coding agent escribe ese código. El agente en sí es un commodity. El resultado depende de las entradas que le des al agente.
El qué: el Data Contract
La primera entrada es el Data Contract. Dice qué tiene que entregar el producto de datos. El negocio, el Data Producer y los Data Consumers lo escriben juntos en un taller. Lo cambian hasta que todos están de acuerdo. Esta parte sigue siendo trabajo humano.
El cómo: un repositorio de skills
Sin instrucciones, cada ejecución construye el producto de datos de otra manera. Un repositorio de skills le da al agente tus convenciones, plantillas y policies. Le dice, por ejemplo, cómo usar dbt sobre Snowflake, cómo probar y qué reglas de seguridad se aplican.
Los datos sobre los que construir
Los productos de datos usan otros productos de datos. Los encuentras en un marketplace de datos. El agente usa una CLI para buscar en el marketplace de datos y leer los Data Contracts. Cuando necesita datos que todavía no puede leer, pide acceso.
Un prompt y luego tests
Después le das un solo prompt al agente. El agente comprueba su propio trabajo con la Data Contract CLI. Cambia el código hasta que todos los tests pasan. Al cabo de unos cinco minutos, el producto de datos está construido y probado.
Cambia primero el contrato
El producto de datos nuevo vuelve al marketplace de datos, para que otros productos de datos puedan usarlo. Para cambiar el producto de datos, cambias primero el Data Contract. Aquí, el Data Contract recibe una nueva puntuación de impacto y el agente lo construye con el mismo prompt.
Las personas definen el qué
El prompt, las skills y el marketplace de datos siguen siendo los mismos. El trabajo humano se mueve al Data Contract y a la revisión del resultado. El agente construye el producto de datos. Las personas deciden qué tiene que entregar el producto de datos y comprueban que el resultado es correcto.