Construire des produits de données avec l'IA
Comment construire un produit de données avec l'IA ?
Par Dr. Simon Harrer · · vidéo de 2:08 · 7 diapositives
En bref
Un agent de code écrit le code du pipeline du produit de données. Il a besoin de trois entrées. Le Data Contract dit quoi construire, et un dépôt de skills dit comment le construire. La marketplace de données fournit les données sur lesquelles construire.
Regarder sur YouTube
Un agent de code écrit le pipeline
Chaque produit de données a besoin de code de pipeline : des modèles, des tests et un workflow CI. Aujourd'hui, un agent de code écrit ce code. L'agent lui-même est une commodité. Le résultat dépend des entrées que vous donnez à l'agent.
Le quoi : le Data Contract
La première entrée est le Data Contract. Il dit ce que le produit de données doit livrer. Le métier, le Data Producer et les Data Consumers l'écrivent ensemble en atelier. Ils le modifient jusqu'à ce que tous soient d'accord. Cette partie reste un travail humain.
Le comment : un dépôt de skills
Sans instructions, chaque exécution construit le produit de données autrement. Un dépôt de skills donne à l'agent vos conventions, vos templates et vos policies. Il lui dit par exemple comment utiliser dbt sur Snowflake, comment tester et quelles règles de sécurité s'appliquent.
Les données sur lesquelles construire
Les produits de données utilisent d'autres produits de données. Vous les trouvez dans une marketplace de données. L'agent utilise une CLI pour chercher dans la marketplace de données et lire les Data Contracts. Quand il a besoin de données qu'il ne peut pas encore lire, il demande l'accès.
Un seul prompt, puis des tests
Ensuite, vous donnez un seul prompt à l'agent. L'agent vérifie son propre travail avec la Data Contract CLI. Il modifie le code jusqu'à ce que tous les tests passent. Après cinq minutes environ, le produit de données est construit et testé.
Modifiez d'abord le contrat
Le nouveau produit de données retourne dans la marketplace de données, pour que d'autres produits de données puissent l'utiliser. Pour modifier le produit de données, vous modifiez d'abord le Data Contract. Ici, le Data Contract reçoit un nouveau score d'impact, et l'agent le construit avec le même prompt.
Les humains définissent le quoi
Le prompt, les skills et la marketplace de données restent les mêmes. Le travail humain se déplace vers le Data Contract et vers la vérification du résultat. L'agent construit le produit de données. Les personnes décident ce que le produit de données doit livrer, et vérifient que le résultat est juste.