Les 5 questions à poser à votre prestataire IA avant de signer

Vous avez 3 prestataires IA en short-list, tous parlent de transformation et citent des cas clients que vous ne pouvez pas vérifier. Vous ne savez plus qui dit la vérité.

Voici 5 questions, à poser dans l'ordre, qui prennent moins de 2 minutes au total pour valider le niveau d'expertise de votre prestataire IA :

C'est la grille de qualification que les meilleures équipes IA américaines utilisent depuis avril 2026. Elle vient des écrits de Garry Tan, le CEO de Y Combinator. Le vocabulaire est encore en anglais, et c'est tant mieux. Quand un consultant utilise ces termes correctement, il signale qu'il lit la doctrine à la source.

#Question 1 : où vivent vos skill files, et est-ce qu'on peut les voir versionnés ?

Un skill file est un document markdown qui apprend à une IA comment faire quelque chose, pas quoi faire. Le quoi vient du contexte. Le comment vit dans le fichier.

Le test révèle l'actif que vous achetez. Si votre prestataire vous montre un repository git avec des fichiers markdown structurés, datés, versionnés, vous achetez un actif durable que vous pouvez migrer demain matin si vous changez d'outil. S'il vous répond que "tout est dans la plateforme" ou "dans le compte Notion partagé de l'équipe", vous payez pour quelque chose qui disparaîtra le jour où il s'en va.

Chez moi, chez Albus Factory, j'ai 95 skill files. Un par compétence. Tous self-contained dans un repository. Si demain je change de stack technique, les skill files restent valables. C'est la définition même d'un investissement qui dure.

#Question 2 : combien de lignes de code fait votre harness ?

Le harness est le programme qui fait tourner le LLM. 4 fonctions seulement. Faire tourner le modèle dans une boucle. Lire et écrire des fichiers. Gérer le contexte. Faire respecter les règles de sécurité. C'est tout. Tout le reste vit dans les skill files.

Tan vise 200 lignes pour un harness propre. Si la réponse de votre prestataire se compte en milliers, vous êtes en zone rouge. Ça veut dire qu'il a empilé des dizaines d'outils, des connexions multiples, des god-tools qui font tout. Résultat documenté par Tan, une opération qui devrait prendre 100 millisecondes en prend 15 secondes. 75 fois plus lent. 3 fois plus de tokens. 3 fois plus de chance d'échec.

Si votre prestataire vous parle d'orchestration sophistiquée, de couche middleware avancée, de plateforme propriétaire qu'il a construite pour vous, vous ne payez pas pour de l'IA qui marche. Vous payez pour de la friction technique qu'il faudra ensuite démonter.

#Question 3 : quel document décrit le routage entre vos agents ?

Quand une demande arrive dans le système, qui s'en occupe ? Quels documents sont consultés ? Selon quelles règles ? La réponse à ces trois questions tient dans un document qu'on appelle un resolver. C'est l'équivalent de l'org chart de votre entreprise IA.

Sans resolver, vous n'avez pas un système IA, vous avez une pile d'outils qui se côtoient et l'espoir vague qu'ils vont se coordonner.

Le test concret. Demandez à votre prestataire le document qui décrit qui fait quoi. Si la réponse est confuse, ou si on vous montre un Notion qui liste les outils sans préciser les règles de déclenchement, vous êtes en zone à risque.

#Question 4 : où placez-vous la frontière entre travail latent et travail déterministe ?

Il y a deux types de travail qu'un système IA peut faire. Le travail latent demande du jugement. Le travail déterministe demande de la précision.

Lire un email et comprendre l'intention de l'expéditeur, c'est latent. Compter les emails reçus aujourd'hui, c'est déterministe. Synthétiser une conversation pour en sortir une décision, c'est latent. Calculer le total facturé sur le trimestre, c'est déterministe.

Le piège est de demander à un LLM de faire du travail déterministe. Il peut le faire. Il vous donnera souvent une réponse plausible. Mais elle sera fausse de temps en temps, et vous ne saurez pas quand. Compter, trier, calculer, ces tâches doivent être faites par du code, pas par un modèle.

Quand on vous présente un agent qui produit un rapport financier, demandez où passe la frontière. Quelle partie est calculée par du code déterministe. Quelle partie est synthétisée par le LLM. Si la réponse est confuse, si on vous dit que "le LLM s'occupe de tout", le rapport sera juste 80% du temps. Suffisant pour une démo, dangereux pour une décision.

Chez Albus, la règle est intransigeante. Le jugement (qui contacter, quel angle, quelle priorité) passe par le LLM. L'envoi d'email, le comptage, le scheduling sont 100% déterministes. On ne demande jamais au modèle de compter ou de trier.

#Question 5 : qu'est-ce que vous appelez de la diarization dans ce que vous livrez ?

La diarization est la production de profils structurés à partir de masses de documents non structurés. Le système lit tout sur un sujet, retient les contradictions, repère ce qui a changé, et produit une page synthétique de jugement. Pas un résumé, un brief d'analyste.

Quand on vous montre un assistant qui synthétise des conversations clients ou des documents internes, demandez si c'est de la synthèse ou de la diarization. La synthèse vous donne ce qui a été dit. La diarization vous dit ce qui devrait vous inquiéter, ce qui a changé depuis la dernière fois, ce qui contredit ce qu'a dit le commercial il y a deux semaines. La première coûte cher pour pas grand-chose. La seconde change la façon dont vous prenez vos décisions.

Si votre prestataire ne sait pas quoi répondre à cette question, vous savez qu'il vous livre du résumé en l'appelant intelligence.

#Le test à 2 minutes

Voilà votre grille. 5 questions, dans l'ordre, à poser à votre prochain RDV avec un prestataire IA.

Où vivent vos skill files et est-ce qu'on peut les voir versionnés. Combien de lignes de code fait votre harness. Quel document décrit le routage entre vos agents. Comment vous distinguez le travail latent du travail déterministe dans une mission. Et qu'est-ce que vous appelez de la diarization dans ce que vous livrez.

La doctrine architecturale est récente et très peu de personnes en France ont encore pris le temps de l'apprendre.