Analyses et protocoles / Intelligence artificielle

Read in English

Combien coûte un assistant IA qui résout réellement une demande ?

Pnebbula · · Sources vérifiées le

Tokens, outils, contrôle humain et demandes non résolues : une méthode chiffrée pour comparer le coût complet de deux assistants IA.

Le prix d’un million de tokens ne donne pas le coût d’un assistant utilisable. Il décrit une unité de facturation, tandis que l’organisation cherche un résultat : une demande résolue, un document correctement traité ou une action achevée. Pour comparer deux solutions, il faut suivre toute la chaîne, inclure les reprises et diviser les dépenses par un résultat défini de la même façon.

La distinction est celle proposée par la FinOps Foundation dans son cadre sur les coûts unitaires : relier une mesure technique à une unité correspondant à l’activité. La méthode ci-dessous est une proposition de Pnebbula pour appliquer ce principe à un assistant documentaire. Elle ne fournit ni tarif fournisseur ni estimation de rentabilité universelle.

Commencer par nommer le résultat attendu

« Une réponse produite » et « une demande résolue » ne sont pas interchangeables. Si l’assistant répond rapidement mais oblige le lecteur à tout vérifier, compter chaque génération comme un succès masque le travail restant. Si une réponse correcte arrive après le délai utile, elle peut également échouer au service attendu.

Pour un assistant interne, une définition testable pourrait être : réponse appuyée sur une source autorisée, informations nécessaires présentes, absence d’erreur bloquante et délai respecté. C’est un exemple de règle, à adapter au métier. Il faut aussi décider comment traiter une abstention justifiée. Refuser de répondre faute de preuve peut être un bon comportement sans constituer une résolution automatique.

Séparer ces statuts évite de rendre l’indicateur trompeur. On peut suivre demandes reçues, réponses utilisables sans reprise, demandes résolues après intervention et demandes non résolues. La somme doit pouvoir être rapprochée des demandes entrantes, sans compter plusieurs fois les essais sur un même dossier.

Dessiner la chaîne avant de remplir le budget

Un assistant documentaire peut rechercher des passages, les classer, appeler un modèle puis transmettre une réponse à un outil. Le guide sur le RAG explique cette recherche préalable. Une seule interaction visible peut donc mobiliser plusieurs opérations techniques.

Le tableau sert de grille de collecte, pas d’affirmation selon laquelle chaque assistant possède tous ces postes.

Poste à examiner Donnée à relever Erreur à éviter
Génération Consommation facturée par appel et modèle Retenir seulement les tokens visibles dans la réponse
Recherche et outils Appels, indexation, stockage, services utilisés Oublier une seconde facture
Exploitation Hébergement, supervision et maintenance imputables Comparer un service complet à un calcul isolé
Reprise Temps passé à contrôler ou corriger les résultats Présenter tout temps de génération gagné comme du temps libéré
Mise en place Développement, préparation documentaire, intégration Faire disparaître l’investissement initial
Sortie du service Export, migration et remise en état prévus au contrat Supposer que changer de fournisseur sera gratuit

Une facture d’API et un temps de travail ne se consolident pas sans convention. Préciser la période, la devise, le traitement des taxes et la valorisation du temps. Si une infrastructure sert plusieurs applications, documenter la part affectée à l’assistant. Une allocation contestable reste une hypothèse de calcul, même lorsque le total de la facture est exact.

Un exemple où le prix de l’appel donne le mauvais classement

Considérons deux configurations entièrement fictives sur 1 000 demandes identiques. Les montants n’illustrent aucun prix de marché. Le critère de résolution est fixé avant le test ; les dépenses de reprise font partie du périmètre.

Donnée mensuelle fictive Configuration A Configuration B
Génération et outils 100 € 180 €
Exploitation affectée 200 € 200 €
Contrôle et reprise 900 € 420 €
Total retenu 1 200 € 800 €
Demandes finalement résolues 800 900
Coût par demande résolue 1,50 € 0,89 € environ

Les calculs sont 1 200 ÷ 800 et 800 ÷ 900. B coûte davantage en génération, mais moins par résolution dans cet exemple. Cela ne démontre pas que les modèles plus chers sont meilleurs : le résultat vient des hypothèses explicites de reprise et de réussite.

Les 200 demandes non résolues par A ne disparaissent pas. Leurs dépenses sont incluses dans le numérateur, tandis qu’elles n’augmentent pas le nombre de résultats obtenus. Il faut afficher leur nombre à côté du coût unitaire. Deux services peuvent avoir le même coût par résolution tout en laissant des volumes très différents de demandes sans solution.

Rendre les comparaisons résistantes aux changements de périmètre

Le tableau précédent exclut volontairement la mise en place. Pour une décision d’investissement, ajouter une vue sur une période choisie : investissement initial plus dépenses d’exploitation prévues. Présenter séparément ce qui est déjà payé, ce qui sera engagé et ce qui reste incertain. Étaler un coût initial sur douze mois ou trois ans change le résultat ; la durée doit être visible, pas cachée dans une formule.

Il faut ensuite tester la sensibilité. Refaire le calcul avec moins de demandes résolues, davantage de reprises ou une utilisation plus faible. Un abonnement fixe réparti sur un petit volume ne produit pas le même coût unitaire qu’une ressource fortement utilisée. Ces scénarios sont des calculs conditionnels, pas des prévisions de demande.

Comparer aussi des tâches comparables. Une solution orientée questions simples ne doit pas être créditée des performances d’une autre qui prend en charge les cas difficiles. Un tableau par famille de demandes permet de voir si le gain vient d’une amélioration réelle ou d’un changement de population.

Mesurer le travail humain sans inventer une économie

Un temps de traitement plus court ne signifie pas automatiquement une dépense évitée. Il peut libérer de la capacité, réduire une attente ou permettre un contrôle plus complet. Ce sont des bénéfices possibles, mais différents d’une diminution constatée de facture ou de masse salariale.

La FinOps Foundation distingue précisément économies, réduction des coûts et coûts évités. Pour votre bilan, noter le temps observé avant et après sur des tâches équivalentes, puis expliciter ce que l’organisation en fait. Si ce second élément n’est pas mesuré, publier un gain de temps observé, pas un retour financier certain.

La vérification ne doit pas non plus disparaître uniquement pour rendre le budget favorable. Le cadre de gestion des risques IA du NIST traite la confiance et l’évaluation sur le cycle de vie du système. Il ne fixe pas un taux de contrôle valable pour tous les usages. Le niveau de surveillance dépend notamment de la gravité d’une erreur et des possibilités de correction.

Le document à demander avant de choisir

Une comparaison exploitable tient dans un fichier dont chaque ligne relie une demande, ses appels, son issue et sa reprise éventuelle, sans conserver plus de données personnelles que nécessaire. Les dépenses communes peuvent rester dans un onglet séparé, avec leur règle d’affectation.

Joindre trois éléments à la synthèse : la définition de « résolu », la liste des dépenses incluses et la distribution des résultats par type de demande. Toute donnée absente doit rester marquée inconnue. Une moyenne très précise calculée sur un périmètre incomplet n’est pas plus fiable qu’une estimation honnêtement bornée.

Pour décider entre une installation interne et un service distant, compléter cette grille avec le périmètre d’un pilote local ou distant. Le bon résultat est une comparaison reproductible du service attendu, avec des coûts observés et des hypothèses séparées.

Sources et portée

Sources consultées le 22 octobre 2026 : FinOps Foundation, Unit Economics, cadre professionnel évolutif ; NIST, AI Risk Management Framework, cadre volontaire de gestion des risques. La grille, les conventions de calcul et les montants fictifs sont une construction pédagogique de Pnebbula. Aucun devis ni déploiement d’entreprise n’a été évalué ici.