Insights

AI TCO: The Costs Nobody Includes in the PoC

Le vrai coût total d'un système IA dépasse les tokens : infrastructure, retrieval, sécurité, engineering et maintenance.

Le budget d’un PoC tient souvent en une ligne : « crédits API ». Le budget d’un système en production en compte une douzaine. Oublier ces lignes, c’est valider un PoC qui ne pourra jamais être industrialisé aux conditions annoncées.

Ce Que Le PoC Oublie Souvent

  • Infrastructure — compute, GPU/CPU, networking, environnements
  • Vector database & stockage — index, snapshots, rétention
  • Retrieval & orchestration — services, files, workers
  • Observabilité — logs, traces, évaluation continue
  • Sécurité — filtres, IAM, audit, conformité
  • Engineering — intégration SI, tests, CI/CD, documentation
  • Maintenance — drift des données, mises à jour modèles, support
  • Humains — revue, gouvernance, on-call

Chacun paraît « secondaire » isolément. Ensemble, ils dominent souvent le coût des tokens.

Comment Calculer Un TCO Utile

  1. Estimer le volume (requêtes / workflows / mois)
  2. Séparer coût modèle vs coût plateforme
  3. Ajouter engineering initial et run annuel
  4. Comparer architectures (API vs local, RAG léger vs agent)
  5. Exprimer un coût par résultat métier

Un TCO sans lien au résultat (dossier traité, heure économisée) reste un exercice comptable sans décision.

Piège Classique

Le PoC utilise un modèle premium « pour impressionner ». La production devrait router 80 % du trafic vers un modèle moins cher. Si le business case est calculé au tarif premium, le ROI est fictif.

Chez YOWE

Nous traitons l’économie de l’IA comme une contrainte d’architecture dès l’Opportunity Audit et le Design — pas comme une surprise FinOps au mois 3. Le calculateur TCO du site donne un ordre de grandeur ; l’architecture fixe le réel.