Vous avez un projet, ou êtes en réflexion, sur un enjeu métier ou IT ?
Les entreprises accélèrent actuellement leur migration vers des modèles de raisonnement comme GPT-5. Derrière la promesse d’une meilleure compréhension et de capacités analytiques accrues, se cache parfois une réalité plus contrastée avec une explosion des coûts, une latence accrue, et une complexité d’orchestration. Selon McKinsey, 65 % des organisations utilisent désormais régulièrement l’IA générative, mais seule une minorité parvient à en capter une valeur significative à l’échelle. Le frein n’est plus l’accès à la technologie, mais sa maîtrise opérationnelle, économique et métier.
Dans ce contexte, la migration ne se limite pas à un changement de modèle. Elle impose de repenser en profondeur les usages, les architectures et les mécanismes de pilotage. Chez Inside, nous avons confronté cette réalité avec l’étude de cas technique de la migration de notre produit interne “Coach Salaire” de ChatGPT 4.1 à ChatGPT 5.
Mathieu Defianas, Responsable du Centre d’Excellence Digital Hub, partage les défis de cette migration, les benchmarks ainsi que les solutions d’optimisation identifiées et le bilan final.
Quel est le contexte de la migration de modèle GPT-4.1 vers GPT-5 pour le MVP “Coach Salaire” d’Inside ?
Le point de départ est très concret. “Coach Salaire” est un outil utilisé par nos équipes RH pour analyser des CV, croiser des offres d’emploi et produire des estimations salariales en s’appuyant sur différentes sources, notamment des bases comme France Travail.
Nous disposions d’un MVP basé sur GPT-4.1 sur Azure via Flowise, stable, avec des sorties structurées en JSON. Le système fonctionnait bien, mais il arrivait en fin de vie avec l’annonce de dépréciation côté Microsoft.
La migration vers GPT-5 ne relevait donc pas uniquement d’une volonté d’innovation. L’enjeu était de maintenir le service existant et d’améliorer la qualité d’extraction des données, tout en gardant la maîtrise des coûts.
Le point clé, c’est que nous ne cherchions pas un “modèle plus intelligent”. L’objectif était d’avoir un modèle capable de produire des résultats exploitables dans un pipeline métier, en optimisant l’extraction des données salariales et tout en maîtrisant le budget. Nous devions donc adapter notre approche aux récents modèles de raisonnement !
Quel a été le choc avec le 1er benchmark et quelles étaient les causes ?
Le premier benchmark a en effet été un choc ! En passant en GPT-5.1 “natif”, nous avons observé +243 % de tokens générés, +147 % de latence et +65 % de coût par requête. Concrètement, le modèle produisait des réponses plus longues, plus détaillées… mais inutilisables dans notre contexte. Nous attendions un JSON structuré, nous obtenions des raisonnements complets. Cette approche n’était donc acceptable ni financièrement, ni en temps de latence.
Le modèle faisait exactement ce pour quoi il est conçu : raisonner. Mais dans notre cas, ce comportement détruisait la performance globale du système.
Mathieu DEFIANAS, Responsable du Centre d’Excellence Digital Hub chez Inside
Comprendre la cause racine du problème est l’occasion de prendre du recul : les modèles de reasoning ne se contentent plus d’exécuter, ils justifient. Ils génèrent une chaîne de pensée complète, ce qui augmente mécaniquement la volumétrie, la latence et les coûts.
Changer de modèle sans adapter l’usage revient à dégrader le système. C’est d’ailleurs un point de blocage que beaucoup d’entreprises découvrent aujourd’hui !
Quelle a été la solution mise en place par Inside pour optimiser la migration de modèle IA ?
Nous avons dû reprendre le contrôle du modèle. La première étape a consisté à réduire volontairement sa capacité de raisonnement. Nous avons paramétré le “reasoning effort” au minimum, limité les sorties explicatives et surtout imposé des consignes très claires pour interdire toute justification.
Ensuite, nous avons changé de posture dans le prompt. Nous sommes passés d’un rôle “expert qui analyse” à un rôle beaucoup plus opérationnel de “data formatter”, avec une exécution stricte attendue plutôt qu’un raisonnement ouvert.
Enfin, nous avons retravaillé l’architecture en profondeur, avec un découplage des responsabilités via une approche multi-agents, une séparation nette entre extraction, traitement et formatage, et un pré-processing des données en amont pour alléger la charge du modèle.
Ce qui fait la performance, ce n’est pas le modèle en lui-même. C’est la manière dont vous l’encadrez et l’orchestration que vous construisez autour.
Mathieu DEFIANAS, Responsable du Centre d’Excellence Digital Hub chez Inside
Comment cette solution a-t-elle permis de réduire le coût drastiquement ?
Une fois les optimisations mises en place, les résultats ont radicalement changé. Nous avons réduit la verbosité de 70 %, en passant de plus de 10 000 tokens à environ 3 000 par requête.
Sur la partie économique, le coût d’entrée a été divisé par deux, et le coût final par requête est descendu à 0,053 € contre 0,132 € lors du 1er benchmark et 0,08 € avant le changement de modèle de raisonnement. Le pipeline global est ainsi 33% moins cher que l’ancien MVP.
C’est un point structurant à retenir. Nous avons mesuré en pratique que le coût d’un système IA ne dépend pas uniquement du modèle, mais de la manière dont les flux sont structurés, notamment dans des architectures de type RAG où l’input représente la majorité de la consommation. Ce type d’optimisation change complètement la viabilité économique d’un projet IA.
Le modèle ne fait pas exploser les coûts. C’est l’absence de maîtrise du pipeline qui le fait.
Mathieu DEFIANAS, Responsable du Centre d’Excellence Digital Hub chez Inside
Optimisez vos modèles IA avec les systèmes multi-agents
Réduisez vos coûts, maîtrisez la latence et pilotez vos modèles GPT grâce à une orchestration intelligente et structurée
En quoi les appels à l’API France Travail ont été révélateurs d’autres axes d’optimisation ?
Les incidents que nous avons rencontrés ont aussi été des révélateurs de leviers d’amélioration. Nous avons notamment eu des erreurs HTTP 400 liées à plusieurs causes. La première était une surcharge contextuelle avec l’injection du JSON complet de France Travail ce qui entraîne le dépassement de la limite de Tokens. La seconde cause dépendait des filtres de sécurité Azure (Content Safety) qui génèrent de faux positifs en interprétant du jargon métier RH comme des violations de la politique de contenu. La dernière cause était la complexité excessive dans les prompts. Des instructions initiales trop directives et surchargées saturaient l’attention du modèle. Celui-ci “oubliait” alors parfois de formuler l’argument exact attendu par la fonction.
Cela nous a forcés à revoir plusieurs éléments :
- réduire drastiquement la taille des inputs
- filtrer et structurer les données en amont
- simplifier les instructions
- découpler les appels outils (tool calling)
Nous avons aussi compris un point clé pour les projets IA métiers en entreprise. Les garde-fous des plateformes peuvent interpréter du vocabulaire métier comme du contenu sensible.
Une migration IA ne se joue pas uniquement sur le modèle. Elle se joue sur l’ensemble de la chaîne : données, orchestration, sécurité.
Mathieu DEFIANAS, Responsable du Centre d’Excellence Digital Hub chez Inside
En synthèse, quels sont vos conseils et votre bilan tirés de ce REX sur la maîtrise des modèles de reasoning ?
Ce retour d’expérience nous a permis de formaliser trois convictions fortes. D’abord, passer d’une logique déclarative à une logique procédurale. Il ne faut plus dire au modèle “analyse comme un expert”, mais “exécute comme un parseur de données”.
Ensuite, maîtriser le niveau de raisonnement. L’effort de raisonnement doit être ajusté en fonction du besoin. Dans beaucoup de cas, trop de réflexion nuit au résultat. Le paramètre de raisonnement ‘Effort : Low’ est indispensable pour l’extraction de données par exemple.
Enfin, être extrêmement précis dans l’orchestration. Les appels outils (“Tool Calling”) exigent une rigueur absolue dans les formats et les entrées. Il ne faut pas se fier à la déduction !
Avec les modèles de reasoning, la performance ne vient pas de leur puissance brute, mais de la précision avec laquelle vous les encadrez.
Mathieu DEFIANAS, Responsable du Centre d’Excellence Digital Hub chez Inside
Le bilan de cette étude de cas pratique et des solutions mises en place sont très positifs au niveau des résultats : -33% de coût et une latence globale stabilisée sous les 40s du MVP (entre 25 et 35 secondes). Cela a aussi permis la montée en compétences des équipes pour de futurs projets avec le déploiement d’une architecture multi-agents industrialisée et 100% standardisée sur GPT 5.1 ainsi qu’une infrastructure Azure IA sécurisée contre les erreurs 400.
L’ingénierie stricte et le bridage chirurgical ont permis de dompter la force brute du modèle et d’allier la concision de l’ancien MVP à la puissance de la nouvelle génération de modèle !
Mathieu DEFIANAS, Responsable du Centre d’Excellence Digital Hub chez Inside
Pourquoi choisir Inside pour votre migration de modèle de raisonnement IA et leur optimisation ?
Ce retour d’expérience prouve que ce type de migration ne s’improvise pas. Ce que nous apportons, c’est d’abord du vécu. Nous ne parlons pas de concepts, nous parlons de systèmes que nous avons conçus, fait fonctionner, migrés, puis optimisés.
Ensuite, nous accompagnons sur toutes les dimensions nécessaires pour réussir aux niveaux technique, métier et FinOps : compréhension fine des enjeux métiers, architecture multi-agents, maîtrise des coûts, optimisation des pipelines, intégration des contraintes Cloud (Azure, sécurité, orchestration).
Nous apportons également une prise de recul ! Beaucoup d’organisations consomment des modèles. Peu maîtrisent réellement leur usage.Enfin, ce retour d’expérience alimente directement notre trajectoire vers des modèles plus souverains, notamment avec Mistral. Cette réflexion s’inscrit dans un mouvement plus large en Europe visant à renforcer la souveraineté technologique et la maîtrise des infrastructures IA. Au-delà de l’optimisation, c’est une décision stratégique afin de réduire la dépendance, maîtriser les coûts et garder le contrôle sur la donnée.
