Posez une question réglementaire à ChatGPT : la réponse revient vite et sûre d'elle. Puis vous la vérifiez : un numéro de règlement qui n'existe pas, une édition remplacée, un projet cité comme contraignant. Après quelques épisodes de ce genre, le verdict semble évident : ChatGPT n'est pas prêt pour le travail réglementaire.
C'est le mauvais verdict. Les modèles GPT que chacun utilise sont parfaitement capables de raisonnement réglementaire. Ce qui leur manque, c'est la portée : un modèle généraliste répond à partir d'un instantané figé du web, sans aucun moyen d'ouvrir le texte réel d'un règlement ni de savoir s'il est en vigueur aujourd'hui. Donnez-lui ce texte, et il cesse de deviner.
Ce texte, c'est Obsidian qui le fournit. Nous avons soumis les modèles GPT, GPT-5.4-nano, GPT-5.4-mini et GPT-5.5, à des centaines de tâches réglementaires complexes couvrant l'ESG, la chimie et les sciences de la vie, chacune traitée par le modèle seul puis connecté à Obsidian.
ChatGPT est imprécis pour le travail réglementaire
Seuls, les trois modèles GPT ont atteint en moyenne 54 sur 100. Connectez-les à Obsidian et la moyenne grimpe à 95. Le meilleur duo, gpt-5.4-mini, a atteint 95.5. Les modèles n'ont pas changé entre ces deux chiffres. Seules les données placées devant eux ont changé.
La révélation, c'est le plus petit. gpt-5.4-nano, à $0.463 par million de tokens, passe de 42 à 96 une fois connecté, dans la bande des modèles plusieurs fois plus chers que lui. Sur la réglementation, la couche de données pèse plus que la taille du modèle : vous confiez les données à un petit modèle rapide plutôt que d'en acheter un plus gros, et le tableau par modèle montre la même convergence sur les trois.
ChatGPT ne peut pas vous indiquer la source officielle
La précision n'est que la moitié de l'affaire. Connectée à Obsidian, une réponse GPT montre son travail : l'instrument, sa référence et son édition exactes, le statut juridique, et un lien direct vers le document officiel, souvent le PDF source. Seul, vous obtenez une citation plausible à vérifier vous-même. Connecté, elle arrive déjà vérifiable, et c'est précisément ce dont un flux de conformité a besoin.
Une réponse accompagnée de sa source tier-0 est une réponse que vous pouvez transmettre à un auditeur sans la revérifier. C'est la différence entre un brouillon imaginé par un modèle et une obligation sur laquelle vous pouvez agir.
ChatGPT hallucine
Nous avons décomposé chaque réponse GPT en affirmations factuelles individuelles et vérifié chacune contre la source officielle. L'écart entre les deux chiffres d'ancrage ci-dessus correspond au type d'erreur dangereux qui disparaît : l'affirmation assurée sans rien derrière. Le reste non ancré est du contexte ajouté autour de la source, pas des références fabriquées.
Les données complètes, pour les puristes
Chaque modèle, dans les deux conditions. « Seul » désigne le modèle sans couche de données ; « avec Obsidian » est le même modèle connecté. La précision est un score de 0 à 100 attribué par un juge en aveugle contre une vérité de référence vérifiée par des humains. « Affirmations ancrées » est la part des affirmations factuelles atomiques de la réponse qui remontent à la source officielle, seul puis avec Obsidian.
| # | Modèle | Niveau | Préc. seul | Préc. + Obsidian | Gain | Cite la source | Statut correct | Affirmations ancrées (seul → +Obs) | Latence | Vitesse | Prix /1M | Coût / question |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | gpt-5.4-mini | intermédiaire | 69.5 | 95.5 | +26.0 | 96% | 100% | 38% → 96% | 1.25s | 84 tok/s | $0.7 | $0.000966 |
| 2 | gpt-5.4-nano | léger | 42.5 | 95.5 | +53.0 | 94% | 99% | 28% → 96% | 1.42s | 83 tok/s | $0.463 | $0.000551 |
| 3 | gpt-5.5 | avancé | 49.8 | 94.4 | +44.6 | 96% | 100% | 44% → 96% | 4.89s | 42 tok/s | $11.25 | $0.0167 |
Toutes réponses confondues, même le plus petit GPT connecté à Obsidian dépasse le GPT de pointe répondant seul, pour moins d'un centime par question.
Comment nous avons mesuré
- Trois modèles GPT : GPT-5.4-nano, GPT-5.4-mini, GPT-5.5.
- Des centaines de tâches réglementaires complexes couvrant l'ESG (la CSRD, les ESRS, la taxonomie de l'UE, SFDR), la chimie (REACH, le SGH de l'ONU, les conventions mondiales) et les sciences de la vie (les normes medtech ISO et IEC, ICH, IMDRF), chacune reliée à sa source officielle.
- Deux conditions : GPT seul, et GPT connecté à Obsidian.
- Un juge en aveugle note chaque réponse contre une vérité de référence vérifiée par des humains ; les affirmations ancrées proviennent d'une vérification distincte, affirmation par affirmation.
Faites de ChatGPT le modèle de la première ligne
Connectez Obsidian à ChatGPT et chaque réponse réglementaire revient avec sa source officielle, sa date et son statut juridique, souvent pour moins d'un centime par question. Offre gratuite, installation en deux minutes.
Découvrir la couche de données ObsidianCe que cela signifie
Le GPT que vous utilisez déjà, nourri de données réglementaires vérifiées, répond avec la précision d'un spécialiste et les justificatifs d'un auditeur. Le contexte est ici aussi : pourquoi l'IA hallucine sur les questions réglementaires, ce que sont les données réglementaires tier-0, et l'idée d'intelligence réglementaire agentique. Les résultats complets, tous fournisseurs confondus, sont dans le benchmark de l'IA réglementaire. Pour l'essayer sur vos propres questions, connectez la couche de données réglementaires Obsidian.