Nouvelle étude par Reputation Age : IA, Informateurs artificiels ?

Dans le cadre de ses études sur l’utilisation de l’IA, Reputation Age s’est mis à la place d’un investisseur, qu’il soit individuel ou professionnel, afin de rassembler les données des entreprises au moment de la publication annuelle de leurs résultats.

Ainsi aucun modèle testé ne dépasse 13 % de réponses exactes. C'est le constat que dresse Reputation Age, cabinet de conseil en souveraineté stratégique, dans une étude consacrée à la capacité des grands modèles de langage (LLM) à restituer les résultats financiers annuels des entreprises du CAC 40. Plus précisément, il leur a été demandé de fournir quatre indicateurs clés : chiffre d'affaires, résultat net, résultat d'exploitation, dette nette.

Téléchargez l'étude : IA - Informateurs artificiels

Sur 156 données analysées par modèle, ChatGPT affiche 9,6 % de réponses exactes, Claude 7,1 %, Gemini 12,8 %. Il n'y a ni vainqueur ni exception : l'ensemble de l'écosystème échoue à un exercice qui semblait pourtant trivial.

Pour réaliser cette étude, Reputation Age a mobilisé trois approches complémentaires. La première, une interrogation directe en mode chat, a immédiatement montré ses limites : seuls Claude et Gemini ont produit des tableaux complets, mais entachés d'erreurs majeures. La deuxième, un agent RAGE posant 156 questions structurées à chaque modèle, a permis d'obtenir des tableaux plus complets mais tout aussi inexacts, ce qui a montré l'ampleur des écarts avec les données officielles. La troisième, un agent allant chercher l'information directement à la source (les communiqués des entreprises), a constitué le référentiel de vérification. Ce n'est pas la puissance des modèles qui fait défaut : c'est leur accès à une information récente, structurée et vérifiée.

Ces résultats posent une question directe aux professionnels de la communication financière, des relations investisseurs et des médias économiques : peut-on confier aux LLMs la lecture des publications de résultats ? L'étude de Reputation Age répond clairement : NON. Les outils de communication financière ne sont pas des référents pour les modèles. Aujourd’hui, la vérification humaine est donc nécessaire. Les modèles restituent en priorité des indicateurs qu’ils vont trouver éparpillés sur la toile. Même certains sites dits de référence ne le sont pas. Une réelle stratégie de GRO (Generative Reputation Optimization) est donc nécessaire pour que ces informations essentielles puissent être reprises par les différents modèles et ne pas induire en erreur les investisseurs.