Derniers Articles
Goossips SEO : Alertes GSC & Sitemap XML Figma + agents IA : trois workflows concrets pour concevoir et coder sans friction Google Universal Cart : le panier intelligent qui surveille vos achats à votre place Le fichier llms.txt ne sert à rien, mais Lighthouse le vérifie quand même Google Core Update de mai 2026 : le grand retour ! YouTube dans les LLM : l’étude qui bouscule les certitudes Quand la data nous ment : citations, questions ou titres déclaratifs pour Discover ? Google Search se réinvente : agents IA, box intelligente et temps réel Screaming Frog SEO Spider 24.0 : intégration de l’IA et automatisation accrue Goossips SEO : API d’indexationLire l'article complet : Recommandations de marques : l’inconstance des IA pointée du doigt par une étude
Publié le 30/01/2026 à 09:12:11 par Abondance
Recommandations de marques : l’inconstance des IA pointée du doigt par une étude
Vous demandez conseil à ChatGPT pour choisir un produit ? Sachez que si vous posez la même question 100 fois, vous obtiendrez 100 réponses différentes. C'est ce que révèle une étude inédite menée par Rand Fishkin et Patrick O'Donnell, qui ont analysé près de 3 000 réponses d'intelligence artificielle. Leur constat est sans appel : les outils d'IA ne sont pas fiables pour recommander des marques ou des produits, et le marché du tracking de visibilité dans l'IA, estimé à plus de 100 millions de dollars par an, repose sur des bases fragiles.
Ce qu'il faut retenir :
- Les IA donnent des listes différentes 99 fois sur 100 : ChatGPT, Claude et Google AI produisent des recommandations quasi-uniques à chaque requête, même identique
- Le classement des produits n'a aucun sens : la position d'une marque dans une réponse IA est totalement aléatoire et change constamment
- La mesure de « visibilité » reste utilisable : malgré ce chaos, le pourcentage d'apparition d'une marque sur des centaines de requêtes peut constituer une métrique valable
- Les prompts humains sont extrêmement variés : contrairement aux recherches Google, les utilisateurs formulent leurs questions à l'IA de manières radicalement différentes
Une expérimentation à grande échelle
L'étude a mobilisé 600 volontaires qui ont soumis 12 prompts différents aux trois outils IA les plus populaires aux États-Unis : ChatGPT, Claude et Google AI (via AI Overview et AI Mode). Au total, 2 961 requêtes ont été enregistrées, analysées et normalisées.
Les chercheurs ont choisi des prompts variés, couvrant le B2C et le B2B, dans des secteurs de tailles différentes. Par exemple : « Quels sont les meilleurs couteaux de chef, marque et modèle, pour un cuisinier amateur avec un budget inférieur à 300 $ ? » ou « Quels sont les meilleurs consultants en marketing digital spécialisés en e-commerce ? ».
Des résultats surprenant sur l'incohérence des IA
Les résultats montrent une variabilité stupéfiante. Pour chaque prompt testé, le nombre de marques uniques recommandées varie considérablement : de quelques dizaines à plusieurs centaines selon le secteur.
Plus troublant encore, trois facteurs changent à chaque réponse :
- La liste des recommandations présentées
- L'ordre dans lequel elles apparaissent
- Le nombre total d'éléments dans la liste (parfois 2-3, parfois plus de 10)
La probabilité d'obtenir deux fois la même liste est inférieure à 1 sur 100. Quant à obtenir cette liste dans le même ordre, c'est moins d'1 chance sur 1 000. Ces chiffres s'appliquent à tous les outils testés, quelle que soit la thématique.
Le cas dramatique des recommandations médicales
L'étude illustre ce problème avec un exemple glaçant : la recherche du meilleur hôpital de cancérologie sur la côte ouest américaine. Même dans une situation où obtenir la meilleure information est crucial, Google AI produit des listes tellement aléatoires qu'on ne verra presque jamais deux fois la même réponse, dans le même ordre.
Les chercheurs...