Synthèse : quatre tests de pertinence de la recherche
Banc de test de Gondo, du 22 septembre au 9 octobre 2026. Le protocole détaillé et les rapports de chaque test sont disponibles sur demande et seront publiés avec le module.
Ce qu'on a mesuré
Pour une requête, le moteur trouve-t-il les bons produits, et les place-t-il en haut des 10 premiers résultats ?
- Le score (nDCG@10) va de 0 à 1. Il vaut 1 quand les meilleurs produits sont en tête.
- L'écart est la différence moyenne de score entre le prototype de Gondo et son adversaire, requête par requête.
- La fourchette encadre cet écart à 95 %. Si elle ne contient pas 0, l'écart ne s'explique pas par le hasard : on parle alors d'écart « net ».
- Gagnées / égales / perdues : le nombre de requêtes où Gondo obtient un meilleur score que l'adversaire, le même score, ou un moins bon.
Les données viennent de WANDS, un jeu public de Wayfair : des requêtes réelles de clients, sur un catalogue de meubles et d'objets de la maison, avec des notes de pertinence données par des personnes. Chaque test porte sur des requêtes que le prototype n'avait jamais vues pendant son réglage, et il est mesuré une seule fois.
Les quatre tests
| Test | Adversaire | Requêtes | Adversaire | Gondo | Écart et fourchette | Gagnées / égales / perdues | Verdict |
|---|---|---|---|---|---|---|---|
| 1 | Recherche native de Shopify, boutique en anglais | 100 | 0,819 | 0,731 | −0,088 [−0,138 ; −0,041] | 31 / 26 / 43 | moins pertinent |
| 2 | Recherche native de Shopify, boutique en français | 62 | 0,647 | 0,558 | −0,088 [−0,157 ; −0,019] | 20 / 6 / 36 | moins pertinent |
| 3 | Recherche native de PrestaShop 9 | 65 | 0,257 | 0,605 | +0,348 [+0,275 ; +0,421] | 55 / 4 / 6 | plus pertinent |
| 4 | Doofinder sur PrestaShop, tel qu'il s'installe | 46 | 0,398 | 0,491 | +0,093 [+0,026 ; +0,162] | 31 / 2 / 13 | plus pertinent |
La colonne « Gondo » donne la version hybride du prototype : elle combine recherche par mots et recherche par le sens. La version par mots seuls donne :
- test 1 : 0,662, écart −0,157, 24 / 20 / 56, moins pertinente ;
- test 2 : 0,507, écart −0,139, 18 / 6 / 38, moins pertinente ;
- test 3 : 0,511, écart +0,254, 46 / 13 / 6, plus pertinente ;
- test 4 : 0,413, écart +0,016 [−0,059 ; +0,090], 24 / 4 / 18, pas de différence nette avec Doofinder.
Ce qu'on en retient
- Sur Shopify, la recherche native est déjà meilleure que le prototype, en anglais comme en français. Elle rapproche aussi les mots par le sens en français (« divan » y trouve des canapés).
- Sur PrestaShop, la recherche native ne trouve rien pour près d'une requête sur deux : 40 % et 48 % des requêtes scellées restent sans résultat, car elle exige que tous les mots soient présents. Le prototype répond à toutes.
- Doofinder corrige ce défaut : aucune requête sans résultat. Le prototype hybride reste plus pertinent que Doofinder tel qu'il s'installe. Il gagne sur 31 requêtes, en perd 13, et 2 sont à égalité. Sans sa partie « sens », il fait jeu égal avec Doofinder.
- Temps de réponse du prototype, mesuré le 9 octobre 2026 sur une machine de 4 vCPU (OVH, Gravelines), correcteur compris, une recherche à la fois : 23,0 ms au 95e centile et 70,5 ms au 99e à la passerelle ; 45,4 ms et 96,7 ms de bout en bout, depuis un poste en France. Avec cinq recherches simultanées, le 95e centile monte à 104 ms à la passerelle. Limites : une seule machine, un seul moment, un seul poste client, une passerelle de mesure sans limite de débit ni jeton, et un seul index sur la machine.
Les limites, à garder en tête
- Catalogue traduit par machine (tests 2 à 4). La traduction est automatique et faite en local. Un vrai catalogue français est moins propre et moins homogène.
- Concurrents dans leurs réglages par défaut. Doofinder a été mesuré sans synonymes, sans règles et sans mise en avant. Un marchand qui le règle peut obtenir mieux. La recherche native de PrestaShop a gardé ses réglages d'installation : recherche approximative activée, mots de 3 lettres et plus, poids d'origine, aucun alias ajouté.
- Juge IA pour une partie des notes. Les résultats que WANDS n'avait pas notés l'ont été par une IA, à l'aveugle, sans savoir quel moteur les avait trouvés. Une seconde IA a recontrôlé 25 % de ces notes : 90 à 98 % de notes identiques, et le verdict ne change pas.
- Peu de requêtes, de 46 à 100, d'où des fourchettes larges. Les requêtes du test 4 avaient déjà servi le 22/09 à une autre mesure, sans réglage dessus.
- Un seul domaine (meuble et maison), et la pertinence seulement : ces tests ne mesurent ni les ventes ni le chiffre d'affaires.
- Fautes de frappe. Sans correcteur, une requête avec faute garde environ 0,80 du score de la même requête sans faute (0,85 à 0,87 sur un second jeu). Avec le correcteur placé avant le moteur, adopté pour la v1, elle en garde 0,97 à 1,00. Ces chiffres viennent de deux jeux de 50 fautes fabriquées (deux lettres inversées, ou une lettre oubliée). Ils restent à confirmer sur de vraies recherches de clients, chez un marchand pilote.
En une phrase
Sur ce banc, la recherche de Gondo est plus pertinente que la recherche native de PrestaShop, et plus pertinente que Doofinder tel qu'il s'installe. Elle ne l'est pas que celle de Shopify.