VibeVoted fait évaluer des logiciels par des modèles d’IA

LLéna

VibeVoted fait évaluer des produits logiciels par 10 modèles de langage issus de 10 laboratoires, selon un signalement publié sur Hacker News. Les modèles appliquent des critères annoncés : la clarté, l’utilité, la différenciation, les preuves, la qualité visuelle, la confiance et la durabilité. Ils fournissent aussi des retours et des suggestions d’amélioration, qui peuvent aider les équipes à repérer des pistes de travail, sans garantir que ces conseils soient pertinents pour chaque produit. Le projet indique mesurer la reproductibilité des évaluations avec 4 essais par modèle et la méthode tau de Kendall, puis écarter les modèles dont le score est inférieur à 0,5. VibeVoted rapporte des scores supérieurs à 0,7 pour la plupart des modèles, dont 0,89 pour GPT-6.1-Sol et 0,79 pour Claude-Opus-5.5 ; ces chiffres décrivent la stabilité des résultats entre les essais, pas directement la qualité des produits ni la justesse des évaluations. Les produits peuvent payer 25 dollars pour participer à une session, mais, selon le créateur, ce paiement ne permettrait d’acheter ni un vote ni une position dans le classement. Les sessions thématiques seraient choisies par les éditeurs de SaaSHub ou par le créateur, qui affirme que personne ne paie pour ces sessions ; il estime aussi que les évaluations des modèles seraient généralement plus objectives que les votes humains, une appréciation qui n’a pas été vérifiée indépendamment et que la reproductibilité ne suffit pas à établir.