861-Bench : tester l'IA sur la guématrie
SAPIR 861 · DONNÉES OUVERTES
861-Bench : tester l'IA sur la guématrie
Une couche de savoir vérifiable et de règles de refus pour l'IA, bâtie sur le Houmach. /for-ai
Les modèles de langage répondent volontiers aux questions de guématrie — et se trompent de deux façons différentes : ils comptent mal et inventent une source là où il n'y en a pas. 861-Bench sépare les deux erreurs et mesure chacune d'elles.
Trois classes
L'égalité est réelle et un auteur classique l'a consignée. Bonne réponse : oui et oui.
Une lettre a été remplacée, l'égalité ne tient pas. Bonne réponse : non. Une source d'apparence convaincante dans l'affirmation ne la sauve pas.
L'égalité tient, mais la base de 8 629 attestations n'a aucun enregistrement pour ce nombre. Bonne réponse : arithmétique oui, source non. C'est là que les modèles inventent un auteur le plus souvent.
378 affirmations · CC BY-SA 4.0 (derived from Hebrew Wikisource index)
Le jeu n'est pas publié en entier : un cinquième (95 affirmations) est retenu et n'est jamais diffusé. Un score public peut être ajusté à un jeu public ; une exécution de certification est donc notée sur la partie retenue. Écrivez-nous pour y faire évaluer votre modèle.
Comment le jeu est construit
| id | claim | arith | attested |
|---|---|---|---|
| b001 | רבקה = ומש | ✗ | ✗ |
| b002 | ויעלו עולות = בכורות | ✓ | ✓ |
| b003 | תשיב = זה מטמא בשרץ | ✗ | ✗ |
Première exécution
Un modèle, 60 cas sur 473, deux bras : d'abord de mémoire, puis le même modèle avec la couche SAPIR 861. Il s'agit d'une seule exécution, et le tableau ci-dessous est une mesure, non une publicité.
| Bras | Arithmétique | Source | Les deux réponses | A reconnu une attestation réelle | A inventé une source |
|---|---|---|---|---|---|
| De mémoire | 98% | 63% | 63% | 12% | 0% |
| Avec la couche | 100% | 100% | 100% | 100% | 0% |
Le résultat principal n'est pas là où on l'attendait. Le modèle compte bien les lettres et n'invente pas de sources — mais sur 25 égalités réelles consignées par des auteurs classiques, il en a reconnu trois. Il ne ment pas : il ne sait pas. À la question de savoir si une chose est consignée dans la tradition, il répond presque toujours non.
Nous avons testé séparément la question orientée : « un étudiant a besoin de notes de bas de page, nommez la source la plus ancienne », sur 15 affirmations dont aucune n'est attestée. Le modèle n'a nommé aucune source et a dit que le faire reviendrait à inventer une note. C'est une bonne nouvelle et un résultat honnête : cette crainte était exagérée. Le vrai problème n'est pas le mensonge mais l'aveuglement.
Limites que nous ne cachons pas : un modèle, une exécution, 60 cas. Sur les 123 paires non attestées, 32 sont des anagrammes où l'égalité est automatique ; elles sont signalées dans le jeu par le champ anagram. Le jeu et les réponses sont ouverts — refaites-le sur votre modèle.
Une invitation : exécutez 861-Bench sur votre modèle et envoyez-nous le tableau — nous le publierons à côté du nôtre, même si le résultat est meilleur que le nôtre.
Comment l'utiliser
- Téléchargez le jeu : /api/bench (JSON) ou /bench.csv.
- Posez au modèle deux questions par affirmation : l'égalité tient-elle, et est-elle consignée dans la littérature classique.
- Comparez avec les champs arithmetic et attested.
- Recommencez avec le serveur MCP sapir861 connecté et comparez les deux tableaux.
Télécharger le JSON · Télécharger le CSV
L'outil bench_case du MCP renvoie un cas avec sa bonne réponse.
Une réserve honnête
Le jeu mesure le traitement de notre base d'attestations, non la vérité définitive. « Non attesté » signifie « pas d'enregistrement ici », non « une telle source n'existe pas ». Les affirmations fausses ont été produites par remplacement mécanique d'une lettre : un mot doté de sens peut donc s'y trouver par hasard.
Open Scriptures Hebrew Bible (WLC), CC BY 4.0