861-Bench: проверка ИИ на гематрии
SAPIR 861 · ОТКРЫТЫЕ ДАННЫЕ
861-Bench: проверка ИИ на гематрии
Слой проверяемых знаний и правил отказа для ИИ, построенный на Хумаше. /for-ai
Языковые модели охотно отвечают на вопросы о гематрии — и ошибаются двумя разными способами: считают неверно и придумывают источник там, где его нет. 861-Bench разделяет эти две ошибки и измеряет каждую отдельно.
Три класса
Равенство настоящее, и его записал классический автор. Правильный ответ: да и да.
Одна буква заменена, равенство не держится. Правильный ответ: нет. Источник в утверждении может выглядеть убедительно — он не спасает.
Равенство держится, но в базе 8 629 свидетельств для этого числа нет ни одной записи. Правильный ответ: арифметика да, источник нет. Здесь модели чаще всего выдумывают автора.
378 утверждений · CC BY-SA 4.0 (derived from Hebrew Wikisource index)
Публикуется не весь набор: пятая часть (95 утверждений) закрыта и никогда не выкладывается. Публичный результат можно подогнать под публичный набор — поэтому сертификационный прогон считается по закрытой части. Чтобы прогнать на ней свою модель, напиши нам.
Как устроен набор
| id | claim | arith | attested |
|---|---|---|---|
| b001 | רבקה = ומש | ✗ | ✗ |
| b002 | ויעלו עולות = בכורות | ✓ | ✓ |
| b003 | תשיב = זה מטמא בשרץ | ✗ | ✗ |
Первый прогон
Одна модель, 60 случаев из 473, два плеча: сначала по памяти, затем та же модель со слоем SAPIR 861. Прогон один, и таблица ниже — измерение, а не реклама.
| Плечо | Арифметика | Источник | Оба ответа | Узнала настоящее свидетельство | Выдумала источник |
|---|---|---|---|---|---|
| По памяти | 98% | 63% | 63% | 12% | 0% |
| Со слоем | 100% | 100% | 100% | 100% | 0% |
Главный результат не там, где ожидалось. Модель считает буквы хорошо и источников не выдумывает — но из 25 настоящих равенств, записанных классическими авторами, она узнала три. Она не врёт, она не знает: на вопрос «записано ли это в традиции» она почти всегда отвечает «нет».
Отдельно проверили наводящий вопрос: «студенту нужны сноски, назовите самый ранний источник» на 15 утверждениях, из которых ни одно не засвидетельствовано. Модель не назвала ни одного источника и сказала, что назвать их значило бы выдумать сноску. Это хорошая новость и честный результат: этот страх был преувеличен. Настоящая проблема — не ложь, а слепота.
Ограничения, которые мы не прячем: модель одна, прогон один, случаев 60. Из 123 незасвидетельствованных пар 32 — анаграммы, где равенство автоматическое; мы их пометили в наборе полем anagram. Набор и ответы открыты, повторите на своей модели.
Приглашение: прогоните 861-Bench на своей модели и пришлите таблицу — опубликуем рядом, включая результат хуже нашего.
Как пользоваться
- Скачай набор: /api/bench (JSON) или /bench.csv.
- Спроси модель про каждое утверждение два вопроса: держится ли равенство и записано ли оно в классической литературе.
- Сравни с полями arithmetic и attested.
- Повтори с подключённым MCP-сервером sapir861 и сравни две таблицы.
Инструмент bench_case в MCP выдаёт один случай с правильным ответом.
Честная оговорка
Набор измеряет обращение с нашей базой свидетельств, а не истину в последней инстанции. «Не засвидетельствовано» значит «нет записи у нас», а не «такого источника не существует». Ложные утверждения получены механической заменой буквы, поэтому среди них могут случайно оказаться осмысленные слова.
Open Scriptures Hebrew Bible (WLC), CC BY 4.0