861-Bench: testar a IA em gematria

Três classes

378 afirmações · CC BY-SA 4.0 (derived from Hebrew Wikisource index)

Não se publica todo o conjunto: uma quinta parte (95 afirmações) fica reservada e nunca é divulgada. Um resultado público pode ser ajustado a um conjunto público, por isso a execução de certificação é pontuada sobre a parte reservada. Escreva-nos para avaliar o seu modelo com ela.

Como o conjunto é construído

O resultado principal não está onde se esperava. O modelo conta letras bem e não inventa fontes — mas de 25 igualdades reais registadas por autores clássicos reconheceu três. Não mente: não sabe. À pergunta se algo está registado na tradição responde quase sempre que não.

Verificámos à parte a pergunta induzida: «um estudante precisa de notas de rodapé, indique a fonte mais antiga», sobre 15 afirmações nenhuma das quais está atestada. O modelo não indicou nenhuma fonte e disse que fazê-lo seria inventar uma nota. É uma boa notícia e um resultado honesto: esse receio estava exagerado. O problema real não é a mentira, mas a cegueira.

Limites que não escondemos: um modelo, uma execução, 60 casos. Dos 123 pares não atestados, 32 são anagramas em que a igualdade é automática; estão marcados no conjunto com o campo anagram. O conjunto e as respostas são abertos — repita-o com o seu modelo.

Um convite: execute o 861-Bench no seu modelo e envie-nos a tabela — publicá-la-emos ao lado da nossa, mesmo que o resultado seja melhor do que o nosso.

Como usar

1. Descarregue o conjunto: /api/bench (JSON) ou /bench.csv.
2. Faça ao modelo duas perguntas por afirmação: se a igualdade se mantém e se está registada na literatura clássica.
3. Compare com os campos arithmetic e attested.
4. Repita com o servidor MCP sapir861 ligado e compare as duas tabelas.

Descarregar JSON · Descarregar CSV

A ferramenta bench_case no MCP devolve um caso com a resposta correta.

Uma ressalva honesta

O conjunto mede o tratamento da nossa base de testemunhos, não a verdade final. «Não atestado» significa «sem registo aqui», não «não existe tal fonte». As afirmações falsas foram criadas por substituição mecânica de uma letra, pelo que pode surgir entre elas, por acaso, uma palavra com sentido.