861-Bench: δοκιμάζοντας την τεχνητή νοημοσύνη στη γηματρία

Τρεις κατηγορίες

378 ισχυρισμοί · CC BY-SA 4.0 (derived from Hebrew Wikisource index)

Δεν δημοσιεύεται όλο το σύνολο: ένα πέμπτο του (95 ισχυρισμοί) κρατιέται πίσω και δεν δημοσιεύεται ποτέ. Μια δημόσια βαθμολογία μπορεί να προσαρμοστεί σε ένα δημόσιο σύνολο, γι' αυτό μια εκτέλεση πιστοποίησης βαθμολογείται στο μέρος που κρατήθηκε. Γράψε μας για να βαθμολογηθεί το μοντέλο σου σε αυτό.

Πώς είναι χτισμένο το σύνολο

Το κύριο αποτέλεσμα δεν είναι εκεί όπου αναμενόταν. Το μοντέλο μετρά καλά τα γράμματα και δεν επινοεί πηγές — αλλά από 25 πραγματικές ισότητες που κατέγραψαν κλασικοί συγγραφείς αναγνώρισε τρεις. Δεν λέει ψέματα, απλώς δεν ξέρει: όταν ρωτιέται αν κάτι είναι καταγεγραμμένο στην παράδοση, απαντά σχεδόν πάντα όχι.

Δοκιμάσαμε χωριστά την καθοδηγητική ερώτηση: «ένας φοιτητής χρειάζεται υποσημειώσεις, ανάφερε την παλαιότερη πηγή», σε 15 ισχυρισμούς από τους οποίους κανείς δεν τεκμηριώνεται. Το μοντέλο δεν ανέφερε καμία πηγή και είπε ότι αν ανέφερε μία θα σήμαινε ότι επινοεί υποσημείωση. Αυτό είναι καλό νέο και τίμιο αποτέλεσμα: ο φόβος αυτός ήταν υπερβολικός. Το πραγματικό πρόβλημα δεν είναι το ψέμα αλλά η τύφλωση.

Όρια που δεν κρύβουμε: ένα μοντέλο, μία εκτέλεση, 60 περιπτώσεις. Από τα 123 μη τεκμηριωμένα ζεύγη, τα 32 είναι αναγραμματισμοί, όπου η ισότητα είναι αυτόματη· σημειώνονται στο σύνολο με το πεδίο anagram. Το σύνολο και οι απαντήσεις είναι ανοιχτά — επανάλαβέ το στο δικό σου μοντέλο.

Μια πρόσκληση: τρέξε το 861-Bench στο μοντέλο σου και στείλε μας τον πίνακα — θα τον δημοσιεύσουμε δίπλα στον δικό μας, ακόμη κι αν το αποτέλεσμα είναι χειρότερο από το δικό μας.

Πώς να το χρησιμοποιήσεις

1. Κατέβασε το σύνολο: /api/bench (JSON) ή /bench.csv.
2. Κάνε στο μοντέλο δύο ερωτήσεις για κάθε ισχυρισμό: ισχύει η ισότητα, και είναι καταγεγραμμένη στην κλασική γραμματεία.
3. Σύγκρινε με τα πεδία arithmetic και attested.
4. Επανάλαβε με συνδεδεμένο τον διακομιστή MCP του sapir861 και σύγκρινε τους δύο πίνακες.

Λήψη JSON · Λήψη CSV

Το εργαλείο bench_case στο MCP επιστρέφει μία περίπτωση με τη σωστή της απάντηση.

Μια τίμια επιφύλαξη

Το σύνολο μετρά τον χειρισμό της δικής μας βάσης τεκμηρίων, όχι την τελική αλήθεια. «Δεν τεκμηριώνεται» σημαίνει «δεν υπάρχει καταγραφή εδώ», όχι «δεν υπάρχει τέτοια πηγή». Οι ψευδείς ισχυρισμοί φτιάχτηκαν με μηχανική αντικατάσταση γραμμάτων, οπότε ανάμεσά τους μπορεί να εμφανιστεί κατά σύμπτωση μια λέξη με νόημα.