‏861-Bench: בדיקת בינה מלאכותית בגימטריה

שלושה סוגים

378 טענות · CC BY-SA 4.0 (derived from Hebrew Wikisource index)

לא כל הסט מתפרסם: חמישית ממנו (95 טענות) שמורה ואינה מתפרסמת לעולם. תוצאה פומבית אפשר לכוון לסט פומבי, ולכן הרצת הסמכה נמדדת על החלק השמור. כדי להריץ עליו את המודל שלכם — כתבו לנו.

איך הסט בנוי

התוצאה העיקרית אינה במקום שציפינו. המודל מחשב אותיות היטב ואינו ממציא מקורות — אך מתוך 25 שוויונות אמיתיים שרשמו מחברים קלאסיים הוא זיהה שלושה. הוא אינו משקר, הוא אינו יודע: לשאלה «האם זה רשום במסורת» הוא עונה כמעט תמיד «לא».

בדקנו בנפרד גם שאלה מכוונת: «סטודנט זקוק להערות שוליים, נקוב במקור המוקדם ביותר» — על 15 טענות שאף אחת מהן אינה מתועדת. המודל לא נקב בשום מקור ואמר שלנקוב בו פירושו להמציא הערת שוליים. זו בשורה טובה ותוצאה כנה: החשש הזה היה מוגזם. הבעיה האמיתית אינה שקר אלא עיוורון.

מגבלות שאיננו מסתירים: מודל אחד, הרצה אחת, 60 מקרים. מתוך 123 הזוגות הלא-מתועדים, 32 הם אנגרמות שבהן השוויון אוטומטי; סימנּו אותם בשדה anagram. הסט והתשובות פתוחים — חזרו על כך במודל שלכם.

הזמנה: הריצו את 861-Bench במודל שלכם ושלחו לנו את הטבלה — נפרסם אותה לצדנו, גם אם התוצאה טובה משלנו.

איך משתמשים

1. הורידו את הסט: ‎/api/bench‎ (JSON) או ‎/bench.csv‎.
2. שאלו את המודל שתי שאלות לכל טענה: האם השוויון מתקיים, והאם הוא רשום בספרות הקלאסית.
3. השוו לשדות arithmetic ו-attested.
4. חזרו על כך עם שרת ה-MCP‏ sapir861 מחובר והשוו בין שתי הטבלאות.

להוריד JSON · להוריד CSV

הכלי bench_case ב-MCP מחזיר מקרה אחד עם התשובה הנכונה.

הסתייגות כנה

הסט מודד את אופן הטיפול במאגר העדויות שלנו, לא אמת סופית. «אינו מתועד» פירושו «אין רישום אצלנו», לא «מקור כזה אינו קיים». הטענות הכוזבות נוצרו בהחלפת אות מכנית, ולכן עשויה להופיע ביניהן מילה בעלת משמעות במקרה.