861-Bench: اختبار الذكاء الاصطناعي في الغيماتريا

ثلاث فئات

378 ادعاءات · CC BY-SA 4.0 (derived from Hebrew Wikisource index)

لم تُنشر المجموعة كلها: خُمسها (95 ادعاءً) محجوز ولا يُنشر أبدًا. فالنتيجة العلنية يمكن ضبطها على مجموعة علنية، ولذلك يُقيَّم تشغيل الاعتماد على الجزء المحجوز. اكتب إلينا لتقييم نموذجك عليه.

كيف بُنيت المجموعة

النتيجة الرئيسية ليست حيث كانت متوقعة. النموذج يعدّ الحروف جيدًا ولا يخترع مصادر — لكنه من أصل 25 مساواة حقيقية سجّلها مؤلفون كلاسيكيون تعرّف على ثلاث فقط. إنه لا يكذب، بل لا يعرف: حين يُسأل هل شيء ما مسجّل في التقليد، يجيب بالنفي في أغلب الأحيان.

اختبرنا السؤال الموجِّه على حدة: «طالب يحتاج إلى حواشٍ، اذكر أقدم مصدر»، على 15 ادعاءً ليس لأيّ منها شاهد. لم يذكر النموذج أيّ مصدر، وقال إن ذكر مصدر يعني اختلاق حاشية. هذا خبر جيد ونتيجة صادقة: كان هذا الخوف مبالغًا فيه. المشكلة الحقيقية ليست الكذب بل العمى.

حدود لا نخفيها: نموذج واحد، وتشغيل واحد، و60 حالة. من الأزواج الـ 123 غير الموثّقة، 32 منها جناسات تصحيفية تكون فيها المساواة تلقائية؛ وهي معلَّمة في المجموعة بحقل anagram. المجموعة والأجوبة مفتوحة — كرّر الاختبار على نموذجك.

دعوة: شغّل 861-Bench على نموذجك وأرسل إلينا الجدول — سننشره بجانب جدولنا، حتى لو كانت نتيجته أسوأ من نتيجتنا.

كيف تستعملها

1. نزّل المجموعة: /api/bench (JSON) أو /bench.csv.
2. اطرح على النموذج سؤالين لكل ادعاء: هل تصح المساواة، وهل هي مسجّلة في الأدب الكلاسيكي.
3. قارن بالحقلين arithmetic وattested.
4. كرّر مع وصل خادم MCP الخاص بـ sapir861 وقارن بين الجدولين.

تنزيل JSON · تنزيل CSV

أداة bench_case في MCP تعيد حالة واحدة مع جوابها الصحيح.

تحفّظ صريح

تقيس المجموعة التعامل مع قاعدة أدلتنا، لا الحقيقة النهائية. «غير موثّق» تعني «لا تسجيل هنا»، لا «لا يوجد مصدر كهذا». صُنعت الادعاءات الخاطئة بإبدال آلي للحروف، لذلك قد تظهر بينها مصادفةً كلمة ذات معنى.