SocietyBench: معيار جديد لتقييم قدرة النماذج على توقع تطورات العالم الاجتماعي في إطار «عوالم مضادة للواقع»
الورقة تقدم SocietyBench، معيارًا نهائيًا لاختبار قدرة النماذج والوكيلات المبنية عليها على فهم وتوقع كيفية تطور أحداث اجتماعية عبر الزمن. المنهج يجمع تغطية خبرية ومنشورات عبر خمس منصات لبناء جدول زمني مؤرخ يحتفظ بطبقتين منفصلتين: الوقائع ورأي الجمهور. قبل التقييم تُجرى ثلاث مراحل من التجهيل — استبدال الكيانات المسماة وتحريك التواريخ بمقدار ثابت لكل حدث — لتحويل القصة الحقيقية إلى «عالم مضاد» يحافظ على البُنية لكنه يمنع المطابقة مع ذاكرة ما قبل التدريب. تُحوّل نقاط القطع الزمنية إلى 125 نقطة تنبؤية عبر خمسة أحداث باللغة الصينية والإنجليزية. تُقَيَّم الإجابات على محورين مستقلين من 100 نقطة: معايرة الاحتمالات والدقة الزمنية. وفقًا للورقة (arXiv:2608.04009v1) بلغ أعلى أداء بين ستة LLMs 75.0/100 مقابل مرجع تافه عند 50؛ إطارات وكيل مُختلفة لم تحسّن على النموذج القاعدي، وخوارزميات بسيطة خالية من النموذج جاءت أضعف. جميع الجداول الزمنية والأسئلة والحقيقة الأرضية وشفرات التقييم مُتاحة علنًا.
ما الذي قدّمته الورقة؟
قدّم الباحثون SocietyBench، معيارًا نهائيًا لاختبار قدرة النماذج والوكيلات على توقع كيفية تطور أحداث اجتماعية عبر الزمن. الإطار يقوم بالخطوات الأساسية التالية (وفقًا للورقة المنشورة على arXiv):
- جمع تغطية إخبارية ومنشورات عبر 5 منصات اجتماعية لبناء جدول زمني مؤرَّخ يحتفظ بطبقتين منفصلتين: (1) الوقائع الموثقة و(2) طبقة رأي الجمهور.
- تحويل كل تاريخ قطع على الجدول الزمني إلى بنك أسئلة تنبؤية مُدقَّق.
- تطبيق إجراء ثلاثي المراحل من التجهيل: استبدال كل الكيانات المسماة وتحوير التواريخ بمقدار ثابت لكل حدث، بحيث يصبح السرد "عالمًا مضادًا" بنيويًا مطابقًا لما حدث لكنه مُجَهَّل من العلامات السطحية التي قد تستغلها النماذج بسبب ذاكرة ما قبل التدريب.
- تقييم الإجابات على محورين مستقلين من 100 نقطة: معايرة الاحتمالات (probability calibration) والدقة الزمنية (temporal accuracy).
المجموعة التجريبية تشمل خمسة أحداث متنوعة و125 نقطة تنبؤية باللغتين الصينية والإنجليزية. الباحثون أعلنوا أيضًا أن كل الجداول الزمنية، بنوك الأسئلة، الحقيقة الأرضية، وشفرات التقييم متاحة علنًا (arXiv:2608.04009v1).
النتائج الرئيسة
- أفضل أداء بين ستة نماذج لغوية متقدمة بلغ 75.0 من 100، مقابل مرجع (trivial anchor) بقيمة 50.
- المحوران (المعايرة والزمن) قد يتباعدان: نموذج يمكن أن يكون قويًا في معايرة الاحتمالات لكنه ضعيفًا في تحديد التوقيت، أو العكس.
- ثلاث أُطُر وكيلة (agent frameworks) مبنية على نفس النموذج القاعدي لم تُحسّن الأداء على القاعدة.
- اثنان من الحلول البسيطة الخالية من النموذج (model-free heuristics) حلّا أدنى من جميع LLMs المختبرة.
- اختلافات الأداء بين الأحداث وصلت إلى 21.4 نقطة على محور واحد، ما يدعم حُجة الباحثين بوجوب تقييم عدة أحداث بدلاً من حدث واحد فقط.
(مصدر النتائج: arXiv:2608.04009v1)
لماذا يهم هذا العمل؟
- يقيس قدرة مهمّة ومختلفة عن إتمام المهام: ليس فقط إكمال مهمة تقنية بل توقع كيفية تطور الأحداث الاجتماعية — مهارة حاسمة لأدوات المخابرات الإعلامية، رصد التضليل، وتقييم المخاطر.
- يُقدّم منهجية تجهيل منهجية (counterfactual anonymization) تسمح بتقييم التعميم البنيوي للنماذج دون أن تُستغل الذاكرة السطحية للبيانات التدريبية.
- فاصلتان للتقييم (معايرة الاحتمالات والدقة الزمنية) توفران تشخيصًا أدقّ لأوجه القوة والضعف: مثال، أنماط الثقة مقابل توقُّع التوقيت الحقيقي للأحداث.
ما الذي لا يزال محدودًا أو غائبًا؟
- النطاق الحالي اختُبِر على خمس أحداث وباللغتين الصينية والإنجليزية فقط؛ لا توجد اختبارات مذكورة للغات أخرى أو مناطق جغرافية إضافية في النسخة المنشورة (v1).
- الاعتماد على جداول زمنية مُجمّعة من منصات محددة قد يقيّد التعميم على أنواع أخرى من المصادر الإعلامية أو المحلية.
لماذا يجب أن يهتم القارئ العربي؟
- المنهجية قابلة للتطبيق على لغات وأسواق أخرى: طريقة بناء الجداول الزمنية، فصل رأي الجمهور عن الوقائع، والتجهيل البنيوي يمكن نقلها إلى مجموعات بيانات عربية لتقييم نماذج مخصّصة للمنطقة.
- للجهات التجارية والحكومية والبحثية العربية: SocietyBench يمكن أن يصبح مرجعًا لقياس كفاءة أدوات رصد الأخبار والتنبؤ بالمخاطر الاجتماعية، شريطة توسيع المعيار ليشمل مصادر عربية وخصائص محلية.
مصدر
الورقة متاحة على arXiv: arXiv:2608.04009v1 — "SocietyBench: Forecasting Counterfactual Social-World Evolution" (2026).