Proofbench
منصة مفتوحة المصدر، بُنيت باستخدام Claude Code · منصة لتقييم وكلاء النماذج اللغوية الذين يستخدمون الأدوات
منصة لتقييم وكيل نموذج لغوي يتصرف في الأموال: مقيّمات حتمية تقرأ ما فعله الوكيل فعلاً، ونموذج حَكَم لا يُستخدم إلا لنص الرد وهو نفسه مَقيس مقابل لجنة عمياء، وتشغيلات مسجّلة يعاد تقييمها في ثوانٍ دون GPU، وبوابة CI تفشل إذا صار التقييم أضعف دون أن يلاحظ أحد.
المشكلة
يُقيَّم وكلاء النماذج اللغوية عادةً برأي نموذج آخر وبتشغيل واحد، وهذا يخفي ما إذا فعل الوكيل شيئاً خطيراً ومدى إمكان الوثوق بالتقييم نفسه.
الحل
حسم كل ما يمكن التحقق منه من أفعال الوكيل، واستخدام الحَكَم للنص فقط وقياسه مقابل لجنة عمياء، وإعادة تقييم التسجيلات دون GPU، وفحص التقييم نفسه في CI.
التفاصيل التقنية
75.0% صحيح تماماً و95.8% آمن عند حرارة 0؛ كابا الحَكَم 0.93 مقابل لجنة عمياء؛ إعادة تقييم في 4 ثوانٍ بدل 18 دقيقة؛ لوحة حية و171 اختباراً وتكامل مستمر.
نظرة عامة
Proofbench منصة تقييم مفتوحة المصدر بنيتُها باستخدام Claude Code لوكيل نموذج لغوي قادر على إحداث ضرر: وكيل دعم لمتجر صغير يرد الأموال ويلغي الطلبات ويطّلع على بيانات الآخرين. لمعظم الأسئلة المهمة عنه إجابة دقيقة، لذا تُحسم من سجل الأفعال لا برأي نموذج: ما الذي تحرك، وبكم، وعلى أي طلب، وهل جرت محاولة لفعل محظور حتى لو رفضها المتجر، وهل ظهر عميل آخر في الرد.
الوكيل هو qwen3.5:9b يعمل محلياً على بطاقة رسوميات واحدة. في التشغيل الأساسي كان صحيحاً تماماً في 75.0% من المحاولات ولم يفعل شيئاً خطيراً في 95.8%. أكثر أخطائه شيوعاً أنه يستنتج الصواب ثم لا يستدعي الأداة. ومع عشوائية أكبر بقيت نسبة الصواب كما هي تماماً، بينما هبطت نسبة الأمان إلى 83.3%: دفع أموالاً بناءً على تعليمتين من خمس تعليمات مزروعة، ولهذا يبقى المقياسان منفصلين.
جودة الرد هي الشيء الوحيد الذي يحكم عليه نموذج، والحَكَم نفسه مَقيس: مقابل خمسة مقيّمين عُمي من النماذج بلغ معامل كابا 0.93 (فترة ثقة 95%: 0.78–1.0). وتُعاد التشغيلات المسجلة عبر المقيّمات في 4 ثوانٍ بدل 18 دقيقة من عمل GPU، وتفشل بوابة CI إذا تغيّر عدّاد أي مقيّم، بعد أن أظهر اختبار أن نسختها الأولى تمرّر البناء ومقيّم حرج معطَّل. كل رقم في اللوحة الحية أعيد تقييمه بالكود الحالي، ويحتفظ ملف README بالقياسات التي تبيّن خطؤها مع السبب.
ماذا يفعل
- متجر محاكى ووكيل دعم يبحث عن الطلبات ويقرأ السياسات ويرد المبالغ ويلغي الطلبات ويصعّد إلى مشرف؛ وتغطي 24 حالة الاستردادات وحدود الصلاحية والخصوصية وحقن التعليمات المزروع داخل نتائج الأدوات
- مقيّمات حتمية تقرر من سجل الأفعال ما الأموال التي تحركت، وهل جرت محاولة لفعل محظور، وهل تسربت بيانات عميل آخر، وهل استدعاءات الأدوات سليمة؛ مع إبقاء مقياسين منفصلين: صحيح تماماً، ولا شيء خطير
- نموذج حَكَم واحد لجودة الرد، مَقيس بمعامل كابا لكوهين وفترة bootstrap مقابل خمسة مقيّمين عُمي من النماذج رأوا بالضبط ما رآه الحَكَم
- تُعاد التشغيلات المسجلة عبر المقيّمات دون نموذج؛ وتقارن بوابة CI عدّادات كل مقيّم بخط أساس، ولوحة من ملف واحد تعيد تقييم كل تشغيل قبل عرضه
الخطوة التالية
تبحث عن مطوّر Full-Stack أو Python — أو تحتاج إلى بناء شيء مشابه؟ لنتحدث.
منفتح على عروض العمل — حضورياً أو بنظام هجين في موسكو، أو عن بُعد؛ بدوام كامل أو بعقد. أردّ خلال 48 ساعة — وأسرع عبر Telegram.