نشر الرئيس التنفيذي لشركة Microsoft، ساتيا ناديلا، مقالاً جديداً يرى فيه أن الأنظمة المسماة Super Intelligence هي صناديق سوداء لا ينبغي للشركات أن تثق بها، وأنه يجب إحاطتها بأنظمة حتمية قوية بمجرد نشرها. وقد شارك المقال الذي حمل عنوان «Models as Insider Risks in the Super Intelligence Era» من حسابه، وسرعان ما التقطته منصتا Techmeme وThe Decoder.
الفكرة الجوهرية بسيطة: النماذج الحالية لا تتيح أي طريقة لفهم سبب إنتاجها إجابة أو قراراً معيناً، ومع ذلك فهي موصولة بالفعل ببيانات حساسة وممنوحة صلاحية اتخاذ إجراءات بالغة الأهمية. وليس جواب ناديلا نموذجاً أفضل، بل تحكماً أكثر إحكاماً حول أي نموذج يُستخدم.
تحذير ناديلا بشأن Super Intelligence مشروحاً
يكتب ناديلا: «ليس لأنها بالضرورة خبيثة، بل لأن أي فاعل قادر بما يكفي ولديه وصول إلى أنظمة مهمة قد يخطئ أو يُخترق، وعلى هندسة الاحتواء والتحكم أن تأخذ ذلك في الحسبان»، وهو بذلك يصنّف النماذج ضمن التهديدات الأمنية الداخلية لا ضمن المهاجمين الخارجيين.
يتمثل الحل الذي يقترحه في الفصل بين الذكاء والتحكم في ذلك الذكاء. فالنظام الأكثر جدوى بالثقة، كما يقول، ليس النظام الذي يملك أفضل نموذج، بل النظام الذي تكون فيه مضطراً إلى الوثوق بالنموذج بأقل قدر ممكن. ويشير أيضاً إلى أن Google DeepMind أثارت مخاوف مماثلة بشأن التعامل مع النماذج كأخطار داخلية محتملة.
- تنويع النماذج بدل الاعتماد على مزوّد واحد
- تسجيل كامل لكل إجراء يقوم به النموذج
- تدقيق مستقل في سلوك النموذج
- إمكانية إيقاف الأنظمة من قبل البشر في أي وقت
