قد تكون الشبكات العصبية أسهل بكثير في الفهم مما افترضه مجال الذكاء الاصطناعي لسنوات. في مقال مطوّل جديد، يقول نيك كاماراتا، الباحث في شركة Goodfire، إن معظم الخلايا العصبية في النماذج التي تصل إلى تريليونات المعامل قابلة للتفسير بالفعل، وإن آفاق التفسير الميكانيكي أفضل بكثير مما كان يخشاه. وقد رصدت منصة Techmeme هذا المقال.
تكتسب هذه الفكرة أهميتها لأن التفسير أحد أكبر المشكلات المفتوحة في أمان الذكاء الاصطناعي. فإذا تمكن الباحثون من قراءة الأجزاء الداخلية للشبكة مباشرة، فقد لا يضطرون إلى تدريب نموذج ثانٍ فقط لفكّ تشابكها أولاً. ويصف كاماراتا ذلك بأنه خبر سار: فالشبكات العصبية، بحسب تعبيره، «نظيفة» بالفعل.
الاعتراض على فكرة التراكب (superposition)
كان القلق القديم في هذا المجال هو تعدد الدلالات: خلايا عصبية تبدو وكأنها تتقاسم عدة مهام غير مترابطة. وكان «التراكب» التفسير الأبرز، إذ يفترض أنه عندما تنفد الخلايا العصبية لدى الشبكة فإنها تطوي مفاهيم غير مترابطة معًا، وأن العقد الناتجة عشوائية وصعبة القراءة.
يقول كاماراتا الآن إن الأدلة الكلاسيكية لهذا الرأي أُسيء قراءتها. فالمثال الشهير لـ InceptionV1، حيث لم تبدُ أي خلية تقريبًا في الطبقة الأخيرة قابلة للتفسير، كان سببه مشكلات معمارية جعلت الطبقات اللاحقة تفيض، لا التراكب. كما ضاعفت أدوات التفسير الضعيفة من الالتباس.
ومع إصلاحات معمارية عادية، ودون تغيير في حجم النموذج أو بيانات التدريب، يقول إن 99-100% من الخلايا في الطبقة الأخيرة نفسها أصبحت الآن قابلة للتفسير بسهولة، وإن النموذج مقروء بشكل عام من طرف إلى طرف. وقد درّب نسخًا عبر نطاق حجمي يبلغ 300 ضعف، ويقول إنها تظل مقروءة عند كل مقياس.
- الرأي القديم: مفاهيم غير مترابطة تُحزم معًا، لذا يجب فكّ تشابك الشبكات قبل دراستها.
- الادعاء الجديد: ما بدا وكأنه حزم هو في الغالب تعميم تكراري، وهو نمط أقل إثارة للقلق.
- الطبقة الأخيرة في InceptionV1: من لا خلايا قابلة للتفسير تقريبًا إلى 99-100%، بعد إصلاحات معمارية.
