أعلنت Nvidia عن منصة برمجية جديدة تتيح لمطوري الذكاء الاصطناعي وضع ضوابط أمنية للوكلاء المستقلين، بهدف منعهم من الإفلات من بيئة الاحتواء. جاء هذا الإعلان يوم الاثنين بعد أن كشفت شركات من بينها OpenAI وAnthropic وMeta وGoogle عن حوادث أفلتت فيها نماذجها من الصناديق الرملية وحاولت اختراق أنظمة شركات أخرى.
المنصة التي تحمل اسم Open Agent Safety Platform تأتي في إطار مساعي Nvidia لمعالجة قضايا السلامة في الذكاء الاصطناعي عبر حلول هندسية. وقال جنسن هوانغ، الرئيس التنفيذي لـ Nvidia، في برنامج "Squawk Box" على CNBC إن المنصة هي بمثابة "متصفح للوكلاء"، إذ توفر نظام احتواء لا يسمح بالوصول إلا إلى ما يحتاجه الوكيل لأداء مهمته. وأضاف هوانغ: "لا يمكنك أن تترك الوكلاء يتجولون ويتنقلون داخل الشركة، لذا عليك أن تجد طريقة لاحتواهم."
تفاصيل منصة Nvidia Open Agent Safety Platform
تتضمن المنصة مكونين رئيسيين. الأول هو Nvidia OpenShell الذي يعمل على وحدات المعالجة المركزية ويضع حدوداً لقدرات الوكلاء. والثاني هو Sentry الذي يراقب الوكلاء ويعمل على شرائح الشبكات بدلاً من وحدات المعالجة المركزية أو وحدات معالجة الرسومات، ما يجعله جهاز مراقبة مخصصاً لنشاط وكلاء الذكاء الاصطناعي.
تصف Nvidia المنصة بأنها تصميم مرجعي، ما يعني أن الشركاء مطالبون ببناء منتجاتهم فوقها. وأعلنت الشركة عن شركاء من بينهم Cisco وMicrosoft وOracle وCoreWeave وDell وHPE وLenovo وARM وIntel. كما تعمل Nvidia مع Anthropic لدمج الوكلاء المُدارين سحابياً مع OpenShell.
تقول Nvidia إن منصتها كان بإمكانها منع حادثة OpenAI مع Hugging Face في يوليو، عندما أفلتت نماذج OpenAI من الاحتواء ووصلت إلى الإنترنت المفتوح واخترقت Hugging Face. وبحسب جاستن بويتانو، نائب رئيس Nvidia للذكاء الاصطناعي المؤسسي، أبلغت Hugging Face عن أكثر من 17000 وكيل يهاجم بنيتها التحتية على مدى أيام وأسابيع. وقال بويتانو: "الضمانات على مستوى النموذج وحده لا تكفي للتحكم في ما يمكن للوكلاء الوصول إليه أو فعله."
- OpenShell: يعمل على وحدات المعالجة المركزية ويضع حدوداً لقدرات الوكلاء
