يمكن لمؤشر الليزر مهاجمة سيارات الطيار الآلي.

ما مدى سهولة مهاجمة نماذج الذكاء الاصطناعي؟

يكفي شعاع الليزر!

في الآونة الأخيرة ، نشر خبير من Ali Security دراسة جديدة من شأنها أن تجعل نماذج الذكاء الاصطناعي لم تعد صالحة ببساطة مؤشر الليزرفي هذه الدراسة ، قاموا بتصميم خوارزمية لمحاكاة الحزمة التي "تهاجم" نموذج الذكاء الاصطناعي. تم التحقق من صحة طريقة الاختبار هذه في العالم الحقيقي ، ومن السهل جدًا تشغيل "الهجوم". إنه أكثر خطورة على الأنظمة المرئية القائمة على الذكاء الاصطناعي ، مثل القيادة التلقائية القائمة على رؤية الذكاء الاصطناعي.

عندما تصطدم أشعة من أطياف مختلفة بنفس الكائن ، قد يخطئ الذكاء الاصطناعي في التعرف عليه ، مثل التعرف على علامة التوقف على أنها تمريرة.

من الصعب أن نتخيل أنه إذا كان الشخص مستريحًا وعينيه مغمضتين في سيارة قيد التشغيل ، وكان الذكاء الاصطناعي يعرف "الخطر أمامه" على أنه "السفر" ثم يسقط مباشرة في منحدر ، أو لا يستطيع التعرف على المشاة أمامه ، فسيكون ذلك بمثابة كابوس للمشاة.

أيضًا ، عندما تتداخل كاميرا السيارة بواسطة a شعاع الليزر، تم تحديد عربة الترام على أنها برمائيات وعلامة الشارع على أنها موزع صابون.

"مهاجمة الذكاء الاصطناعي لا تتطلب عينات من الإجراءات المضادة من صنع الإنسان. يمكن لمؤشر ليزر بسيط القيام بذلك. نريد استخدام هذا البحث للكشف عن بعض "الأخطاء" في نماذج الذكاء الاصطناعي التي لم يتم استكشافها من قبل ، وذلك للذكاء الاصطناعي "القوي" ، بحيث يمكنه تحمل هذا النوع من "الهجوم" في المستقبل ، ولجعل الممارسين المعنيين يعلقون أهمية على تحسين أمان نماذج الذكاء الاصطناعي. "قال رئيس مختبر علي للأمن تورينج.

من المعروف أن أداء التعرف على الصور في التعلم المتعمق يتأثر في ظل ظروف إضاءة معينة ، ولكن كيف يمكن اكتشاف إمكانية التعلم المتعمق مع تداخل الليزر؟

"هناك سببان رئيسيان. من ناحية أخرى ، أدت معظم الهجمات المادية السابقة إلى حدوث خطأ في التعرف على النموذج من خلال التمسك بالتصحيح ، مما يؤدي إلى حدوث تداخل اصطناعي. نحن نفكر في ما إذا كانت هناك أشكال هجوم أخرى يمكنها مهاجمة التعرف على الصور (ينبعث الليزر من الليزر عندما يحتاج إلى الهجوم ، ولا يحتاج التصحيح إلى الالتصاق) ؛ من ناحية أخرى ، في عام 2016 ، كانت هناك قيادة سيارات معروفة لقد تم استلهام النظام من التحديد الخاطئ لحوادث السيارات المميتة في الطقس الساطع ، مما جعلني أتساءل عما إذا كانت بعض ظروف الإضاءة الشديدة بحد ذاتها يمكن أن تشكل تهديدًا لأنظمة الذكاء الاصطناعي. "

في الوقت الحالي ، تم تضمين هذه الورقة حول علي الأمن مؤخرًا في CVPR 2021: وصلة

الهجوم المضاد بالليزر هو أكثر من مجرد ارتكاب أخطاء في التعرف على الصور ، فمن خلال تغيير الطول الموجي لليزر ، يمكن أيضًا أن تتغير نتيجة التعرف على الصور باستمرار ، على سبيل المثال ، يمكن التعرف على ثعبان الملك على أنه الجوارب ، والطاولة ، والميكروفون ، والأناناس ، والمامبا الخضراء والذرة وغيرها تحت تدخل الليزر الأرجواني ل الليزر الأحمر.

و… هوت دوج !!!

من المفهوم أن المتغيرات التي يمكن التحكم فيها لليزر نفسه ليست فقط الطول الموجي ، ولكن أيضًا عرض شعاع الليزر وشدته ، والتي سيكون لها بعض التأثير على نتائج التداخل في التعرف على الصور.

بعض حالات الخطأ في التعريف مثيرة للاهتمام بشكل خاص ، كما ذكرنا أعلاه ، عند استخدام شعاع ليزر أصفر ، يتم تصنيف ثعابين كينج بشكل خاطئ على أنها ذرة ، وهناك بعض أوجه التشابه بين ثعابين الملك ونسيج الذرة.

أيضًا ، تخطئ أشعة الليزر الزرقاء السلاحف على أنها قنديل البحر:

شعاع الليزر الأحمر يمكن أن يخطئ في الراديو لسخان الفضاء.

ثم أجرى الباحثون تجارب مكثفة لتقييم طريقة تداخل حزمة الليزر المقترحة في البحث.

قاموا أولاً بتقييم advlb في صندوق أسود في بيئة تناظرية رقمية - يمكن أن يحقق معدل نجاح هجوم 95.1% على 1000 صورة مصنفة بشكل صحيح من ImageNet.

على وجه التحديد ، لكل صورة ، يقوم الباحثون بإجراء هجوم استعلام الصندوق الأسود (غير قادر على الحصول على النموذج) ، أي الاستعلام عن واجهة برمجة التطبيقات ، وإرجاع النتائج ، وتعديل معلمات الليزر وفقًا للنتائج وتثبيتها على الصورة ، والاستعلام API مرة أخرى لتحديد ما إذا كان الهجوم ناجحًا. من بين 1000 صورة ، يجب الاستعلام عن كل صورة 834 مرة في المتوسط حتى تنجح "نظرًا لأن طريقة الهجوم هذه تنتمي إلى إعداد الصندوق الأسود ، فإنها تحتاج إلى محاولات عديدة. قال يو فنغ ، خبير الخوارزميات في مختبر علي للأمن تورينج. أخيرًا ، يمكن مهاجمة 95.1% من الصور بنجاح ، بينما لا يمكن مهاجمة 4.9% من الصور بنجاح بسبب محدودية مساحة البحث.

ثم قام الباحثون باختبارها في العالم الحقيقي باستخدام الأدوات التالية:

الأداة بسيطة للغاية ، بما في ذلك ثلاثة أقلام ليزر صغيرة محمولة (الطاقة: 5 ميجا واط) - أشعة ليزر منخفضة الطاقة بأطوال موجية تبلغ 450 نانومتر, 532 نانومتر و 680 نانومتر على التوالي ، وجوجل بيكسل 4 لالتقاط الصور.

في الاختبارات الداخلية والخارجية ، حقق الباحثون معدلات نجاح هجوم 100% و 77.43% على التوالي.

كما هو موضح في الشكل أدناه ، في الاختبار الداخلي ، تشتمل الكائنات المستهدفة على القوقع والموز وعلامة التوقف. تُظهر الصورة في العمود الأوسط نتائج المحاكاة الرقمية ، وتُظهر الصورة في العمود الثالث نتائج الاختبار الداخلي. يمكن العثور على أن نتائج الاثنين متسقة.

التالي هو الاختبار الخارجي. استخدم الباحثون علامة التوقف لاختبار معدل النجاح الإجمالي للهجوم وهو 77.43%. ومن المتوقع أن يؤدي معدل النجاح هذا إلى اصطدام سيارة الطيار الآلي الشهيرة بالسماء.

تثبت هذه النتائج كذلك تهديد شعاع الليزر للعالم الحقيقي.

قد يتم الخلط بين بعض القراء. كيف تفعل ذلك في العالم الحقيقي باستخدام تداخل الليزر؟ بعد كل شيء ، الليزر له تجمع وليس من السهل تشتيته. بشكل عام ، من الصعب رؤية مسار الشعاع من الجانب ، ناهيك عن السطوع الواضح في الصورة أعلاه.

وفي هذا الصدد ، أوضح لنا الباحث: "في البداية ، نظرنا في تأثير الضوء dingdal. أثناء عملية تصوير أي كائن ، أخذنا مسارات ضوئية في نفس الوقت ، ولكن نظرًا لضعف طاقة مسارات الضوء ، فإن البيئة المظلمة مطلوبة بالفعل في هذه الحالة. هناك طريقة أخرى وهي وضع فتحة ضوئية على رأس قلم الليزر ، والتي يمكن أن تضرب مباشرة على الجسم. نظرًا لأن الطاقة في تركيز الليزر قوية ، يكون لها تأثير معين طالما أنها ليست قوية للغاية في الإضاءة الخارجية ، وهو ما يشبه إشارات المرور في النهار. على الرغم من أنه أضعف مما هو عليه في الظلام ، إلا أنه لا يزال يتمتع بالرؤية. لكننا نفكر بشكل أساسي في "السلامة الليلية". "

على سبيل المثال ، يوضح الشكل التالي مسار الشعاع الذي يُرى من جانب الليزر تحت تأثير Dindal.

أثناء التجربة ، وجد الفريق أن الشعاع لديه معدل نجاح مرتفع ضمن نطاق معين (كما هو موضح في الرسم البياني الديناميكي أدناه) ، لذلك يمكنه أيضًا التكيف مع البيئة الديناميكية في العالم الحقيقي إلى حد معين. من منظور الأمان ، يمكن أيضًا استخدام طريقة الهجوم هذه كاكتشاف محاكاة لاختبار ما إذا كان النموذج آمنًا بدرجة كافية في ظل هذه الحالة.

يوضح الشكل التالي مشهد اصطدام الليزر بإشارات المرور عبر الشقوق الضوئية:

ثم هناك مشاهد داخلية وخارجية تحت ضوء النهار:

بعد تحليل خطأ توقع DNN الناجم عن شعاع الليزر ، وجد الباحثون أن أسباب الخطأ يمكن تقسيمها تقريبًا إلى نوعين:

أولاً ، تغير خصائص لون شعاع الليزر الصورة الأصلية وتقدم أدلة جديدة لـ DNN. كما هو مبين في الشكل أدناه ، عندما يشع شعاع الليزر بطول موجة يبلغ 400 نانومتر "القنفذ" ، تتحد شوكة القنفذ مع اللون الأرجواني الذي يقدمه شعاع الليزر لتشكيل ميزة مماثلة لـ "الشوك الشوكي" ، مما ينتج عنه في خطأ التصنيف.

ثانيًا ، يقدم شعاع الليزر بعض الميزات الرئيسية لفئة معينة ، خاصة تلك المتعلقة بالإضاءة ، مثل "الشموع". عندما يظهر شعاع الليزر والجسم المستهدف في نفس الوقت ، قد يكون DNN أكثر ميلًا إلى الميزات التي يقدمها شعاع الليزر ، مما يؤدي إلى أخطاء التصنيف. أو كما هو موضح في الشكل أعلاه ، فإن شعاع الليزر الأصفر نفسه يشبه قضيب الممسحة ، والذي يضلل DNN لتحديده على أنه "ممسحة".

"أهم عامل هو" شدة "الليزر. كلما كان الليزر أقوى ، زادت إمكانية التقاط الكاميرا له ". قال الباحث.

تستخدم معظم طرق الهجوم المادي الحالية طريقة "اللصق" ، أي أن الاضطراب المضاد يُطبع على هيئة ملصق ، ثم يُلصق على الكائن المستهدف.

على سبيل المثال ، قم فقط بطباعة ملاحظة منقوشة باستخدام طابعة عادية ولصقها على جبهتك ، يمكنك ارتكاب خطأ في نظام التعرف على الوجوه.

أو استخدم "مانع التصحيح" لجعل نظام الكشف عن الهدف لا يرى أن الناس هم بشر.

بالطبع ، هذه الأساليب مرهقة نسبيًا ، وقد يكون أبسطها هو لصق ملصقات صغيرة بالأبيض والأسود على لافتات وقوف السيارات.

أصبح التعلم متعدد الوسائط نقطة ساخنة للبحث في مجال الذكاء الاصطناعي في السنوات الأخيرة ، ولكن سرعان ما ظهرت هجمات ضد النماذج متعددة الوسائط.

على سبيل المثال ، يمكن لنموذج المقطع الذي اقترحه openai إنشاء تفسير نصي للصور ، ووجد أن هناك خلايا عصبية متعددة الوسائط في شبكتها ، والتي يمكنها تنشيط الصورة والنص لنفس الشيء في نفس الوقت. على سبيل المثال ، عندما تم إرفاق ملصق يحمل اسم "iPod" بتفاحة Granny Smith هذه ، قام النموذج بتحديده بشكل غير صحيح على أنه iPod في إعداد العينة الصفرية.

يسمي أوبناي هذه الهجمات بالهجمات المطبعية. من وجهة نظرهم ، فإن الهجوم الموصوف أعلاه ليس بأي حال من الأحوال اعتبارًا أكاديميًا. باستخدام وظيفة قراءة النص القوية للنموذج ، يمكن حتى لصور الكلمات المكتوبة بخط اليد في كثير من الأحيان خداع النموذج. مثل "التصحيح المضاد" ، فإن هذا الهجوم فعال أيضًا في المشاهد الميدانية. لكن على عكس مثل هذه الهجمات ، فهو يحتاج فقط إلى قلم وورقة.

الهجوم القائم على الليزر ليس بسيطًا فحسب ، ولكنه أيضًا أكثر صعوبة بسبب خصائص الضوء. يحذر الباحثون من أنه يمكن للناس الهجوم من مسافة طويلة مباشرة قبل التقاط الكاميرا للهدف المستهدف المهاجم ، لذلك من المستحيل منعه!

عندما تقترب المركبة ذاتية القيادة من لافتة التوقف ، حتى إذا تعذر التعرف على لافتة التوقف في وقت قصير ، فقد يؤدي ذلك إلى وقوع حوادث مميتة.

وأشار الباحثون أيضًا إلى أن طريقة الهجوم هذه مفيدة بشكل خاص في دراسة التهديدات الأمنية للنظام البصري في ظل ظروف الإضاءة المنخفضة. يوضح الشكل التالي مزايا هجوم الليزر في ظل ظروف الإضاءة السيئة. يمكن تطبيقه على كل من البيئات الرقمية والفيزيائية ، وهو أيضًا ميزته.

لذلك ، باختصار ، يتميز هجوم شعاع الليزر بخصائص الإخفاء ، واللحظية ، والضوء الضعيف ، والتطبيق متعدد البيئات.

وأشار الباحثون إلى أن أسلوب الهجوم الحالي لا يزال يعاني من بعض النواقص. أحدها أنه سيظل محدودًا عند الهجوم في بيئة ديناميكية ، لكن من الصعب التنبؤ بمدى تطوره في المستقبل.
لطالما وجد أن التعرف على الصور حساس للموضع والزاوية والإضاءة (الضوء الطبيعي والضوء الاصطناعي) وغيرها من الظروف. هل جوهر التعرف على صور التداخل بالليزر أقرب إلى هذه الحساسية أم إلى مقاومة الهجمات؟

في هذا قال زاك: "في الحقيقة ، كلاهما ليسا متناقضين. يمكن أن تؤثر الهجمات المضادة على إخراج النموذج من خلال التداخل وفقًا لنية المهاجم. عندما يكون معدل نجاح الهجوم مرتفعًا جدًا ، يجب أن نعتبر هذه الطريقة بمثابة تهديد أمني لتقليل مخاطر الأمان المحتملة للنموذج في المستقبل. هجومنا أقرب إلى الحساسية ، أو التعميم ، لأنه حتى الليزر ينتمي إلى نوع من ظروف الإضاءة. في عملية الهجوم ، لم نضف تداخلًا اصطناعيًا آخر ، بل مجرد شعاع من الضوء. "