أطلق الباحثون اسم "Nightshade" على الأداة، تيمناّ بعائلة النباتات التي تُعرف بتوتها السام، إذ تُمكن الأداة الأعمال الفنية من "تسميم" البيانات المُستخدمة لتدريب الذكاء الاصطناعي بمعلوماتٍ غير صحيحة، إذا ما حاول أحدهم استخدامها كنموذجٍ للتدريب.
ووفقاً لتقريرٍ صادرٍ عن مجلة "MIT’s Technology Review"، تقوم الأداة يتعديل البكسلات الموجودة في الصورة الرقمية من أجل خداع نظام الذكاء الاصطناعي ودفعه لتفسيرها بشكلٍ خاطئ.
على سبيل المثال، ذكرت مجلة "Tech Review" أن الأداة قادرة على إقناع الذكاء الاصطناعي بأن الصور التي تُظهر قطة هي في الواقع صورة لكلب، وبالعكس.
نظرياً، يُمكن أن يتسبب القيام بذلك بإضعاف قدرة الذكاء الاصطناعي على توليد مخرجات دقيقة وحساسة. وباستخدام المثال أعلاه، إذا طلب المستخدم صورة “قطة” من الذكاء الاصطناعي الملوث، فقد يحصل بدلاً من ذلك على صورة لكلب أو صورة لمزيجٍ من جميع “القطط” الموجودة ضمن بيانات الذكاء الاصطناعي، بما في ذلك تلك الصور التي هي في الواقع تُظهر كلاباً، إلا أنه تم تعديلها بواسطة أداة "Nightshade".
صرّح الأستاذ في جامعة كورنيل، فيتالي شماتيكوف، الذي اطلع على آلية العمل الأداة، أن الباحثين “لا يعرفون بعد أي دفاعاتٍ قوية ضد هذه الهجمات”. مما يعني أن حتى النماذج القوية مثل "ChatGPT" الذي أطلقته "OpenAI" قد تكون معرضة للخطر.
يرأس فريق البحث المسؤول عن Nightshade ، البروفيسور في جامعة تشيكاغو، "بن تشاو". وفي الواقع، إن الأداة الجديدة هي امتداد لبرنامج حماية الفنانين الحالي "Glaze" .
ففي السابق، تمكّن الفريق من تصميم طريقةٍ يُمكن للفنانين من خلالها تشويش أو “تزجيج” أسلوب أعمالهم الفنية.
على سبيل المثال، يمكن للفنانين تُزجيج أعمالهم الفنية المرسومة بالفحم لتظهر لنظام الذكاء الاصطناعي على أنها فن معاصر.
