حمله جدید ConfusedPilot سیستم های هوش مصنوعی را با مسموم کردن داده ها هدف قرار می دهد

یک روش جدید حمله سایبری به نام ConfusedPilot که سیستم های هوش مصنوعی مبتنی بر RAG مانند Microsoft 365 Copilot را هدف قرار می دهد، توسط محققان دانشگاه تگزاس در آزمایشگاه SPARK در آستین شناسایی شده است.

این تیم به رهبری پروفسور Mohit Tiwari، مدیر عامل Symmetry Systems، فاش کرد که چگونه مهاجمان می توانند پاسخ های تولید شده توسط هوش مصنوعی را با درج محتوای م،ب در اسناد مرجع هوش مصنوعی دستکاری کنند.

این ممکن است منجر به اطلاعات نادرست و تصمیم گیری ضعیف در سراسر سازمان ها شود.

با توجه به اینکه 65 درصد از شرکت های Fortune 500 سیستم های مبتنی بر RAG را اتخاذ کرده یا برای پیاده سازی آن برنامه ریزی می کنند، پتانسیل ایجاد اختلال گسترده زیاد است.

روش حمله ConfusedPilot فقط به دسترسی اولیه به محیط هدف نیاز دارد و می تواند حتی پس از حذف محتوای م،ب ادامه یابد.

محققان همچنین نشان دادند که این حمله می تواند اقدامات امنیتی موجود در هوش مصنوعی را دور بزند و نگر، هایی را در سراسر صنایع ایجاد کند.

ConfusedPilot چگونه کار می کند

• مسمومیت محیط داده: مهاجم محتوای ساخته شده ویژه را به اسناد نمایه شده توسط سیستم هوش مصنوعی اضافه می کند
• بازیابی اسناد: هنگامی که یک پرس و جو ایجاد می شود، هوش مصنوعی سند آلوده را علامت گذاری می کند
• تفسیر نادرست هوش مصنوعی: هوش مصنوعی از محتوای م،ب به ،وان دستورالعمل استفاده می کند، که ممکن است اطلاعات قانونی را نادیده بگیرد، اطلاعات نادرست تولید کند، یا پاسخ آن را به اشتباه به منابع قابل اعتماد نسبت دهد.
• ثبات: حتی پس از حذف سند م،ب، ممکن است اطلاعات ،اب همچنان در سیستم باقی بماند

این حمله برای سازمان های بزرگی که از سیستم های هوش مصنوعی مبتنی بر RAG استفاده می کنند، که اغلب به چندین منبع داده کاربر متکی هستند، نگران کننده است.

این امر خطر حمله را افزایش می دهد زیرا هوش مصنوعی را می توان با استفاده از اسناد به ظاهر بی ضرر اضافه شده توسط خودی ها یا شرکای خارجی دستکاری کرد.

استفان ،کی، CTO Field در SlashNext توضیح داد: «یکی از بزرگ ترین خطرات برای رهبران ،ب وکار، تصمیم گیری بر اساس داده های نادرست، پیش نویس یا ناقص است که می تواند منجر به از دست رفتن فرصت ها، از دست دادن درآمد و آسیب دیدن شهرت شود.

حمله ConfusedPilot با نشان دادن اینکه چگونه سیستم های RAG می توانند توسط محتوای م،ب یا گمراه کننده در اسنادی که در ابتدا به سیستم RAG ارسال نشده اند دستکاری شوند، این خطر را برجسته می کند و باعث می شود پاسخ های تولید شده توسط هوش مصنوعی به خطر بیفتد.

درباره امنیت هوش مصنوعی سازم، بیشتر بخو،د: متخصصان فناوری شکاف مهم در مهارت های امنیتی هوش مصنوعی را برجسته می کنند

استراتژی های کاهش

برای دفاع در برابر ConfusedPilot، محققان موارد زیر را توصیه می کنند:

• کنترل های دسترسی به داده ها: محدود ، افرادی که می توانند اسناد ارجاع شده توسط سیستم های هوش مصنوعی را آپلود یا ویرایش کنند
• ممیزی داده ها: بررسی های منظم برای اطمینان از یکپارچگی داده های ذخیره شده
• ت،یم بندی داده ها: جداسازی اطلاعات حساس برای جلوگیری از انتشار داده های به خطر افتاده
• ابزارهای امنیتی هوش مصنوعی: از ابزارهایی استفاده کنید که ،وجی هوش مصنوعی را برای ناهنجاری ها نظارت می کنند
• کنترل انس،: قبل از اتخاذ تصمیمات مهم، از بازبینی انس، محتوای تولید شده توسط هوش مصنوعی اطمینان حاصل کنید

آمیت زیمرمن، یکی از بنیانگذاران و مدیر تولید Oasis Security توضیح داد: «برای ادغام موفقیت آمیز ابزارهای امنیتی و اتوماسیون مبتنی بر هوش مصنوعی، سازمان ها باید کارایی این ابزارها را در زمینه های خاص خود ارزیابی کنند.

تیم ها به جای اینکه تحت تأثیر ادعاهای بازاریابی قرار گیرند، باید ابزارها را در برابر داده های دنیای واقعی آزمایش کنند تا اطمینان حاصل کنند که بینش های عملی ارائه می دهند و تهدیدات نادیده قبلی را کشف می کنند.»