خلاصه مقاله
محققان روشی نوین به نام CAMIA ساختند که با بررسی رفتار توکنبهتوکن مدلهای زبانی بزرگ، دقیقاً تشخیص میدهد آیا دادهای در مرحله آموزش دیده است یا نه؛ این روش دوبرابر دقیقتر از روشهای قبلی است و خطر لو رفتن اطلاعات خصوصی کاربران را جدیتر میکند.
مقدمه
وقتی متن خصوصیتان بدون اطلاع شما وارد مجموعه آموزش یک مدل هوش مصنوعی شود، ممکن است همان متن بعداً بهصورت کامل یا بخشی از آن، در پاسخهای تولیدشده ظاهر شود؛ حمله CAMIA بهتازگی ثابت کرده این خطر دیگر تئوری نیست و باید جدی گرفته شود.
نگرانی اصلی: حافظه پنهان مدلها
مدلهای زبانی بزرزگ در لحظه تولید متن، گاهی عین جملاتی را که آموزش دیدهاند، بازتولید میکنند؛ این «حفظ حافظه» در حوزه سلامت میتواند منجر به افشای اطلاعات بیمار شود و در حوزه کسبوکار، ایمیلهای داخلی شرکتها را فاش کند.
مثال واقعی
لینکدین اخیراً اعلام کرده برای بهبود هوش مصنوعی خود از دادههای کاربران استفاده خواهد کرد؛ همین موضوع نگرانیها را درباره احتمال بازگردانی محتوای خصوصی تشدید کرده است.
حمله CAMIA چیست و چرا متفاوت است؟
CAMIA مخفف Context-Aware Membership Inference Attack است؛ این حمله برخلاف روشهای قدیمی که فقط یک خروجی کلی را بررسی میکردند، توکنبهتوکن متن را دنبال میکند و لحظهای که مدل از حالت «ح guess» به «یادآوری مطمئن» تغییر میکند را ثبت مینماید.
چرا بررسی توکنبهتوکن اهمیت دارد؟
در جمله «هری پاتر نوشته شده توسط» قطعاً کلمه بعدی «پاتر» است و اطمینان بالا به معنی حفظاظهری نیست؛ اما اگر فقط «هری» داده شود و مدل با اطمینان «پاتر» پیشبینی کند، احتمالاً آن را از حافظه آموزشی خوانده است؛ CAMIA همین تفاوت ظریف را شناسایی میکند.
عملکرد CAMIA در آزمونهای واقعی
محققان این روش را روی مجموعه داده ArXiv و مدل ۲.۸ میلیارد پارامتری Pythia آزمایش کردند؛ نتیجه دقیقاً دو برابر بهتر از بهترین روش قبلی بود.
جدول مقایسه دقت
| روش | نرخ تشخیص درست (%) | نرخ خطای مثبت (%) |
|---|---|---|
| روش قبلی | ۲۰٫۱۱ | ۱ |
| CAMIA | ۳۲ | ۱ |
سرعت و کاربرد practically
بررسی هزار نمونه متن با یک کارت گرافیک A100 فقط ۳۸ دقیقه زمان میبرد؛ این یعنی شرکتها میتوانند بهراحتی مدلهای خود را حسابرسی کنند تا ببینند دادههای حساس را فراموش کردهاند یا نه.
پیام به صنعت AI
این پژوهش بار دیگر ثابت میکند که افزایش بیمحابای حجم دادههای آموزشی، بدون فیلترینگ و حفاظت کافی، در نهایت به افشای اطلاعات خصوصی منجر میشود؛ توسعه روشهای حفظ حریم خصوصی از جمله حذف دادههای حساس پس از آموزش (unlearning) یا رمزگذاری همزمان (federated learning) اکنون ضروریتر از همیشه است.