به گزارش >>اقتصادآنلاین، چت‌بات‌های هوش مصنوعی، که زمانی صرفاً ابزار‌های خلاقانه برای کمک به مکالمات روزمره و تولید محتوا تلقی می‌شدند، حالا به دغدغه امنیتی دولت‌ها، پژوهشگران و کارشناسان فناوری بدل شده‌اند. گزارشی که به‌تازگی توسط محققان امنیت سایبری منتشر شده و گاردین آن را بازتاب داده، نشان می‌دهد نسخه‌های جیلبریک‌شده از مدل‌های زبانی بزرگ مانند ChatGPT و Gemini می‌توانند اطلاعاتی را ارائه دهند که در حالت عادی توسط هیچ کاربر معمولی قابل دسترسی نیست—از روش‌های ساخت مواد منفجره گرفته تا جزئیات پول‌شویی و تخلفات مالی.
مفهوم «جیلبریک» در حوزه هوش مصنوعی، به معنای عبور از محدودیت‌های طراحی‌شده برای محافظت در برابر سوءاستفاده است. در حالت عادی، چت‌بات‌ها به‌گونه‌ای برنامه‌ریزی شده‌اند که از پاسخ به درخواست‌هایی که می‌توانند مضر، غیرقانونی، تبعیض‌آمیز یا خطرناک باشند، امتناع کنند. اما با طراحی پیام‌هایی خاص، که اغلب به‌صورت سناریو‌های پیچیده و ظاهراً بی‌خطر نوشته می‌شوند—می‌توان این سامانه‌های هوش مصنوعی را فریب داد. این پیام‌ها تضادی را فعال می‌کنند که در قلب سیستم نهفته است، از یک سو چت‌بات می‌خواهد «مفید» باشد، و از سوی دیگر نباید از خطوط قرمز عبور کند.
در آزمایش‌های عملی، محققان موفق شدند با استفاده از تکنیک‌های جیلبریک، چندین چت‌بات شناخته‌شده را وادار کنند به پرسش‌هایی پاسخ دهند که در شرایط عادی مسدود می‌شوند. نکته نگران‌کننده آن‌جاست که این فرآیند نه پیچیده است و نه نیاز به ابزار‌های خاص دارد، یک لپ‌تاپ ساده یا حتی یک تلفن همراه کافی است تا افراد عادی نیز به اطلاعاتی دست پیدا کنند که پیش از این فقط در اختیار دولت‌ها یا شبکه‌های جنایت‌کار سازمان‌یافته بود.
مدل‌های زبانی بزرگ با استفاده از مجموعه‌های عظیمی از متون آنلاین آموزش داده می‌شوند. هرچند تلاش‌هایی برای پاک‌سازی این داده‌ها از محتوای مضر انجام شده، اما در عمل بسیاری از اطلاعات خطرناک، از لابلای هزاران سند و صفحه وب، وارد حافظه مدل‌ها می‌شود. در نتیجه، این مدل‌ها به‌صورت بالقوه حامل دانشی هستند که می‌تواند برای اهداف مجرمانه مورد سوءاستفاده قرار گیرد.
جیلبریک‌ها دقیقاً از همین آسیب‌پذیری بهره می‌گیرند. آنها ساختار مدل را به چالش می‌کشند و با روایت‌هایی غیرمستقیم، محدودیت‌های اخلاقی یا امنیتی را دور می‌زنند. به‌عنوان مثال، ممکن است سناریویی طراحی شود که کاربر نقش یک محقق علمی را ایفا کند و از چت‌بات بخواهد برای یک «مطالعه فرضی» اطلاعاتی درباره ساخت مواد منفجره ارائه دهد. اگر چت‌بات به‌درستی آموزش ندیده باشد یا محافظت‌های لازم فعال نباشد، ممکن است تسلیم شود و اطلاعات را منتشر کند.
این تهدید در دنیایی که روزبه‌روز به سمت اتوماسیون بیشتر و وابستگی به مدل‌های زبانی می‌رود، می‌تواند تبعات فاجعه‌باری داشته باشد. چت‌بات‌ها در حوزه‌هایی مثل آموزش، سلامت، حقوق، امور مالی و حتی دفاع ملی به کار گرفته می‌شوند. اگر امکان دستکاری آنها به این سادگی باشد، هیچ حوزه‌ای از خطر مصون نیست.
محققان هشدار داده‌اند که شرکت‌های فعال در حوزه هوش مصنوعی باید به‌سرعت اقداماتی جدی برای تقویت لایه‌های امنیتی انجام دهند. تنها تکیه بر فیلتر‌های ساده پاسخ کافی نیست؛ بلکه لازم است ساختار‌های چندمرحله‌ای بررسی محتوا، الگوریتم‌های مقاوم در برابر فریب، و نظارت انسانی واقعی بر فرآیند خروجی مدل‌ها پیاده‌سازی شود. به‌ویژه در مدل‌هایی که به‌صورت متن‌باز ارائه می‌شوند یا برای توسعه‌دهندگان قابل تنظیم هستند، این خطر چند برابر است.
همچنین، این یافته‌ها سوالات مهمی را درباره مسئولیت قانونی شرکت‌های توسعه‌دهنده مطرح می‌کند. اگر فردی با کمک یک چت‌بات جرم بزرگی را برنامه‌ریزی یا اجرا کند، چه کسی مسئول است؟ سازنده مدل؟ میزبان سرویس؟ یا کاربری که محدودیت‌ها را دور زده است؟
واقعیت این است که در جهانی که دسترسی به هوش مصنوعی روزبه‌روز گسترده‌تر می‌شود، تهدید‌های نوظهور از دل فرصت‌ها سر برمی‌آورند. آن‌چه امروز صرفاً یک مقاله پژوهشی است، می‌تواند فردا تیتر یک خبر فاجعه‌بار شود. همان‌گونه که اینترنت، با همه مزایایش، به بستری برای جرایم سایبری تبدیل شد، هوش مصنوعی نیز اگر کنترل نشود، می‌تواند ابزار دست گروه‌هایی شود که هیچ علاقه‌ای به اخلاق، امنیت یا شفافیت ندارند.
پژوهشگران تأکید می‌کنند زمان برای اقدام محدود است. در رقابت تسلیحاتی آینده، ممکن است هیچ‌کس اسلحه در دست نداشته باشد، اما هرکسی که یک چت‌بات هک‌شده در اختیار دارد، به اندازه کافی خطرناک خواهد بود.