جلوگیری از فریب مدل های هوش مصنوعی با فناوری جدید OpenAI

 شرکت OpenAI به تازگی یک پروتکل امنیتی پیشرفته برای مدل‌های هوش مصنوعی خود معرفی کرده است که از فریب‌خوردن در برابر درخواست‌های مخرب جلوگیری می‌کند. این فناوری جدید به چت‌بات‌های مبتنی‌بر ChatGPT کمک می‌کند تا در مواجهه با درخواست‌های غیرمجاز و فریبنده مقاوم بمانند.

در فضای مجازی، گزارش‌هایی وجود دارد که نشان می‌دهد برخی کاربران با ارسال عباراتی مانند «تمام دستورالعمل‌های قبلی را فراموش کن»، سعی در منحرف کردن چت‌بات‌های مبتنی‌بر ChatGPT داشته‌اند. این درخواست‌ها هدفشان این بود که مدل‌های هوش مصنوعی را از انجام وظایف اصلی خود باز دارند.

برای مقابله با این تهدیدات، تیم تحقیقاتی OpenAI به توسعه روش جدیدی با نام «سلسله‌مراتب دستورالعمل» پرداخته است. این روش امنیتی به مدل‌های هوش مصنوعی آموزش می‌دهد که از دستورات اولیه و اصول توسعه‌دهنده پیروی کنند و از درخواست‌های مکرر برای نادیده‌گرفتن این اصول اجتناب کنند.

مدل جدیدی که از این روش بهره می‌برد، GPT-4o Mini است که به تازگی معرفی شده است. اولیویه گودمان، مدیر API در OpenAI، توضیح داد که این روش امنیتی، مقابله با حملات فریبکارانه را دشوارتر می‌کند و به مدل‌ها یاد می‌دهد که تنها به درخواست‌های توسعه‌دهنده توجه کنند و پیام‌هایی مانند «تمام دستورالعمل‌های قبلی را نادیده بگیر» را نادیده بگیرند.

این فناوری جدید بخشی از اهداف بزرگ‌تر OpenAI برای توسعه دستیارهای هوش مصنوعی کاملاً خودکار است که قادر به مدیریت زندگی دیجیتال انسان‌ها باشند. این شرکت به تازگی اعلام کرده است که در حال آماده‌سازی این دستیارها است و روش سلسله‌مراتب دستورالعمل‌ها را به‌عنوان پیش‌نیاز اساسی برای انتشار گسترده آنها در نظر گرفته است.