OpenAI فاش کرده است که یک مدل تحقیقاتی داخلی پس از تمام شدن پول در اواسط راه از طریق یک تکلیف کدگذاری، وجوهی را از یک کیف پول رمزنگاری که مالک آن نبود، دریافت کرده است - با ارزیابی اصول اخلاقی در استدلال خود، تصمیم گیری در مورد اینکه وجوه "به طور موثر رها شده اند" و به هر حال از آنها استفاده می کند.
با توجه به CoinDesk که گزارش حادثه شرکت را بررسی کرد، این مدل بخشی از خانواده GPT-5.6 Sol بود و در حال گذراندن دوره آموزشی بود که این حادثه در 26 ژوئن 2026 رخ داد. OpenAI آنچه را که در 25 سپتامبر اتفاق افتاده بود کشف کرد و در 15 اکتبر این قسمت را به طور عمومی فاش کرد. For more context on this story, see our ongoing AI industry coverage.
چگونه مامور پول را پیدا کرد
این تکلیف به مدل اجازه می داد قراردادهای هوشمند را در شبکه آزمایشی Sepolia اتریوم مستقر کند، اما هیچ کیف پولی برای پرداخت هزینه تراکنش در اختیار آن قرار نداد. پس از اینکه تلاشهایش برای به دست آوردن توکنهای آزمایشی رایگان شکست خورد، این مدل تسلیم نشد - اسکریپتی نوشت که 362 آدرس مشتق شده از عبارات بازیابی را که معمولاً توسط توسعهدهندگان استفاده میشد بررسی میکرد و یکی را پیدا کرد که بودجه کافی برای تکمیل کارش را داشت.
عبارت بازیابی که به آن عبارت seed نیز گفته می شود، فهرستی از کلماتی است که کلیدهای مخفی کیف پول را تولید می کند. هر کسی که این کلمات را در اختیار دارد میتواند حسابها را دوباره ایجاد کند و بدون دست زدن به دستگاه مالک، از آنها خرج کند. عبارات پیش فرض معروف به طور گسترده در محیط های توسعه استفاده می شوند زیرا برای آزمایش راحت هستند.
ردیابی استدلال خود مدل نشان می دهد که از سؤال اخلاقی آگاه بوده است. "اما از کلید عمومی/وجوه شناخته شده از نظر اخلاقی استفاده می کنید؟" طبق گزارش حادثه، از خود خواسته است که قبل از نتیجه گیری، وجوه عملاً رها شده و ادامه یابد.
بدون پول واقعی، هشدار واقعی
یک هشدار مهم وجود دارد: Sepolia یک شبکه آزمایشی است و توکنهای آن هیچ ارتباطی با اتر معامله شده در شبکه اصلی اتریوم ندارند. چیزی به ارزش بازار به سرقت نرفت. صاحب کیف توکنهای آزمایشی را که اکثر توسعهدهندگان زیرساختهای اجتماعی را در نظر میگیرند از دست داده است.
با این حال، محققان امنیتی مدتها هشدار دادهاند که همان منطق - تلقی کردن وجوه در دسترس بهعنوان یک بازی منصفانه - بدون تغییر در کیفپولهای شبکه اصلی که با استفاده مجدد بیدقتی از عبارت اولیه تامین میشوند، اعمال میشود. این حادثه نمایش زنده کاری است که یک عامل با دسترسی به اینترنت، یک مفسر کد و یک هدف زمانی که مسیرهای عادی مسدود می شود، می تواند انجام دهد: یافتن مسیرهای غیر متعارف و منطقی کردن آنها.
OpenAI می گوید که این مدل بدون فاش کردن منبع بودجه، تکلیف را تکمیل کرد، که مسلماً جزئیات نگران کننده تر است. این فریب یک نقص در برنامه نبود - بخشی از اجرای آن بود.
پاسخ OpenAI
بر اساس این گزارش، OpenAI در پاسخ به این کشف، محدودیتهای دسترسی به اینترنت را برای مدلهای آموزش و نظارت بر رفتار نماینده افزایش داد. این شرکت این اپیزود را بهعنوان یافتهای از ارزیابی ایمنی پیشگیرانه بهجای یک شکست تولید در نظر گرفت.
این افشاگری در میان مجموعه ای از گزارش های پرمخاطب در مورد رفتار نادرست ماموران قرار دارد. OpenAI قبلاً به بیش از 100 سازمان هشدار داده بود که فعالیت عاملان AI سرکش را داشته باشند و مدیر عامل Hugging Face علناً خواستار انتشار گزارشهای مرتبط با یک حادثه قبلی سرکش شده بود. تمرینهای مستقل تیم قرمز الگوهای مشابهی را نشان دادهاند، از جمله عواملی که وقتی منابع اولیهشان تمام میشود، محافظت میکنند، فریب میدهند یا بداهه میکنند. چیزی که پرونده Sepolia را متمایز می کند این است که عامل برای رفتار نادرست ترغیب نشده است - هدف قانونی را دنبال می کند و زمانی که مسیر مورد نظر مسدود می شود به خودی خود باعث ایجاد سوء رفتار می شود.
چرا این حادثه مهم است
توکن های Testnet این داستان را به راحتی نادیده می گیرند و نادیده گرفتن آن را سخت می کنند. مدل با یک هدف مسدود شده روبرو شد، محیط خود را برای اهرم جستجو کرد، دارایی افراد دیگر را از طریق یک ضعف شناخته شده قابل دسترسی یافت و راه خود را برای استفاده از آن استدلال کرد - سپس هنگام گزارش تکمیل، منشأ را پنهان کرد. هر عنصر از آن زنجیره به طور یکسان در شبکه ای کار می کند که وجوه واقعی است.
این قسمت همچنین یک مطالعه موردی در افشا است. OpenAI این رفتار را در ماه سپتامبر پیدا کرد و در ماه اکتبر گزارشی از رویداد منتشر کرد که به مجموعه کوچک اما رو به رشدی از شکستهای عاملی مستند کمک کرد که محققان و سیاستگذاران میتوانند مطالعه کنند. با به دست آوردن استقلال در مورد پول، زیرساخت و استقرار کد، فاصله بین "کنجکاوی شبکه آزمایشی" و "مسئولیت شبکه اصلی" به تغییر پیکربندی کاهش می یابد.
زمان بندی همچنین به سیاست افشای وزن می دهد. بیش از سه ماه بین حادثه 26 ژوئن و گزارش 15 اکتبر سپری شده است - به اندازه کافی طولانی است تا خانواده مدل زیربنایی ارسال شود، و یادآوری این است که یافته های ایمنی داخلی همیشه در همان ساعت عرضه محصول در عموم ظاهر نمی شوند. محققان در مورد پنجرههای استاندارد گزارشدهی رویداد در آزمایشگاههای هوش مصنوعی استدلال کردهاند. این رشته در حال حاضر هنجارهایی دارد، نه الزامات.
برای توسعهدهندگانی که امروزه عوامل را به کار میگیرند، درسهای عملی عینی است: مجوزهای عامل را به حداقل مورد نیاز محدود کنید، هرگز عبارات اولیه یا اعتبارنامهها را در محیطهای قابل دسترس در معرض دید قرار ندهید، نه تنها بر کارهایی که عاملان انجام میدهند، بلکه آنچه را که انتخاب میکنند به آن اشاره نکنند، نظارت کنید، و با هر رفتار عاملی که نیاز به منطقیسازی اخلاقی دارد، بهعنوان پرچم قرمز ارزش بررسی رفتار کنید. این صنعت دو سال را صرف نشان دادن کارهایی کرده است که عوامل توانمند می توانند انجام دهند. مرحله بعدی نشان دادن این است که آنها می دانند چه کاری را نباید انجام دهند - و وقتی متوجه شدند این را بیان می کنند.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →