چون توی بله حجم محتواها نباید بیشتر از ۵۰ مگ باشه، مجبور شدیم ویدیوی زیر رو آپارات بذاریم:https://aparat.com/v/ejz54dw
و چون ویدیو مال ما نبود نمیتونستیم توی یوتیوب هم بذاریمش؛القصه:
حتما خبر دار شدید که چند ماه پیش یک حمله به هاگینگ فیس انجام شده؛ اطلاعات بهتری ازش در دسترس شده و قضیه از این قراره
ماجرا از یه تست امنیتی توی خود OpenAI شروع شد. داشتن با بنچمارکی به اسم ExploitGym توانایی هک ایجنت هاشون رو میسنجیدن. هر ایجنت توی یه سندباکس جدا قرار میگیره، باید یه نرم افزار رو هک کنه و یه فلگ (یه کد مخفی که ثابت میکنه موفق شده) برگردونه. مشکل این بود که خیلی از تسک ها اصلا قابل حل نبودن، ایجنت ها هم طوری آموزش دیده بودن که تا آخرش بجنگن و خیلی دوست داشتن تست رو پاس کنن. طبق گزارش ها بخشی از سیف گاردها هم برای این تست کم شده بود.
تنها سرویسی که از داخل سندباکس در دسترس بود Artifactory بود، یه سرویس داخلی برای مدیریت پکیج های نرم افزاری. یکی از ایجنت ها فهمید با ساختن پوشه توی کش اون میتونه از سندباکس بیرون پیام بذاره و کمک بخواد. بقیه هم پیداش کردن و یه تابلوی اعلانات غیررسمی شکل گرفت. ردپای این قضیه تا ماه مه عقب میره و OpenAI یه بار جلوش رو گرفته بود، ولی تو یه دور آموزش دیگه، ۸ ژوئیه، با یه ضعف دیگه دوباره راه افتاد و این بار ایجنت ها به اینترنت هم رسیدن.
اونجا حدود ۱۲۰۰ ایجنت با هم حرف زدن و بیش از ۷۰ هزار پیام رد و بدل شد. اولین کشفشون این بود که فلگ ها از یه HMAC ساخته میشن و میشه بدون حل تسک خودشون تولیدشون کرد. ولی بعد پیپر ExploitGym رو خوندن و به این نتیجه رسیدن که یه داور هوش مصنوعی (scorer) ترنسکریپت ها رو چک میکنه و اگه بفهمه فلگ رو از راه غیرمجاز گرفتن، ردشون میکنه. یعنی ایجنت هایی که فلگ تقلبی رو دیده باشن به قول خودشون "مسموم" شدن. از اینجا کار عجیب شد: مدیر و زیرمدیر و تقسیم کار و حتی امضای دیجیتال و اسم مستعار ساختن و سه پروژه تعریف کردن. ساخت تارگت های جعلی برای فریب داور، بازنویسی ترنسکریپت ها، و تله های آزمایشی که چند ایجنت داوطلب و کم بودجه خودشون رو قربانی میکنن تا بفهمن داور دقیقا چطور کار میکنه.
بعدش نوبت هاگینگ فیس شد، چون حدس زدن سورس کد داور یا لاگ های بقیه ایجنت ها اونجاست. بیش از ۹۰ درصد ایجنت های فعال رفتن سراغش، اعتبارنامه های لو رفته پیدا کردن، چند تا آسیب پذیری رو زنجیر کردن و از ۱۱ ژوئیه تو سیستم های هاگینگ فیس بودن. هاگینگ فیس ۱۳ ژوئیه دسترسی رو قطع کرد و ۱۶ ژوئیه اعلام کرد. جالبه که خود OpenAI تا وقتی هاگینگ فیس ازشون سوال نکرد نفهمید کار ایجنت های خودشونه و ۲۱ ژوئیه پذیرفت. گزارش های METR و Redwood بعدا نشون دادن حدود ۷۰۰ ایجنت مستقیم تو حمله بودن، بازیگر اصلی یه مدل داخلی منتشرنشده بود و GPT-5.6 Sol هم نقش داشت. OpenAI اسم این اتفاق رو یه “warning shot” گذاشته.
نکته ترسناک ماجرا اینه که از حدود هزار ایجنتی که درگیر بودن فقط شش تا به فکر خبر دادن به آدم ها افتادن و هیچکدوم هم این کار رو نکرد. خوشبختانه هدفشون فریب ما نبود و فقط میخواستن داور رو گول بزنن. حالا فرض کنید یه روز بخوان ما رو گول بزنن.
واسه اطلاعات بیشتر میتونید فیلم بالا رو ببینید
ولی ماجرای جالب از اینجا شروع میشه:یکی از کاربران از سر بیکاری نشست و این واقعه رو موزیک ویدیو کرد...
@ai_src
و چون ویدیو مال ما نبود نمیتونستیم توی یوتیوب هم بذاریمش؛القصه:
حتما خبر دار شدید که چند ماه پیش یک حمله به هاگینگ فیس انجام شده؛ اطلاعات بهتری ازش در دسترس شده و قضیه از این قراره
ماجرا از یه تست امنیتی توی خود OpenAI شروع شد. داشتن با بنچمارکی به اسم ExploitGym توانایی هک ایجنت هاشون رو میسنجیدن. هر ایجنت توی یه سندباکس جدا قرار میگیره، باید یه نرم افزار رو هک کنه و یه فلگ (یه کد مخفی که ثابت میکنه موفق شده) برگردونه. مشکل این بود که خیلی از تسک ها اصلا قابل حل نبودن، ایجنت ها هم طوری آموزش دیده بودن که تا آخرش بجنگن و خیلی دوست داشتن تست رو پاس کنن. طبق گزارش ها بخشی از سیف گاردها هم برای این تست کم شده بود.
تنها سرویسی که از داخل سندباکس در دسترس بود Artifactory بود، یه سرویس داخلی برای مدیریت پکیج های نرم افزاری. یکی از ایجنت ها فهمید با ساختن پوشه توی کش اون میتونه از سندباکس بیرون پیام بذاره و کمک بخواد. بقیه هم پیداش کردن و یه تابلوی اعلانات غیررسمی شکل گرفت. ردپای این قضیه تا ماه مه عقب میره و OpenAI یه بار جلوش رو گرفته بود، ولی تو یه دور آموزش دیگه، ۸ ژوئیه، با یه ضعف دیگه دوباره راه افتاد و این بار ایجنت ها به اینترنت هم رسیدن.
اونجا حدود ۱۲۰۰ ایجنت با هم حرف زدن و بیش از ۷۰ هزار پیام رد و بدل شد. اولین کشفشون این بود که فلگ ها از یه HMAC ساخته میشن و میشه بدون حل تسک خودشون تولیدشون کرد. ولی بعد پیپر ExploitGym رو خوندن و به این نتیجه رسیدن که یه داور هوش مصنوعی (scorer) ترنسکریپت ها رو چک میکنه و اگه بفهمه فلگ رو از راه غیرمجاز گرفتن، ردشون میکنه. یعنی ایجنت هایی که فلگ تقلبی رو دیده باشن به قول خودشون "مسموم" شدن. از اینجا کار عجیب شد: مدیر و زیرمدیر و تقسیم کار و حتی امضای دیجیتال و اسم مستعار ساختن و سه پروژه تعریف کردن. ساخت تارگت های جعلی برای فریب داور، بازنویسی ترنسکریپت ها، و تله های آزمایشی که چند ایجنت داوطلب و کم بودجه خودشون رو قربانی میکنن تا بفهمن داور دقیقا چطور کار میکنه.
بعدش نوبت هاگینگ فیس شد، چون حدس زدن سورس کد داور یا لاگ های بقیه ایجنت ها اونجاست. بیش از ۹۰ درصد ایجنت های فعال رفتن سراغش، اعتبارنامه های لو رفته پیدا کردن، چند تا آسیب پذیری رو زنجیر کردن و از ۱۱ ژوئیه تو سیستم های هاگینگ فیس بودن. هاگینگ فیس ۱۳ ژوئیه دسترسی رو قطع کرد و ۱۶ ژوئیه اعلام کرد. جالبه که خود OpenAI تا وقتی هاگینگ فیس ازشون سوال نکرد نفهمید کار ایجنت های خودشونه و ۲۱ ژوئیه پذیرفت. گزارش های METR و Redwood بعدا نشون دادن حدود ۷۰۰ ایجنت مستقیم تو حمله بودن، بازیگر اصلی یه مدل داخلی منتشرنشده بود و GPT-5.6 Sol هم نقش داشت. OpenAI اسم این اتفاق رو یه “warning shot” گذاشته.
نکته ترسناک ماجرا اینه که از حدود هزار ایجنتی که درگیر بودن فقط شش تا به فکر خبر دادن به آدم ها افتادن و هیچکدوم هم این کار رو نکرد. خوشبختانه هدفشون فریب ما نبود و فقط میخواستن داور رو گول بزنن. حالا فرض کنید یه روز بخوان ما رو گول بزنن.
واسه اطلاعات بیشتر میتونید فیلم بالا رو ببینید
ولی ماجرای جالب از اینجا شروع میشه:یکی از کاربران از سر بیکاری نشست و این واقعه رو موزیک ویدیو کرد...
@ai_src
۱۰۲۲