GPT-6 Astra از OpenAI ممکن است با مشکلات اعتماد کاربر در زمینه کدنویسی دست و پنجه نرم کند، اما در یک معیار روباتیک جدید، اعدادی را منتشر می کند که محققان را در مورد یک جهش کیفی صحبت می کند. در StationeryBench، آزمایشی که پیرامون اشیاء معمولی روی میز ساخته شده بود، Astra 7 کار از 100 کار را به طور کامل انجام داد در حالی که MolmoAct2 Ai2، مدلی که در مقابل آن قرار داشت، صفر را تکمیل کرد.

این معیار که توسط The Decoder توضیح داده شده است، دو مدل را در برابر یکدیگر در پنج وظیفه میز-شیء قرار می دهد - باز کردن درپوش یک نشانگر، ریختن گیره های کاغذ، یا عبور یک خط کش بین دو بازوی ربات. هر دو مدل، ربات‌های YAM دو بازوی یکسانی را در 200 آزمایش کنترل می‌کردند، یک طراحی کنترلی برای جدا کردن قابلیت مدل از تفاوت‌های سخت‌افزاری. تمامی نتایج، ویدیوها و کدها در GitHub منتشر شده است. برای پوشش تحقیقاتی بیشتر مانند این، [ AI news hub] (https://aibuzzwire.news) ما را بررسی کنید.

به گفته محققان، "تغییر گامی".

Yoav Artzi، محقق هوش مصنوعی در Cornell و Google DeepMind، عملکرد Astra را یک "تغییر مرحله ای در استدلال فضایی" نامید - نوعی از معیارهای زبانی که به ندرت به دست می آید. در معیاری که هنوز منتشر نشده به نام REMAP، Astra به دقت نزدیک به سطح انسانی می‌رسد، اگرچه آرتزی خاطرنشان کرد که "حتی Astra به آنچه انسان‌ها در سناریوهای دیگر انجام می‌دهند نمی‌رسد."

میانگین امتیاز پیشرفت Astra به 46 از 100 رسید، در مقایسه با 12 برای MolmoAct2 - شکافی که بیشتر از اعداد تکمیل عنوان مهم است. وظایف رباتیک بر اساس پیشرفت جزئی و همچنین موفقیت کامل درجه بندی می شوند، و سه برابر شدن میانگین امتیاز رقیب نشان می دهد که مدل به طور مداوم از طریق دنباله های دستکاری جلوتر می رود تا اینکه با شانس در تعدادی آزمایش موفق شود.

چرا استدلال فضایی ناگهان مهم است

نتیجه به نحوه آموزش آسترا اشاره می کند. آرتزی مشکوک است که OpenAI مدل را روی مقادیر زیادی از داده های سه بعدی، مانند صحنه های بلندر، آموزش داده است، که با قدرت خاص مدل در کارهای سه بعدی مطابقت دارد. اگر این خواندن درست باشد، نشان می‌دهد که محیط‌های سه‌بعدی مصنوعی - ارزان‌تر و ایمن‌تر از جمع‌آوری داده‌های دنیای واقعی - در حال تبدیل شدن به مسیری مناسب برای رسیدن به صلاحیت دنیای فیزیکی، یکی از طولانی‌ترین تنگناها در رباتیک هستند.

طراحی این معیار همچنین چیزی در مورد اینکه ارزیابی رباتیک به کجا می‌رود می‌گوید. وظایف StationeryBench عمداً پیش پا افتاده است - باز کردن درپوش نشانگر، ریختن گیره های کاغذ، تحویل یک خط کش - زیرا دستکاری روزمره، نه شاهکارهای سینمایی، چیزی است که دموی آزمایشگاه را از ماشین های مفید جدا می کند. درجه‌بندی هر دو مدل بر روی یک سخت‌افزار YAM دو بازویی در 200 آزمایش و انتشار هر ویدیو، یک تنظیم غیرعادی شفاف برای ادعای قابلیتی است که شامل پرچم‌دار یک آزمایشگاه مرزی است.

MolmoAct2، مدل مقایسه ای از مؤسسه آلن برای هوش مصنوعی (Ai2)، که هیچ یک از وظایف را تکمیل نمی کند، نوع خودش است: این نشان می دهد که شکاف بین مدل های مرزی همه منظوره و مدل های رباتیک هدفمند دیگر نه تنها بسته نمی شود، بلکه معکوس می شود، حداقل با دستکاری های سنگین.

این همچنین با جاه طلبی های اعلام شده OpenAI مطابقت دارد: طبق گزارشی که توسط The Decoder نقل شده است، این شرکت برنامه های بلندمدتی برای ساخت ربات های مصرف کننده خود دارد. یک مدل زبان مرزی که می تواند در مورد اشیاء، دست ها و مسیرها استدلال کند، نیمی از نرم افزار آن زمین است. نیمه سخت افزاری حل نشده باقی می ماند، اما معیارهایی مانند StationeryBench نحوه اندازه گیری این داستان هستند.

زمینه: مدلی با یک هفته پیچیده

نتیجه در یک چرخه خبری عجیب برای OpenAI قرار می گیرد. همان مدلی که در مرکز این معیار قرار دارد، هفته‌ای را با شکایت‌های کاربران مبنی بر اینکه از زمان راه‌اندازی احمقانه‌تر شده است، سپری کرده است - شکایاتی که OpenAI به سه نقص نام‌گذاری شده، از مهارت‌های نادرست تا آزمایش زمینه بد رفتاری، قبل از تنظیم مجدد محدودیت‌های استفاده از Codex، ردیابی شده است. مدلی که هنگام ارسال نتایج تغییر مرحله‌ای در آزمایشگاه، در تولید دچار لغزش می‌شود، یک نکته دقیق از صنعت فعلی هوش مصنوعی است: قابلیت و قابلیت اطمینان در ساعت‌های مختلف در حال پیشرفت است.

همچنین در میان بحث ایمنی که رهبری خود OpenAI به آن ملحق شد، فرود آمد. دانشمند ارشد این شرکت هشدار داده است که هیچ آزمایشگاهی کنترل سیستم‌های خودران فزاینده را حل نکرده است و مدیر عامل آنتروپیک از این صنعت خواسته است تا توسعه مرزی را به طور کامل کند کند. معیارهایی که مدل‌هایی را نشان می‌دهند که دنیای فیزیکی را دستکاری می‌کنند - حتی اگر دنیا فقط یک میز است که با لوازم التحریر پوشانده شده است - دقیقاً همان نتیجه‌ای است که هر دو مدیر وقتی استدلال می‌کنند سرعت پیشرفت بیش از حد نظارت است، به آن اشاره می‌کنند.

خط آخر

هفت کار کامل از 100 کار، فردا ربات را روی میز شما قرار نمی دهد. اما رفتن از صفر رقیب به هفت، با میانگین پیشرفت سه برابر بیشتر، نوعی ناپیوستگی است که دو سال پیش نمودارهای توانایی در درک زبان را دوباره تغییر داد. سوال باز این است که آیا همان مدل می‌تواند آن شایستگی را به‌طور قابل اعتمادی، خارج از معیار، با قیمتی که توسعه‌دهندگان مایل به پرداخت هستند، ارائه دهد.

[از هوش مصنوعی جلوتر بمانید] (https://aibuzzwire.news)

معیارها، پیشرفت‌ها و مسابقه به سمت ماشین‌هایی که عمل می‌کنند - هر روز دنبال می‌شوند.

اخبار هوش مصنوعی را بیشتر بخوانید →