Perplexity یک پست مفصل در Decider v1.3، جدیدترین نسخه از خانواده مدل تصمیم گیری خود، با عنوان "Perplexity Decider v1.3: Training, Eval, and Use Case" منتشر کرده است. این پست در روز جمعه در صفحه اول هکر نیوز قرار گرفت و در عرض چند ساعت بیش از 140 امتیاز را به خود اختصاص داد، و توسعه دهندگان نتایج معیارها را معامله کردند و در مورد اینکه این مدل ها واقعاً کجا هستند بحث کردند. برای اطلاعات بیشتر در مورد این و سایر [اخبار فوری هوش مصنوعی] (https://aibuzzwire.news)، ما هر نسخه از مدل را در هنگام فرود دنبال می کنیم.

توجه کمتر به یک به‌روزرسانی است و بیشتر به آنچه که موضوع فاش می‌کند است: در یک سال، مدل‌های تصمیم‌گیری از یک کنجکاوی به دسته‌ای شلوغ با معیارهای خود، منطق قیمت‌گذاری خاص خود و حوزه رقابتی تبدیل شده‌اند که اکنون شامل Perplexity، TypeSafe، Microsoft، Google، Cloudflare و OpenAI است.

مدل تصمیم در واقع چه می کند

واضح‌ترین تعریف از Artificial Analysis، آزمایشگاه ارزیابی مستقل که Decision Index v2.1 به تابلوی مرجع برای این دسته تبدیل شده است، می‌آید. در توضیح‌دهنده‌اش، یک مدل تصمیم‌گیری سؤالی را با مجموعه‌ای از گزینه‌های ثابت می‌پذیرد - به عنوان مثال، یک بلیط پشتیبانی که می‌پرسد آیا مسیریابی به صورت‌حساب یا فنی است، آیا فوری است یا خیر، و مشتری چقدر ناراحت است - و برای هر گزینه با احتمال ضمیمه، پاسخی را در یک تماس برمی‌گرداند.

در مقابل، یک مدل زبان همه‌منظوره، خروجی ساختاریافته‌ای ایجاد می‌کند که باید تجزیه شود، و یک مدل استدلالی قبل از پاسخ دادن، فکر محاسباتی بیشتری را صرف می‌کند. مدل های تصمیم گیری از آن صرف نظر می کنند. آنها آموزش دیده اند تا انتخاب کنند، نه توضیح دادن، و این همان چیزی است که آنها را به اندازه کافی سریع و ارزان می کند تا بتوانند بر روی هر سند، هر درخواست، با حجم بالا اجرا شوند.

چگونه مقوله اندازه گیری می شود

نمایه تصمیم تجزیه و تحلیل مصنوعی نسخه 2.1، به روز شده با صفحه روش شناسی عمومی، شش ارزیابی را با وزن های منتشر شده ترکیب می کند: AA-Paperclip با 30 درصد، که 1500 رزومه، رسید، فاکتور و مقاله تحقیقاتی را از طریق تصمیم گیری و استخراج حقایق اجرا می کند. EvalSafe-ONET-AA با 15 درصد، بر اساس معیار ONET TypeSafe از قضاوت در مورد اسناد محل کار. When2Call در 10 درصد، ارزیابی فراخوانی ابزار NVIDIA. AA-Omniscience-Decision v1.1 در 15 درصد برای دانش و توهم. HLE-MultiChoice v1.1 با 15 درصد، سؤالات چند گزینه ای فقط متنی از Humanity's Last Exam با گزینه رد کردن. و AA-Symmetry v1.1 در 15 درصد، که بررسی می‌کند که آیا تصمیمی در صورت جابجایی، بازنویسی یا نفی گزینه‌های آن برقرار است.

این آخرین آزمایش است. مدلی که وقتی ترتیب گزینه‌ها را معکوس می‌کنید، پاسخ خود را تغییر می‌دهد، در واقع تصمیم‌گیری نمی‌کند - تطبیق الگو است. کالیبراسیون، تغییر ناپذیری و دانستن زمان کاهش به عنوان الزامات درجه یک تلقی می شود، نه پاداش.

آنچه که موضوع اخبار هکر اضافه می کند

Perplexity برای اولین بار در اوایل اکتبر یک عضو با پارامتر 27 میلیاردی از خانواده، pplx-decider-v1-27b را در Hugging Face با وزن باز گذاشت، بنابراین جامعه هفته هاست که این مدل ها را در اختیار دارد. واکنش به نسخه 1.3 به گونه ای ترکیب شده بود که به جای یک چرخه تبلیغاتی شبیه یک بازار سالم خوانده می شود.

یکی از توسعه‌دهندگان گزارش داد که Decider نسخه 1.3 نسبت به نسخه 1.2 و Jev 1.14 TypeSafe در ارزیابی‌های داخلی آن‌ها برای یک کار استخراج و تطبیق موجودیت برتری نشان داد. یکی دیگر گفت که در معیار محلی خود عملکرد خوبی دارد و قیمت رقابتی دارد و اشاره کرد که معماری توجه دو طرفه ممکن است برای تصمیم گیری مناسب باشد. دیگران عقب نشینی کردند: یکی از نظر دهندگان نسخه 1.3 را یک گام به عقب برای موارد استفاده خود یافت و گفت که نمایه عمومی موافق است، و دیگری این سوال را مطرح کرد که آیا انواع فلش وعده اصلی این دسته را برای تصمیم گیری های انبوه ارزان و دقیق کمرنگ می کند.

این رشته همچنین اکوسیستم اطراف را نمایان کرد - مدل‌های تصمیم Clef Cloudflare و مدل استخراج Clairic، ScaleDown API، Liquid's D1 و مدل تصمیم‌گیری خود OpenAI - با چندین توسعه‌دهنده اشاره کردند که شاخص تحلیل مصنوعی، که شامل هزینه به ازای هر کار و کالیبراسیون در کنار دقت است، تنها مورد اعتماد آنهاست.

چرا مهم است

ما رشد این دسته را گام به گام پوشش داده ایم: مدل Jev system-one TypeSafe، مایکروسافت Decision-1 ساخته شده بر روی Qwen، و Google's Decisions API با مدل Gemini Decision-1 خود. Perplexity Shipping نسخه 1.3 این الگو را تایید می کند - هر پلتفرم اصلی هوش مصنوعی اکنون می خواهد لایه ای را که در آن انتخاب های ساختاریافته انجام می شود، داشته باشد، زیرا این لایه در مقابل همه چیز قرار می گیرد: تریاژ پشتیبانی، پردازش اسناد، فراخوانی ابزار، تعدیل، بررسی های انطباق.

موضوع اقتصاد است. یک مدل استدلال می تواند از نظر دقت پاسخی به یک مدل تصمیم گیری بدهد، اما در حجم بالا، تاخیر و هزینه آن، آن را به ابزار اشتباهی برای میلیون ها طبقه بندی روزانه تبدیل می کند. مدل‌های تصمیم، هوش عمومی را با پاسخ‌های کالیبره‌شده، ثابت و تک‌تماسی مبادله می‌کنند، و همانطور که بحث Hacker News نشان می‌دهد، خریداران اکنون این معامله را با معیارهای واقعی و بار کاری واقعی درجه‌بندی می‌کنند.

Decider v1.3 روی آن کارت‌های امتیازی زندگی می‌کند یا می‌میرد. اما خود این دسته به وضوح وارد شده است.

---

از هوش مصنوعی جلوتر بمانید

آخرین اخبار، تحلیل ها و پیشرفت های هوش مصنوعی را دریافت کنید - همه در یک مکان.

بیشتر بخوانید اخبار هوش مصنوعی →