AI بینچ مارکس فیصلہ کرتے ہیں کہ کون سے ماڈل سرخیاں بناتے ہیں - اور ان ماڈلز کو بنانے والی کمپنیاں ان کو شکست دینے کا طریقہ سیکھ چکی ہیں۔ ویلز نامی ایک اسٹارٹ اپ، جو 2024 میں تشکیل دیا گیا تھا، یہ شرط لگا رہا ہے کہ انڈسٹری کو ایک ایسے ریفری کی ضرورت ہے جس کے ٹیسٹ نہیں کیے جا سکتے، اور سرمایہ کاروں نے اس شرط کی بڑے پیمانے پر حمایت کی: والز نے گزشتہ ماہ اینڈریسن ہورووٹز کی قیادت میں 40 ملین ڈالر کی سیریز A جمع کی، 8VC اور بلومبرگ بیٹا کی قیادت میں ایک سیڈ راؤنڈ کے بعد۔

کمپنی کا عروج اس بارے میں بڑھتی ہوئی بے چینی کے درمیان آتا ہے کہ AI صلاحیتوں کی پیمائش کیسے کی جاتی ہے، اور جب یارڈ اسٹک مارکیٹنگ کا آلہ بن جاتا ہے تو کیا ہوتا ہے۔ AI کے کاروبار کے بارے میں مزید جاننے کے لیے، [AI انڈسٹری کوریج] (https://aibuzzwire.news) پر عمل کریں۔

جب بینچ مارک مارکیٹنگ بن جاتے ہیں۔

بینچ مارکنگ AI ماڈلز کی صلاحیتوں کی توثیق کرنے کے لیے صنعت کا معمول بن گیا ہے - اور، جب تعداد کسی کمپنی کے راستے میں بدل جاتی ہے، تو حریفوں پر اشتہارات کی برتری کے لیے۔ اچھے بینچ مارکس کا مطلب ہے اچھے تعلقات عامہ۔

والز کے شریک بانی اور سی ای او ریان کرشنن کے مطابق مسئلہ یہ ہے کہ بہت سے میراثی معیارات ماڈلز کی پرانی نسل کے لیے بنائے گئے تھے، اور کمپنیوں نے ان کے خلاف بہتر بنانے کا طریقہ معلوم کر لیا ہے۔ جب امتحانی مواد عوامی ہوتے ہیں، تو ایک ماڈل کو مؤثر طریقے سے امتحان پاس کرنے کے لیے تربیت دی جا سکتی ہے - ایک ایسی مشق جس کو صنعت نے مختلف طور پر آلودگی، اوور فٹنگ، یا سراسر دھوکہ دہی کے طور پر بیان کیا ہے۔

کرشنن نے TechCrunch کے ساتھ ایک انٹرویو میں کہا، "ہم دیکھ رہے تھے کہ نئے، بہت قابل ماڈلز کا ایک گروپ تیزی سے مارکیٹ میں آتا ہے، اور تعلیمی معیارات اس سرحدی پیشرفت کے ساتھ مطابقت نہیں رکھتے ہیں۔"

نجی ٹیسٹ، حقیقی دنیا کے کام

Vals دو محاذوں پر ایک مختلف نقطہ نظر لیتا ہے. سب سے پہلے، یہ اپنے مخصوص ٹیسٹ مواد کو عوامی طور پر ظاہر نہیں کرتا ہے، جس کی وجہ سے کمپنی کے لیے امتحان کے خلاف اپنے ماڈلز کو تربیت دینا مشکل ہو جاتا ہے۔ دوسرا، تجریدی علم کی پیمائش کرنے کے بجائے — آیا ماڈل بار امتحان طرز کے سوالات کا جواب دے سکتا ہے — Vals اس بات کا جائزہ لیتا ہے کہ ماڈلز قانون، مالیات اور کوڈنگ جیسی مخصوص صنعتوں میں پیچیدہ کام کیسے انجام دیتے ہیں۔

کرشنن نے کہا، "ہم جو کچھ کر رہے ہیں وہ دراصل یہ دیکھ رہا ہے کہ ماڈلز کے حقیقی اثرات کیا ہیں۔" "کیا وہ ایسا کام کر سکتے ہیں جو ہر ڈومین میں انسان کی طرح ایک ہی معیار کی پروڈکٹ تیار کرے؟"

کمپنی ناکامی کے طریقوں کی بھی پیمائش کرتی ہے، نہ صرف کامیابیاں۔ کرشنن نے کہا کہ والز کا مقصد اس بات کا تجزیہ کرنا ہے کہ "اگر یہ ماڈل دنیا میں پھیلے تو اس کے منفی اثرات کیا ہوں گے" - ایک تشخیصی فلسفہ جو منفی پہلو کے خطرے کو بعد میں سوچنے کی بجائے قابل پیمائش پیداوار کے طور پر پیش کرتا ہے۔

قانون اور مالیات سے لے کر جنیوس کنونشنز اور بار بار خود کو بہتر بنانے تک

Vals کی تشخیص کا دائرہ اس کی پیشہ ورانہ خدمات کی جڑوں سے آگے بڑھتا جا رہا ہے۔ قانون، فنانس اور کوڈنگ بینچ مارکس کے ساتھ، کرشنن نے کہا کہ کمپنی اب ذہنی صحت، سائبرسیکیوریٹی اور بائیو سیکیورٹی میں ٹیسٹ چلاتی ہے، اور یہاں تک کہ دوبارہ خود کو بہتر بنانے کے لیے ایک بینچ مارک - ایک ایسا موضوع جس پر AI-حفاظتی حلقوں میں کمرشل ایویلیویشن سویٹس کی نسبت زیادہ بحث کی جاتی ہے۔

شاید سب سے حیران کن مسلح تصادم کے قانون پر اس کا کام ہے، جہاں ویلز جانچ کر رہے ہیں کہ ماڈلز جنیوا کنونشن کو کس طرح سمجھتے اور لاگو کرتے ہیں۔ وسعت کے اشارے جہاں سے مانگ آ رہی ہے: نہ صرف لیبز کی دوڑ میں سرفہرست لیڈر بورڈز، بلکہ ایسے کاروباری ادارے اور ادارے جنہیں اس بات کا ثبوت درکار ہوتا ہے کہ ماڈلز کو تعینات کرنے سے پہلے ہائی اسٹیک ڈومینز میں کیسے برتاؤ کرتے ہیں۔

بزنس ماڈل: ٹیسٹ دینے کے لیے ادائیگی کریں۔

کمپنیاں اپنے ماڈلز کا جائزہ لینے کے لیے Vals کو ادائیگی کرتی ہیں - ایسا انتظام جو متضاد معلوم ہو سکتا ہے۔ کوئی کمپنی ان نتائج کی ادائیگی کیوں کرے گی جو اسے شرمندہ کر سکتے ہیں؟ کرشنن ماڈل کا موازنہ کالج بورڈ کو ایس اے ٹی لینے کے لیے ادائیگی کرنے والے طالب علم سے کرتے ہیں: ایک آزاد پیمائش، یہاں تک کہ ایک بے چین، کمپنی کو وقت کے ساتھ ساتھ مسائل کے حل اور بہتری میں مدد کرتی ہے۔

ایسا لگتا ہے کہ مارکیٹ جواب دے رہی ہے۔ والز کا کہنا ہے کہ اس کی آمدنی اس وقت پچھلے سال کے مقابلے آٹھ گنا ہے، اور اس کی ٹیم سال کے آغاز سے تین گنا بڑھ کر آٹھ افراد سے بڑھ کر 25 ہوگئی ہے۔ کمپنی سان فرانسسکو کی فولسم اسٹریٹ پر دو منزلہ دفتر سے کام کرتی ہے - ایک سابقہ ​​بریوری کی عمارت جس میں اب متعدد اسٹارٹ اپس ہیں۔

کمپنی کے مطابق، AI ماڈلز کی خریداری کرنے والے کاروباری اداروں کے لیے تشخیص بھی فیصلہ سازی کے عوامل بن رہے ہیں، جو کہ معیارات کو مارکیٹنگ کے مقابلے میں مستعدی سے قریب تر کردار دیتے ہیں۔

ایک 25 سالہ بانی جس میں اگلی قطار والی نشست ہے۔

کرشنن، 25، نے پالانٹیر میں داخلہ لیا اور، اسٹینفورڈ میں ایک انڈرگریجویٹ کے طور پر، مائیکروسافٹ اور یونیورسٹی کی معروف مصنوعی ذہانت لیب کے لیے کام کیا۔ ان کا کہنا ہے کہ ویلز کی پیدائش اس صنعت کے پیچھے پڑنے والی تشخیص کو دیکھنے سے ہوئی ہے جس کی پیمائش کرنا تھی - ایک خلا جو صرف اس وقت وسیع ہوا ہے کیونکہ نئے ماڈلز تعلیمی معیارات سے زیادہ تیزی سے آتے ہیں، ڈیزائن، توثیق اور شائع کیے جا سکتے ہیں۔

سٹارٹ اپ اب AI تشخیص کو ادارہ جاتی بنانے کی کوشش کرنے والی کمپنیوں کے ایک چھوٹے لیکن بڑھتے ہوئے گروہ میں شامل ہو گیا ہے، ایک ایسی جگہ جس میں تعلیمی کوششیں، اوپن سورس لیڈر بورڈ پروجیکٹس اور حفاظتی ادارے شامل ہیں۔ Vals کو جو چیز ممتاز کرتی ہے وہ اس کا پرائیویٹ ٹیسٹ ماڈل ہے اور اس کی توجہ عوامی درجہ بندی کے بجائے ادا شدہ، صنعت کی مخصوص تشخیص پر ہے۔

یہ کیوں اہمیت رکھتا ہے۔

بینچ مارکس کے ساتھ AI انڈسٹری کی ساکھ کا مسئلہ اچھی طرح سے دستاویزی ہے: لیک شدہ ٹیسٹ سیٹ، مشکوک لیڈر بورڈ چھلانگ اور مارکیٹنگ کا دعویٰ ہے کہ حقیقی دنیا کی کارکردگی کو پیچھے چھوڑ دیا گیا ہے۔ اگر خریدار - خاص طور پر کاروباری ادارے اور حکومتیں - Vals' جیسے نجی، ٹاسک پر مبنی جائزوں پر انحصار کرنا شروع کر دیں، تو ماڈل ڈویلپرز کے لیے مراعات تدریس سے حقیقی صلاحیت کی طرف منتقل ہو سکتی ہیں۔

یہ طے ہونے سے بہت دور ہے۔ ایک نجی بینچ مارک اب بھی خریداروں سے کہتا ہے کہ وہ ریفری پر بھروسہ کریں، اور Vals کے کلائنٹ وہی کمپنیاں ہیں جن کی درجہ بندی کی جا رہی ہے۔ لیکن $40 ملین سیریز A کے ساتھ، آمدنی میں آٹھ گنا اضافہ اور بائیو سیکیورٹی کے لیے مالیاتی کی طلب میں، شرط یہ ہے کہ آزادانہ احساس کی تشخیص بنیادی ڈھانچہ بن رہی ہے - ایک ایسی خدمت جس کے لیے AI معیشت ادا کرے گی چاہے نتائج اس کی چاپلوسی کریں یا نہ کریں۔

AI سے آگے رہیں

پیمائش کرنے والوں کی پیمائش کون کرتا ہے؟ AI Buzz Wire پر AI کی تشخیص کے کاروبار اور اسے نئے سرے سے تشکیل دینے والے اسٹارٹ اپس کی پیروی کریں، جو آپ کے ذریعہ بریکنگ AI نیوز ہے۔

اے آئی کی تازہ ترین خبریں پڑھیں →