এআই বেঞ্চমার্কগুলি সিদ্ধান্ত নেয় কোন মডেলগুলি শিরোনাম তৈরি করে — এবং সেই মডেলগুলি তৈরিকারী সংস্থাগুলি কীভাবে সেগুলিকে হারাতে হয় তা শিখেছে৷ 2024 সালে গঠিত Vals নামক একটি স্টার্টআপ বাজি ধরেছে যে শিল্পের এমন একজন রেফারির প্রয়োজন যার পরীক্ষাগুলি গেম করা যাবে না এবং বিনিয়োগকারীরা এই বাজিটিকে একটি বড় উপায়ে সমর্থন করেছেন: Vals গত মাসে 8VC এবং ব্লুমবার্গ বিটার নেতৃত্বে একটি বীজ রাউন্ডের পরে, Andreessen Horowitz-এর নেতৃত্বে $40 মিলিয়ন সিরিজ A উত্থাপন করেছে৷

কীভাবে এআই ক্ষমতা পরিমাপ করা হয় এবং মাপকাঠি একটি বিপণন সরঞ্জাম হয়ে উঠলে কী হয় তা নিয়ে ক্রমবর্ধমান অস্বস্তির মধ্যে কোম্পানির উত্থান ঘটে। AI এর ব্যবসা সম্পর্কে আরও জানতে, AI শিল্প কভারেজ অনুসরণ করুন।

যখন বেঞ্চমার্ক মার্কেটিং হয়ে যায়

বেঞ্চমার্কিং AI মডেলের সক্ষমতা যাচাই করার জন্য শিল্পের আদর্শ হয়ে উঠেছে — এবং, যখন সংখ্যাগুলি একটি কোম্পানির পথ পাল্টে যায়, প্রতিদ্বন্দ্বীদের উপর বিজ্ঞাপনের শ্রেষ্ঠত্বের জন্য। ভালো বেঞ্চমার্ক মানে ভালো জনসংযোগ।

Vals-এর সহ-প্রতিষ্ঠাতা এবং সিইও রায়ান কৃষ্ণনের মতে, সমস্যাটি হল যে অনেকগুলি উত্তরাধিকার বেঞ্চমার্ক পূর্ববর্তী প্রজন্মের মডেলগুলির জন্য তৈরি করা হয়েছিল এবং কোম্পানিগুলি তাদের বিরুদ্ধে কীভাবে অপ্টিমাইজ করা যায় তা খুঁজে বের করেছে। যখন পরীক্ষার উপকরণগুলি সর্বজনীন হয়, তখন একটি মডেলকে পরীক্ষায় উত্তীর্ণ হওয়ার জন্য কার্যকরভাবে প্রশিক্ষিত করা যেতে পারে - এমন একটি অনুশীলন যা শিল্প বিভিন্নভাবে দূষণ, অতিরিক্ত ফিটিং বা সরাসরি প্রতারণা হিসাবে বর্ণনা করেছে।

"আমরা দেখছিলাম একগুচ্ছ নতুন, খুব সক্ষম মডেল দ্রুত বাজারে আসছে, এবং একাডেমিক বেঞ্চমার্কগুলি সেই সীমান্ত অগ্রগতির সাথে তাল মিলিয়ে চলছিল না," কৃষ্ণান টেকক্রাঞ্চের সাথে একটি সাক্ষাত্কারে বলেছিলেন৷

ব্যক্তিগত পরীক্ষা, বাস্তব-বিশ্বের কাজ

Vals দুটি ফ্রন্টে একটি ভিন্ন পদ্ধতি গ্রহণ করে। প্রথমত, এটি তার নির্দিষ্ট পরীক্ষার উপকরণ প্রকাশ্যে প্রকাশ করে না, যা একটি কোম্পানির জন্য পরীক্ষার বিরুদ্ধে তার মডেলগুলিকে প্রশিক্ষণ দেওয়া আরও কঠিন করে তোলে। দ্বিতীয়ত, বিমূর্ত জ্ঞান পরিমাপের পরিবর্তে — একটি মডেল বার-পরীক্ষা-শৈলীর প্রশ্নের উত্তর দিতে পারে কিনা — Vals মূল্যায়ন করে যে কীভাবে মডেলগুলি আইন, অর্থ এবং কোডিংয়ের মতো নির্দিষ্ট শিল্পে জটিল কাজগুলি সম্পাদন করে।

"আমরা যা করছি তা আসলে মডেলগুলির প্রকৃত প্রভাবগুলি কী তা দেখছি," কৃষ্ণান বলেছিলেন। "তারা কি এমন কাজ করতে পারে যা প্রতিটি ডোমেনের মধ্যে একজন মানুষের মতো একই মানের পণ্য তৈরি করে?"

কোম্পানি ব্যর্থতার মোড পরিমাপ করে, শুধু সাফল্য নয়। কৃষ্ণান বলেন, ভালসের লক্ষ্য "যদি এই মডেলগুলি বিশ্বে বন্যভাবে চলতে থাকে, তাহলে নেতিবাচক প্রভাব কী হবে" - একটি মূল্যায়ন দর্শন যা পরবর্তী চিন্তার পরিবর্তে একটি পরিমাপযোগ্য আউটপুট হিসাবে নেতিবাচক ঝুঁকিকে বিবেচনা করে।

আইন ও অর্থ থেকে জেনেভাস কনভেনশন এবং পুনরাবৃত্তিমূলক স্ব-উন্নতি

Vals এর মূল্যায়নের পরিধি তার পেশাদার-পরিষেবা মূলের বাইরে প্রসারিত হতে থাকে। আইন, ফিনান্স এবং কোডিং বেঞ্চমার্কের পাশাপাশি, কৃষ্ণান বলেছেন যে কোম্পানি এখন মানসিক স্বাস্থ্য, সাইবার নিরাপত্তা এবং বায়োসিকিউরিটি পরীক্ষা চালায় এবং এমনকি পুনরাবৃত্ত স্ব-উন্নতির উপর একটি বেঞ্চমার্ক - একটি বিষয় যা বাণিজ্যিক মূল্যায়ন স্যুটগুলির তুলনায় এআই-নিরাপত্তা চেনাশোনাগুলিতে বেশি আলোচিত হয়৷

সম্ভবত সবচেয়ে আকর্ষণীয় হল সশস্ত্র সংঘাতের আইনের উপর এর কাজ, যেখানে Vals পরীক্ষা করছে কিভাবে মডেলরা জেনেভা কনভেনশন বোঝে এবং প্রয়োগ করে। প্রশস্ততার সংকেত যেখান থেকে চাহিদা আসছে: শুধুমাত্র ল্যাব রেসিং শীর্ষ লিডারবোর্ডে নয়, বরং এমন উদ্যোগ এবং প্রতিষ্ঠানের প্রমাণ প্রয়োজন যে মডেলগুলিকে মোতায়েন করার আগে উচ্চ-স্টেক ডোমেনে কীভাবে আচরণ করে।

ব্যবসায়িক মডেল: পরীক্ষা দেওয়ার জন্য অর্থ প্রদান করুন

কোম্পানিগুলি তাদের মডেলগুলি মূল্যায়ন করার জন্য Vals-কে অর্থ প্রদান করে - একটি ব্যবস্থা যা বিপরীতমুখী বলে মনে হতে পারে। কেন একটি কোম্পানি বিব্রত হতে পারে এমন ফলাফলের জন্য অর্থ প্রদান করবে? কৃষ্ণান মডেলটিকে একজন ছাত্রের সাথে তুলনা করেছেন যেটি কলেজ বোর্ডকে SAT নেওয়ার জন্য অর্থ প্রদান করে: একটি স্বাধীন পরিমাপ, এমনকি একটি অবাঞ্ছিত পরিমাপ, একটি কোম্পানিকে সমস্যার সমাধান করতে এবং সময়ের সাথে উন্নতি করতে সহায়তা করে।

বাজার সাড়া দিচ্ছে বলে মনে হচ্ছে। Vals বলেছেন যে এর রাজস্ব বর্তমানে গত বছরের তুলনায় আটগুণ বেশি, এবং বছরের শুরু থেকে তার দল তিনগুণ বেড়েছে, আট জনের থেকে বেড়ে 25 হয়েছে। কোম্পানিটি সান ফ্রান্সিসকোর ফলসম স্ট্রিটে একটি দ্বিতল অফিস থেকে কাজ করে — একটি প্রাক্তন মদ্যপান ভবন যেখানে এখন একাধিক স্টার্টআপ রয়েছে।

এআই মডেলের জন্য কেনাকাটার উদ্যোগগুলির জন্য মূল্যায়নগুলিও সিদ্ধান্ত গ্রহণের কারণ হয়ে উঠছে, কোম্পানির মতে, বেঞ্চমার্কগুলিকে বিপণনের চেয়ে যথাযথ অধ্যবসায়ের কাছাকাছি ভূমিকা দেয়।

সামনের সারির আসন সহ একজন 25-বছর-বয়সী প্রতিষ্ঠাতা

কৃষ্ণান, 25, প্যালান্টিরে ইন্টার্ন এবং স্ট্যানফোর্ডে স্নাতক হিসাবে, মাইক্রোসফ্ট এবং বিশ্ববিদ্যালয়ের সুপরিচিত কৃত্রিম বুদ্ধিমত্তা ল্যাবে কাজ করেছেন। তিনি বলেছেন যে ভ্যালস শিল্পের মূল্যায়নের পিছনে পড়ে যাওয়া দেখে জন্মগ্রহণ করেছিলেন - এটি পরিমাপ করা উচিত ছিল - এমন একটি ব্যবধান যা কেবলমাত্র প্রসারিত হয়েছে কারণ নতুন মডেলগুলি একাডেমিক বেঞ্চমার্কের চেয়ে দ্রুততরভাবে ডিজাইন, যাচাই এবং প্রকাশ করা যেতে পারে।

স্টার্টআপটি এখন AI মূল্যায়নকে প্রাতিষ্ঠানিক করার চেষ্টা করছে এমন একটি ছোট কিন্তু ক্রমবর্ধমান কোহর্টের সাথে যোগ দিয়েছে, এমন একটি স্থান যেখানে একাডেমিক প্রচেষ্টা, ওপেন-সোর্স লিডারবোর্ড প্রকল্প এবং নিরাপত্তা প্রতিষ্ঠান অন্তর্ভুক্ত রয়েছে। Vals কে আলাদা করে তা হল এর ব্যক্তিগত-পরীক্ষার মডেল এবং পাবলিক র‌্যাঙ্কিংয়ের পরিবর্তে প্রদত্ত, শিল্প-নির্দিষ্ট মূল্যায়নের উপর এর ফোকাস।

কেন এটা গুরুত্বপূর্ণ

বেঞ্চমার্কের সাথে এআই শিল্পের বিশ্বাসযোগ্যতার সমস্যাটি ভালভাবে নথিভুক্ত করা হয়েছে: ফাঁস হওয়া পরীক্ষা সেট, সন্দেহজনক লিডারবোর্ড জাম্প এবং মার্কেটিং দাবি করে যে বাস্তব-বিশ্বের পারফরম্যান্সকে ছাড়িয়ে গেছে। ক্রেতারা - বিশেষ করে উদ্যোগ এবং সরকার - যদি Vals'-এর মতো ব্যক্তিগত, টাস্ক-ভিত্তিক মূল্যায়নের উপর নির্ভর করা শুরু করে, তাহলে মডেল ডেভেলপারদের জন্য প্রণোদনা শিক্ষা থেকে প্রকৃত সামর্থ্যের দিকে পরিবর্তিত হতে পারে।

যে নিষ্পত্তি থেকে একটি দীর্ঘ পথ. একটি প্রাইভেট বেঞ্চমার্ক এখনও ক্রেতাদের রেফারির উপর আস্থা রাখতে বলে, এবং Vals'র ক্লায়েন্টরা একই কোম্পানিকে গ্রেড করা হচ্ছে। কিন্তু $40 মিলিয়ন সিরিজ A, আটগুণ রাজস্ব বৃদ্ধি এবং বায়োসিকিউরিটির জন্য ফাইন্যান্সের চাহিদা, বাজি হল স্বাধীন-অনুভূতি মূল্যায়ন পরিকাঠামো হয়ে উঠছে - এমন একটি পরিষেবা যা AI অর্থনীতির ফলাফলগুলি চাটুকার হোক বা না হোক তার জন্য অর্থ প্রদান করবে৷

এআই থেকে এগিয়ে থাকুন

কে পরিমাপকদের পরিমাপ করে? AI Buzz Wire, আপনার ব্রেকিং এআই নিউজ এর উৎস থেকে AI মূল্যায়নের ব্যবসা এবং স্টার্টআপগুলি এটিকে পুনর্নির্মাণ করছে।

সর্বশেষ AI খবর পড়ুন →