Google ने बुधवार को जेमिनी 4 नियॉन पेश किया, जो उसके जेमिनी 4 मॉडल परिवार का नवीनतम संयोजन है और, जैसा कि डिकोडर ने बताया, यह चौथा नया जेमिनी मॉडल है जिसे Google ने एक महीने में शिप किया है। Google नियॉन को एक मध्य-स्तरीय वर्कहॉर्स के रूप में रखता है, जो सॉफ्टवेयर इंजीनियरिंग, ज्ञान कार्य और वैज्ञानिक वर्कफ़्लोज़ में तेजी से एंड-टू-एंड कार्य पूरा करने के साथ सीमांत-स्तरीय बुद्धिमत्ता को जोड़ता है - और इसकी कीमत कच्चे क्षमता पर चलने वाले बड़े मॉडलों से काफी कम है।
Google डीपमाइंड के एसवीपी और चीफ एआई आर्किटेक्ट ने घोषणा में लिखा, "आज, हम जेमिनी 4 नियॉन पेश कर रहे हैं - जो जटिल सॉफ्टवेयर इंजीनियरिंग, ज्ञान कार्य और विज्ञान वर्कफ़्लो में तेजी से एंड-टू-एंड कार्य पूरा करने के साथ फ्रंटियर-स्तरीय इंटेलिजेंस ला रहा है।" सिलिकॉनएंगल ने बताया कि मध्य स्तरीय मॉडल कुछ मैट्रिक्स पर जीत हासिल करते हुए अपने बड़े भाई कार्बन की तुलना में तीन गुना तेज चलता है। For more context on this story, see our ongoing AI trends.
जहां नियॉन बेंचमार्क पर रैंक करता है
Google ने कहा कि आर्टिफिशियल एनालिसिस इंटेलिजेंस इंडेक्स पर, नियॉन को अपने xhigh सोच स्तर पर 61 अंक प्राप्त हुए हैं, जो कुल मिलाकर #3 स्थान पर है - बड़े, धीमे मॉडल के ठीक पीछे। वाल्स इंडेक्स पर यह 70.9 प्रतिशत के साथ #2 स्थान पर है और लागत बनाम प्रदर्शन की पेरेटो सीमा पर है। यह लीगल रिसर्च बेंच और टैक्स एजेंट बेंच दोनों पर #1 स्थान पर है, और Google ने सर्ज एआई मूल्यांकन का हवाला देते हुए इसे वित्त, लेखांकन, स्प्रेडशीट मॉडलिंग और जटिल बाधा अनुसरण को कवर करने वाले अधिकांश बेंचमार्क पर #1 स्थान दिया है।
एजेंट-फ्लेवर स्कोर घोषणा में समान रूप से प्रमुख हैं: जैपियर के ऑटोमेशनबेंच पर कुल मिलाकर #1 56.3 प्रतिशत, एंडोन लैब्स के वेंडिंग-बेंच 2 लॉन्ग-होराइजन बिजनेस सिमुलेशन पर $16,843 के साथ #1, एजेंट्स लास्ट एग्जाम v1.1 पर 75.8 प्रतिशत, और गहन पेशेवर चार्ट पढ़ने के लिए चार्टोग्राफी पर 73.5 प्रतिशत। एरेना के नए एजेंट एरेना इंडेक्स पर, 4,200 से अधिक वास्तविक-विश्व एजेंट सत्रों से निर्मित, नियॉन ने 1336 के स्कोर के साथ विश्व स्तर पर #2 की शुरुआत की। वैज्ञानिक और गणितीय तर्क में, Google टर्मिनल-बेंच साइंस (70.5 प्रतिशत), रीमैनबेंच (84.0 प्रतिशत), और एचएलई-डायमंड (71.3 प्रतिशत) पर अपनी श्रेणी में सर्वश्रेष्ठ परिणामों की रिपोर्ट करता है।
लंबे समय से चल रहे कोडिंग एजेंटों के लिए निर्मित
कोडिंग वह जगह है जहां Google नियॉन को सबसे कठिन लक्ष्य बना रहा है। यह मॉडल आर्टिफिशियल एनालिसिस कोडिंग एजेंट इंडेक्स पर 58.6 पर समग्र रूप से #1 रैंक पर है, टर्मिनल-बेंच 4.1 पर 65.2 प्रतिशत पोस्ट करता है, और फ्रंटियरकोड 2.0 पर इसकी डिफ़ॉल्ट उच्च सेटिंग पर 46.2 प्रतिशत स्कोर करता है। वेंचरबीट की हेडलाइन ने प्रतिस्पर्धी तस्वीर को स्पष्ट रूप से प्रस्तुत किया: ओपस 5.5-स्तरीय कोडिंग प्रदर्शन 25 प्रतिशत कम एपीआई टोकन कीमतों पर - एंथ्रोपिक के क्लाउड कोडिंग मॉडल पर एक सीधा शॉट, जिसने इस सप्ताह एंथ्रोपिक के रिकॉर्ड आईपीओ के साथ अपना खुद का बाजार मील का पत्थर लॉन्च किया।
सबसे उल्लेखनीय संख्या Google के सॉफ्टवेयर इंजीनियरिंग स्वीप बेंचमार्क SWE-स्वीप पर है: नियॉन मानक मिनी-SWE हार्नेस पर केवल 12.8 प्रतिशत का प्रबंधन करता है, लेकिन Google एंटीग्रेविटी, कंपनी की एजेंट आईडीई के अंदर चलने पर दावा किए गए अत्याधुनिक 39.0 प्रतिशत से तीन गुना अधिक है - एक आंकड़ा Google यह तर्क देने के लिए उपयोग करता है कि एक मॉडल के चारों ओर हार्नेस उतना ही मायने रखता है जितना कि मॉडल। नियॉन को एक तेज़ ऑर्केस्ट्रेटर के रूप में कार्य करने के लिए भी इंजीनियर किया गया है जो एंटीग्रेविटी के अंदर समानांतर हाइड्रोजन उप-एजेंटों को निर्देशित करता है, अनावश्यक फ़ाइल को पढ़ता है और लंबे सत्रों में संदर्भ संघनन को संभालता है।
Google ने शोकेस बिल्ड के साथ मॉडल की एजेंटिक रेंज का प्रदर्शन किया: ब्लेंडर MCP के माध्यम से उत्पन्न एक फोटोरियलिस्टिक 3D लैब बेंच, कस्टम शेडर्स की 10,000 से अधिक लाइनों के साथ वास्तविक मोंट ब्लांक ऊंचाई वाले इलाके पर खरोंच से लिखा गया एक प्रथम-व्यक्ति WebGL2 स्की सिम्युलेटर, और एक एजेंट झुंड जिसने 500,000 से अधिक लाइव फॉर्मूलों के माध्यम से एक छवि को 100,000-सेल Google शीट रनिंग एज डिटेक्शन में बदल दिया।
मूल्य निर्धारण जो सीमा को कम करता है
1 मिलियन-टोकन संदर्भ विंडो के साथ, नियॉन की लागत $3 प्रति मिलियन इनपुट टोकन और $15 प्रति मिलियन आउटपुट टोकन है। कैश्ड इनपुट टोकन $0.15 प्रति मिलियन पर चलते हैं - 95 प्रतिशत की छूट जो एजेंटिक वर्कफ़्लो के लिए डिज़ाइन की गई है जो एक ही संदर्भ को बार-बार पढ़ता है। अपने डिफ़ॉल्ट उच्च सोच स्तर पर, Google का कहना है कि नियॉन कार्बन की तुलना में प्रति कार्य 32 प्रतिशत कम लागत प्रदान करता है, और xhigh पर इसकी उच्चतम सेटिंग्स पर शीर्ष प्रतिस्पर्धी फ्रंटियर मॉडल की तुलना में प्रति कार्य 36 प्रतिशत या अधिक कम लागत आती है।
मॉडल एक परिष्कृत चार-स्तरीय सोच सीढ़ी की शुरुआत करता है - जो सबसे कठिन इंजीनियरिंग और विश्लेषणात्मक कार्यभार के लिए तेज कम लागत वाले स्तर से xhigh तक फैली हुई है - टीमों को प्रति कार्य खुफिया जानकारी और टोकन खर्च करने की सुविधा देता है। Google यह भी रिपोर्ट करता है कि नियॉन मध्य-कार्य सुधारों के लिए सफाई से अनुकूलन के लिए नए एजेंट एरेना इंडेक्स पर संचालन क्षमता में # 2 रैंक पर है, और आंतरिक एंटीग्रेविटी परीक्षण में अब तक की सबसे कम निर्माण दर दर्ज करता है।
सुरक्षा को प्रथम श्रेणी का उपचार मिलता है
प्रक्षेपण का एक उल्लेखनीय जोर रक्षात्मक सुरक्षा है। ऑटोबैक्सबेंच पर, जो परीक्षण करता है कि मॉडल शुरू से ही सुरक्षित कोड उत्पन्न करते हैं या नहीं, नियॉन आसान, मध्यम और कठिन चुनौतियों में कार्बन से बेहतर प्रदर्शन करता है और कठिन स्तर पर 76 प्रतिशत पर अत्याधुनिक हासिल करता है। WebExploitBench v1.2, एक पैठ-परीक्षण बेंचमार्क पर, Google 51.26 प्रतिशत पर अत्याधुनिक होने का दावा करता है - प्रतिस्पर्धी बड़े मॉडलों की आधी कीमत पर।
Google उस क्षमता का भी उत्पादन कर रहा है: कंपनी के फेयरविंड प्रोग्राम के माध्यम से आने वाले दिनों में विश्वसनीय रक्षकों के लिए भेद्यता खोज, सत्यापन और पैचिंग को कवर करने वाला "साइबर के लिए जेमिनी 4 नियॉन" कॉन्फ़िगरेशन।
उपलब्धता
जेमिनी 4 नियॉन आज जेमिनी एपीआई और गूगल एआई स्टूडियो में, जेमिनी में एपीआई और मॉडल ड्रॉपडाउन के माध्यम से व्यापार के लिए, और Google एंटीग्रेविटी और जेमिनी ऐप दोनों में भुगतान किए गए Google एआई प्रो और अल्ट्रा ग्राहकों के लिए लॉन्च हो रहा है। हैकर न्यूज़ पर डेवलपर्स द्वारा एक चेतावनी सामने आई: Google क्लाउड का दस्तावेज़ एंटरप्राइज़ एजेंट प्लेटफ़ॉर्म पर दुरुपयोग-निगरानी शीघ्र लॉगिंग के साथ मॉडल जहाजों को इंगित करता है और कोई ऑप्ट-आउट नहीं देता है - संवेदनशील कोड को संभालने वाली टीमों के लिए एक विचार।
नियॉन के साथ, Google अपनी रणनीति को स्पष्ट कर रहा है: एक विशाल मॉडल को बेचने के बजाय, यह तत्व-नाम वाले मॉडलों के एक परिवार को शिप करता है - कार्बन, हाइड्रोजन, आर्गन और अब नियॉन - और बेंचमार्क को इस बारे में बहस करने देता है कि लागत-क्षमता सीमा पर कौन सा बैठता है। इस सप्ताह एंथ्रोपिक की ट्रिलियन-डॉलर की शुरुआत देखने वाली कोडिंग-भारी टीमों के लिए, कीमत में कटौती पिच है: प्रति-कार्य लागत के एक अंश पर निकट-सीमांत बुद्धिमत्ता।
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →