செரிப்ராஸ் அதன் செரிப்ராஸ் இன்ஃபெரன்ஸ் பிளாட்ஃபார்மின் பொது இறுதிப் புள்ளிகளில் Qwen 3.8 27B ஐச் சேர்த்துள்ளது, அங்கு நிறுவனத்தின் மாதிரி பட்டியல் ஆவணங்களின்படி, திறந்த எடை மாதிரியானது வினாடிக்கு சுமார் 1,500 டோக்கன்களில் இயங்குகிறது. இந்தப் பட்டியல் அலிபாபாவின் மிகவும் பரவலாகப் பயன்படுத்தப்படும் திறந்த மாதிரிக் குடும்பங்களில் ஒன்றான வழக்கமான GPU-ஹோஸ்ட் செய்யப்பட்ட சேவையைக் குறைக்கும் வேகத்தில் கிடைக்கும்.

இந்த அறிவிப்பு டெவலப்பர்களிடமிருந்து உடனடி கவனத்தை ஈர்த்தது: ஒரு நாளுக்குள் ஹேக்கர் நியூஸில் கதை 600 புள்ளிகளுக்கு மேல் சேகரிக்கப்பட்டது, இது வேகமான, மலிவான அனுமானத்திற்கான சூடான தேவையை பிரதிபலிக்கும் ஒரு நிலை. அனுமான சந்தையின் பரந்த பார்வைக்கு, பிரேக்கிங் AI செய்தி மேசை ஒவ்வொரு முக்கிய பிளாட்ஃபார்ம் புதுப்பிப்புகளையும் அது இறங்கும் போது பின்பற்றுகிறது.

அட்டவணையில் உள்ள விவரக்குறிப்புகள்

செரிப்ராஸின் ஆவணங்களில், Qwen 3.8 27B 27 பில்லியன் அளவுருக்களைக் கொண்டுள்ளது மற்றும் இலவச அடுக்குகளில் 64K டோக்கன்களையும், கட்டண அடுக்குகளில் 128K டோக்கன்களையும் ஆதரிக்கிறது, இது வினாடிக்கு சுமார் 1,500 டோக்கன்களில் இயங்குகிறது. இது OpenAI இன் ஓப்பன்-வெயிட் GPT-OSS 120B மாடலுடன் இணைக்கப்பட்டுள்ளது, அதே அட்டவணையானது வினாடிக்கு தோராயமாக 3,000 டோக்கன்களை இலவச அடுக்கில் 65K சூழல் மற்றும் கட்டண அடுக்குகளில் 131K என பட்டியலிடுகிறது.

இரண்டு மாடல்களும் செரிப்ராஸின் இலவச சோதனை மற்றும் கட்டண வரம்புகளுக்கு உட்பட்டு பணம் செலுத்தும் அடுக்குகளில் கிடைக்கும். முன்பதிவு திறன், அதிக செயல்திறன் அல்லது உற்பத்தி SLAகள் தேவைப்படும் வாடிக்கையாளர்கள், நிறுவனத்தின் அர்ப்பணிப்பு முனைப்புள்ளிகள் வழங்கலுக்கு அனுப்பப்படுகின்றனர், இது பொது முனைப்புள்ளிகளில் இரண்டையும் தாண்டி கூடுதல் மாதிரி குடும்பங்களுக்கான பாதையாகவும் பட்டியலிடப்பட்டுள்ளது.

சூழல் சாளரங்கள் வேக புள்ளிவிவரங்களுடன் கவனத்திற்குரியவை. இலவச அடுக்கில் அறுபத்து நான்காயிரம் டோக்கன்கள் - மற்றும் 128,000 பணம் செலுத்தினால் - ஒரே நேரத்தில் கணிசமான கோட்பேஸ்கள், நீண்ட ஆவணங்கள் அல்லது நீட்டிக்கப்பட்ட ஏஜென்ட் டிரான்ஸ்கிரிப்ட்களை நினைவகத்தில் வைத்திருக்க போதுமானது, இது விரைவான டிகோடிங் செலுத்தும் சரியான பணிச்சுமைக்கு முக்கியமானது. செரிப்ராஸின் ஆவணப்படுத்தலில் OpenAI இணக்கத்தன்மை வழிகாட்டி உள்ளது, ஏற்கனவே இருக்கும் குறியீடு OpenAI SDK ஐ இலக்காகக் கொண்ட அணிகளுக்கான மாறுதல் செலவைக் குறைக்கிறது: கொள்கையளவில், Cerebras எண்ட்பாயிண்டில் ஏற்கனவே உள்ள கிளையண்டைச் சுட்டிக்காட்டுவது மீண்டும் எழுதுவதற்குப் பதிலாக உள்ளமைவு மாற்றமாகும்.

சீரமைக்கப்படாத மாதிரிகள், வெளிப்படையான சுருக்கம்

ஆவணத்தில் குறிப்பிடத் தகுந்த ஒரு விவரம், மாதிரி சுருக்கத்தை எவ்வாறு கையாள்கிறது என்பதை செரிப்ராஸ் வெளிப்படுத்தியது. அதன் பொது முனைப்புள்ளிகளில் உள்ள அனைத்து மாடல்களும் அசல், சீரமைக்கப்படாத பதிப்புகள் என்றும், தரத்தைப் பாதுகாக்க சேமிப்பகத்தின் போது மட்டுமே தேர்ந்தெடுக்கப்பட்ட எடை-மட்டும் அளவீடுகளைப் பயன்படுத்துகிறது என்றும் நிறுவனம் கூறுகிறது. உணர்திறன் அடுக்குகள் முழு துல்லியமாக இருக்கும், செயல்படுத்தல்கள், கவனம் மற்றும் KV தற்காலிக சேமிப்பு அளவு இல்லாமல் இருக்கும், மேலும் டீகுவாண்டேசேஷன் பறக்கும்.

செரிப்ராஸ் தனது ஆராய்ச்சியை REAP (Router-weighted Expert Activation Pruning) போன்ற சீரமைப்பு நுட்பங்களைப் பற்றிய தனது ஆராய்ச்சியை வெளிப்படுத்துகிறது: கத்தரிக்கப்பட்ட மாறுபாடுகள் ஹக்கிங் ஃபேஸில் ஆராய்ச்சி சமூகத்துடன் பகிரப்படுகின்றன, ஆனால் அவை பொது API மூலம் வழங்கப்படுவதில்லை. திறந்த மாதிரிகளை எங்கு இயக்க வேண்டும் என்பதைத் தேர்ந்தெடுக்கும் டெவலப்பர்களுக்கு, சரியாக என்ன வழங்கப்படுகிறது என்பது குறித்த வெளிப்படைத்தன்மை வழக்கத்திற்கு மாறாக வெளிப்படையானது.

ஏன் டோக்கன் வேகம் முக்கியமானது

முகவர் மற்றும் குறியீட்டு பணிச்சுமைகளுக்கு இது போன்ற செயல்திறன் எண்கள் மிகவும் முக்கியம். நூற்றுக்கணக்கான மாடல் அழைப்புகளை இணைக்கும் பயன்பாடுகள் - குறியீட்டு முகவர்கள், தன்னாட்சி பணிப்பாய்வுகள், நிகழ்நேர உதவியாளர்கள் - ஒவ்வொரு அடியிலும் ஒரு டோக்கன் தாமதத்தை பெருக்குகிறது, எனவே ஒரு வினாடிக்கு 50 மற்றும் 1,500 டோக்கன்களுக்கு இடையே உள்ள வித்தியாசம் தரமான வித்தியாசமான அனுபவத்தை உருவாக்குகிறது. நீண்ட நிறைவுகளை ஸ்ட்ரீம் செய்யும் ஊடாடும் பயன்பாடுகள் மிகவும் தெளிவாகப் பயனடைகின்றன.

வர்த்தகம் என்பது நோக்கம். 27-பில்லியன் அளவுரு மாதிரியானது, கடினமான பகுத்தறிவு பணிகளில் உள்ள எல்லை அமைப்புகளுடன் பொருந்தாது, மேலும் செரிப்ராஸின் சொந்த ஆவணங்கள் அதிக உற்பத்திப் பணிச்சுமையை அர்ப்பணிப்புத் திறனை நோக்கிச் செலுத்துகின்றன. ஆனால் நடுத்தர அளவிலான திறந்த மாதிரிகள் ஏற்கனவே போதுமானதாக இருக்கும் பெரிய நடுத்தர பணிகளுக்கு - சுருக்கம், வகைப்பாடு, கருவி பயன்பாடு, குறியீடு எடிட்டிங் - வேகம் வேறுபடுத்தியாகிறது.

டெவலப்பர்கள் எடைபோடும் விலை பரிமாணமும் உள்ளது. பொது எண்ட்பாயிண்ட் மாதிரிகள் எந்தவொரு உறுதிப்பாட்டிற்கும் முன் இலவச சோதனையில் பயன்படுத்தக்கூடியவை, இது ஒரு அணியின் சொந்த பணிச்சுமைக்கு எதிரான தரப்படுத்தலை அடிப்படையாக உராய்வு இல்லாததாக ஆக்குகிறது - முதல் டோக்கன் வழங்கப்படுவதற்கு முன் விற்பனை உரையாடல்கள் தேவைப்படும் நிறுவன ஒப்பந்தங்களுடன் முரண்படும் வேண்டுமென்றே ஆன்-ராம்ப். ஆவணப்படுத்தப்பட்ட விகித வரம்புகள் பார்ப்பதற்கான தடையாகும்: இலவச அடுக்கு அணுகல் வேகத்தை நிரூபிக்க உள்ளது, உற்பத்தி போக்குவரத்தை இயக்க அல்ல.

திறந்த மாதிரிகளுக்கான ஒரு பிஸி ஸ்ட்ரெட்ச்

திறந்த எடைகள் AI க்கான கூட்ட நெரிசலின் போது கூடுதலாக தரையிறங்குகிறது. ஐக்கிய அரபு எமிரேட்ஸை தளமாகக் கொண்ட ஆய்வக IFM ஆனது K2 Horizon ஐ அறிமுகப்படுத்தியது, இது ஆறு முழு திறந்த மாதிரிகள் இணைக்கப்பட்டுள்ளது, மேலும் Meta அதன் மியூஸ் குடும்பத்தை குறியீட்டு மற்றும் முகவர் பயன்பாட்டிற்காக தொடர்ந்து செயல்படுத்துகிறது. இதற்கிடையில், சீனாவில் திறந்த மாதிரி சுற்றுச்சூழல் அமைப்புகள், தொழில்துறை முழுவதும் வெளியீட்டு சுழற்சிகளை சுருக்கிய வேகத்தில் அனுப்புகின்றன.

டெவலப்பர்களைப் பொறுத்தவரை, திறந்த மாதிரி ஸ்டாக் ஒரே நேரத்தில் இரண்டு முனைகளில் முதிர்ச்சியடைகிறது: திறன், நடுத்தர அளவிலான மாடல்கள் அன்றாட பணிகளில் ஃபிளாக்ஷிப்களுடன் இடைவெளிகளை மூடுகின்றன, மற்றும் பொருளாதாரத்தை வழங்குகின்றன, ஏனெனில் சிறப்பு அனுமான வழங்குநர்கள் மூல வேகத்தில் போட்டியிடுகிறார்கள். செரிப்ராஸில் உள்ள Qwen 3.8 27B என்பது இரண்டு போக்குகளுக்கும் ஒரு தரவுப் புள்ளியாகும் - தற்போதைய தலைமுறை திறந்த மாதிரியானது, ஒரு வருடத்திற்கு முன்பு கவர்ச்சியான வேகத்தில், வேலைக்காக வன்பொருள் நோக்கத்திற்காக கட்டமைக்கப்பட்டது.

இயங்குதளத்தை மதிப்பிடும் டெவலப்பர்கள் தங்களுடைய சொந்த பணிச்சுமையைக் குறிக்க வேண்டும்: வெளியிடப்பட்ட வேகங்கள் பட்டியல் புள்ளிவிவரங்கள், நிஜ-உலக செயல்திறன் உடனடி நீளம், ஒத்திசைவு மற்றும் உள்ளமைவு ஆகியவற்றைப் பொறுத்தது, மேலும் இலவச அடுக்கின் வீத வரம்புகள் அதன் வேகத்திற்கு முன்பே பிணைக்கப்படும்.

AIக்கு முன்னால் இருங்கள்

ஒவ்வொரு மாதிரி வெளியீடும், அனுமானம் இயங்குதள புதுப்பிப்பு மற்றும் டெவலப்பர் கருவி வெளியீடு, அது நடக்கும் போது கண்காணிக்கப்படுகிறது — மேலும் AI செய்திகளைப் படிக்க →