சீன AI ஆய்வகம் அதன் சொந்த பெரிய அளவிலான உற்பத்திச் சேவைகளுக்கு சக்தியளிப்பதாகக் கூறும் உயர்-செயல்திறன் அனுமான கட்டமைப்பான டீப்ஸீக் திறந்த மூல டீப்இன்ஃபரைக் கொண்டுள்ளது. இந்த குறியீடு Apache 2.0 உரிமத்தின் கீழ் GitHub இல் தோன்றியது மற்றும் திங்களன்று நூற்றுக்கணக்கான ஆதரவைப் பெற்ற ஹேக்கர் செய்தி விவாதத்திற்குப் பிறகு, சில நாட்களில் 5,500 க்கும் மேற்பட்ட நட்சத்திரங்களைச் சேகரித்துள்ளது.

திட்டத்தின் README இன் படி, வெளியீடு அதன் மாடல்களை அளவில் வழங்குவதற்கு DeepSeek நம்பியிருக்கும் முக்கிய அம்சங்களுடன் ஆஃப்லைன் அனுமானத்தை வழங்குகிறது. இயல்புநிலை உள்ளமைவு DeepSeek-V4.1-Flash ஐ குறிவைக்கிறது, மேலும் கட்டமைப்பானது DeepSeek-V4.1-Flash-1017 சோதனைச் சாவடியை ஹக்கிங் ஃபேஸிலிருந்து முதல் ஓட்டத்தில் தானாகவே பதிவிறக்குகிறது. For more context on this story, see our ongoing breaking AI news.

DeepInfer உண்மையில் என்ன உள்ளடக்கியது

டீப்இன்ஃபர் என்பது புதிதாக மீண்டும் எழுதப்பட்டதல்ல. இது DeepSeek ஆனது கடந்த இரண்டு வருடங்களாக ஃபிளாஷ்எம்எல்ஏ, டீப்ஜெஎம்எம், டீப்இபி, டைல்கர்னல்கள், டீப்செலெக்ட் மற்றும் தனிப்பயன் டைல்லாங் கர்னல்கள் ஆகியவற்றைத் தனித்தனியாக வெளியிட்டு வருகிறது.

கட்டமைப்பானது பல சேவை நுட்பங்களையும் அனுப்புகிறது, அவை களஞ்சியத்தில் விரிவாக ஆவணப்படுத்தப்பட்டுள்ளன:

  • நம்பிக்கை-திட்டமிடப்பட்ட சரிபார்ப்பு, வரைவு டோக்கன்கள் மற்றும் நம்பிக்கை மதிப்பீடுகளைப் பயன்படுத்தி சரிபார்ப்பை திட்டமிட, சூழல் மாறிகள் மூலம் கட்டுப்படுத்தக்கூடிய ஊக டிகோடிங் அணுகுமுறை
  • Decoder SWA வரம்பிற்குட்பட்ட ரீப்ளே, இது வரிசையின் வரம்பிற்குட்பட்ட பின்னொட்டை மட்டும் மீண்டும் இயக்குவதன் மூலம் டிகோடர் முன் நிரப்புதலை குறைக்கிறது
  • ஒத்திசைவற்ற திட்டமிடல் இது CPU தொகுதி திட்டமிடலை சாதனம் செயல்படுத்துதலுடன் மேலெழுதுகிறது, இயல்பாகவே இயக்கப்பட்டது
  • தொகுப்பு-மாறாத அனுமானம், இது வெவ்வேறு தொகுதி கலவைகளில் மாதிரி முடிவுகளை ஒரே மாதிரியாக வைத்திருக்கும்
  • தீர்மான மாதிரி, ஒரே மாதிரியான உள்ளீடுகள் மற்றும் மாதிரி அளவுருக்களுக்கு ஒரே மாதிரியான வெளியீடுகளை உருவாக்குதல்
  • கட்டமைக்கப்பட்ட வெளியீடுகள், ரீஜெக்ஸ், JSON ஸ்கீமா அல்லது EBNF இலக்கணத்திற்கு தலைமுறையைக் கட்டுப்படுத்துகிறது

சோதனை விளையாட்டுப் பொருட்களைக் காட்டிலும், மறுஉருவாக்கம் செய்யக்கூடிய, உயர்-செயல்திறன் உரை உருவாக்கம் தேவைப்படும் ஆபரேட்டர்களை இலக்காகக் கொண்டது. ஒரு மாதிரி கொடுக்கப்பட்ட வெளியீட்டை ஏன் உருவாக்கியது என்பதை தணிக்கை செய்ய வேண்டிய நிறுவனங்களுக்கான குறிப்பிட்ட விஷயத்தில் தொகுதி மாறுபாடு மற்றும் உறுதியான மாதிரி.

NVIDIA மற்றும் Huawei Ascend, அருகருகே

மிகவும் உன்னிப்பாக கவனிக்கப்பட்ட விவரம் வன்பொருள் ஆதரவு. டீப்இன்ஃபர், CUDA 13 மூலம் NVIDIA SM100 GPUகளையும், CANN 9.2 மூலம் Huawei Ascend 950 NPUகளையும் குறிவைக்கிறது, Linux, GCC 13 மற்றும் Python 3.12 ஆகியவை இரண்டு பாதைகளுக்கும் முன்நிபந்தனைகளாக பட்டியலிடப்பட்டுள்ளன.

அந்த இரட்டை-தள நிலைப்பாடு டீப்சீக்கின் சமீபத்திய வரலாற்றுடன் ஒத்துப்போகிறது. நிறுவனம் பல மாதங்களாக அசென்ட் வன்பொருளுக்கான TileLang-அடிப்படையிலான மென்பொருளை உருவாக்கியது மற்றும் CUDA ஈடுசெய்ய முடியாதது என்ற அனுமானங்களை பகிரங்கமாக சவால் செய்தது. Ascend ஐ ஒரு முதல் தர குடிமகனாகக் கருதும் ஒரு உற்பத்தி அனுமானக் கட்டமைப்பை அனுப்புவது - ஒரு ஆராய்ச்சிக்குப் பின் சிந்தனையை விட - அந்த உத்தியை விரிவுபடுத்துகிறது, மேலும் அமெரிக்க ஏற்றுமதி கட்டுப்பாடுகள் சீன நிறுவனங்கள் எந்த என்விடியா சில்லுகளை வாங்கலாம் என்பதைக் கட்டுப்படுத்தும் நேரத்தில் இது இறங்குகிறது.

உள்நாட்டு சிலிக்கானை இயக்கும் சீன கிளவுட் ஆபரேட்டர்களுக்கு, Ascend 950 ஐ ஆதரிக்கும் ஒரு பராமரிக்கப்பட்ட அனுமான இயந்திரம், என்விடியா சுற்றுச்சூழல் அமைப்புக்கு வெளியே எல்லைப்புற-வகுப்பு திறந்த மாதிரிகளை வழங்குவதற்கான நடைமுறை தடைகளில் ஒன்றை நீக்குகிறது.

வெளியீட்டில் என்ன காணவில்லை

இது இன்னும் முழுமையான சேவை ஸ்டாக் ஆகவில்லை என்பதை README தெளிவாகக் கூறுகிறது. டீப்இன்ஃபரில் கட்டமைக்கப்பட்ட ஒரு உற்பத்தி வரிசைப்படுத்தலுக்கு இன்னும் மூன்று கூறுகள் தேவை. பிரித்தெடுப்பதற்கு தேவையான பெரும்பாலான இயந்திர செயல்பாடுகள் ஏற்கனவே செயல்படுத்தப்பட்டதாக களஞ்சியம் குறிப்பிடுகிறது, ஆனால் சுற்றியுள்ள அமைப்புகள் ஆபரேட்டரிடம் விடப்படுகின்றன.

நடைமுறையில் டீப்இன்ஃபர் சமூக சேவை கட்டமைப்புகளுக்கு மாற்றாக டீப்சீக்கின் உள்கட்டமைப்பின் கம்ப்யூட் இன்ஜினாக விளங்குகிறது. உண்மையான ட்ராஃபிக்கை முன் வைப்பதற்கு முன், குழுக்கள் அதை கேச்சிங் மற்றும் ரூட்டிங் லேயர்களுடன் ஒருங்கிணைக்க வேண்டும்.

அது ஏன் முக்கியம்

DeepSeek இன் வணிகமானது மாடல்களை மிகவும் மலிவாக வழங்குவதில் தங்கியுள்ளது, மேலும் அந்த வணிகத்தின் பொருளாதாரம் தீவிர ஆய்வுக்கு உட்பட்டது, நிறுவனம் அதன் முந்தைய குறைந்த விலை நிலைப்படுத்தலில் இருந்து விலை நிர்ணயம் என்று விவரித்ததை நோக்கி செல்கிறது. உண்மையான உற்பத்தி அனுமானப் பாதையைத் திறப்பது - ஆராய்ச்சி குறியீடு மட்டுமல்ல - வெளிப்புற டெவலப்பர்கள் மற்றும் கிளவுட் வழங்குநர்களுக்கு அந்தச் செலவுகளுக்குப் பின்னால் உள்ள நுட்பங்களைப் பற்றிய வழக்கத்திற்கு மாறாக நேரடியான பார்வையை வழங்குகிறது.

இது திட்டமிட்ட முறையையும் தொடர்கிறது. FlashMLA, DeepGEMM மற்றும் DeepEP அனைத்தும் தனித்தனியாக வெளியிடப்பட்டது, ஆய்வகம் அதன் அடுக்கை உருவாக்கியது; டீப்இன்ஃபர் எவ்வாறு துண்டுகள் ஒன்றாக பொருந்துகின்றன என்பதை திறம்பட ஆவணப்படுத்துகிறது. ஆராய்ச்சியாளர்களுக்கு, வெளியீடு DeepSeek இன் வெளியிடப்பட்ட செயல்திறன் உரிமைகோரல்களை மீண்டும் உருவாக்குவதை எளிதாக்குகிறது. போட்டியாளர்களுக்கு, இது திறந்த அனுமான அடுக்காகக் கணக்கிடப்படுவதற்கான பட்டியை உயர்த்துகிறது.

Apache 2.0 உரிமம் காப்பிலெஃப்ட் கடமைகள் இல்லாமல் வணிகப் பயன்பாட்டை அனுமதிக்கிறது, அதாவது மேற்கத்திய கிளவுட் வழங்குநர்கள் அதை சட்டப்பூர்வமாக வரிசைப்படுத்தலாம் - அதன் மாதிரி ஆதரவு தற்போது DeepSeek இன் சொந்த V4.1-ஃப்ளாஷ் சோதனைச் சாவடியில் மட்டுமே உள்ளது, எனவே பெரும்பாலானவை இப்போது அதை ஒரு குறிப்பு செயலாக்கமாக கருதும்.

என்ன பார்க்க வேண்டும்

DeepInfer பரவலாக ஏற்றுக்கொள்ளப்படுகிறதா அல்லது ஆர்வமாக இருக்கிறதா என்பதை மூன்று கேள்விகள் தீர்மானிக்கும். முதலில், சமூகம் அதை V4.1-Flashக்கு அப்பால் மற்ற மாதிரி கட்டமைப்புகளுக்கு போர்ட் செய்கிறது. இரண்டாவதாக, களஞ்சியத்தின் செயல்திறன் அட்டவணையில் வெளியிடப்பட்ட பெஞ்ச்மார்க் முடிவுகள் டீப்சீக்கின் சொந்த கிளஸ்டர்களுக்கு வெளியே உள்ள வன்பொருளை வைத்திருக்குமா. மூன்றாவதாக, காணாமல் போன துண்டுகள் - KV கேச் மேலாண்மை, பிரித்தெடுத்தல் மற்றும் சுமை சமநிலை - எதிர்கால வெளியீடுகளில் வந்து, இயந்திரத்தை முழுமையான சேவை கட்டமைப்பாக மாற்றுகிறது.

தற்போதைக்கு, வெளியீடு என்பது ஒரு ஆய்வகத்திலிருந்து ஒரு குறிப்பிடத்தக்க வெளிப்படைத்தன்மை நகர்வாகும், அதன் மாதிரிகளுக்கு அடியில் உள்ள உள்கட்டமைப்பை வெளியிட மீண்டும் மீண்டும் தேர்வு செய்துள்ளது. சோதனை செய்ய விரும்பும் டெவலப்பர்கள், ஆதரிக்கப்படும் பிளாட்ஃபார்மில் மூலத்திலிருந்து டீப்இன்ஃபரை உருவாக்கலாம் மற்றும் ஒற்றை உதாரண ஸ்கிரிப்ட் மூலம் ஆஃப்லைன் அனுமானத்தை இயக்கலாம்.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →