Syarikat AI Jerman Aleph Alpha telah mengeluarkan Kolibri, model bahasa Mixture-of-Experts berwajaran terbuka yang dibina dari bawah untuk bahasa Jerman dan Inggeris. Model ini memuatkan 78.1 bilion jumlah parameter tetapi mengaktifkan hanya 3.46 bilion daripadanya bagi setiap token — kira-kira 4.4 peratus — dan dihantar di bawah lesen Apache 2.0 yang permisif pada Hugging Face. Ia menerima sehingga 1,048,576 token konteks dan membolehkan pengguna menetapkan usaha penaakulan bagi setiap permintaan. Bagi pembaca yang menjejaki ekosistem wajaran terbuka, ini berada bersama [perkembangan AI terkini] kami(https://aibuzzwire.news).
Keluaran ini adalah kenyataan yang disengajakan tentang tempat Aleph Alpha melihat pasarannya: penempatan berdaulat dalam sektor terkawal seperti pentadbiran awam, industri dan aeroangkasa, di mana mengetahui dengan tepat di mana model dilatih, tentang data apa dan di bawah rangka kerja undang-undang yang bukan bagus untuk dimiliki tetapi merupakan keperluan perolehan.
Apa sebenarnya Kolibri
Kolibri, dirujuk sebagai Kolibri-1 dalam bahan teknikal, ialah pengubah MoE Inggeris-Jerman dwibahasa yang dikatakan oleh Aleph Alpha telah dibangunkan dari hujung ke hujung oleh pasukan di Jerman. Menurut laporan penyelidikan teknikal syarikat, pasukan itu mengawal saluran paip penuh — data, seni bina, infrastruktur latihan, pasca latihan dan penilaian — dan bukannya bermula dari pusat pemeriksaan makmal lain.
Latihan dijalankan pada infrastruktur yang terletak di Jerman dan Finland. Proses reka bentuk secara eksplisit menyasarkan pematuhan kepada Kod Amalan AI Tujuan Am EU, Akta AI EU dan GDPR, dan Aleph Alpha adalah penandatangan Kod tersebut. Syarikat itu berkata saluran paip datanya menyunting data peribadi sebelum latihan, butiran yang ditujukan secara langsung kepada pembeli sektor awam yang tidak boleh memasukkan data warganegara secara sah ke dalam model asal yang tidak jelas.
Ia berjalan pada satu GPU
Kebolehlaksanaan jelas merupakan kekangan reka bentuk, bukan pemikiran yang tidak diingini. Pusat pemeriksaan FP8 mempunyai berat kira-kira 78GB dan berjalan pada satu NVIDIA B200, B300 atau H200 — atau pada dua H100 SXM5 GPU — disampaikan melalui vLLM dengan penaakulan Kolibri khusus dan penghurai panggilan alat. Untuk model 78 bilion parameter, itu merupakan jejak perkakasan yang sederhana, dan ia merupakan hasil langsung daripada reka bentuk MoE yang jarang: dengan hanya 3.46 bilion parameter aktif bagi setiap token, kos inferens menjejaki kiraan parameter aktif dan bukannya jumlah keseluruhan.
Pakar jarang dan perhatian hibrid
Di bawah hud, Kolibri menyusun 50 blok pengubah dengan lebar model 2,560. Setiap lapisan MoE menjaringkan semua 384 pakar yang dihalakan dengan penghala sigmoid, menghantar setiap token ke 6 teratas dan sentiasa menjalankan 1 pakar yang dikongsi bersama mereka. Muatan pakar diseimbangkan menggunakan dua teknik dengan nama sup mengikut abjad — Pengimbangan Kuantil Tepat dan Suntikan Ralat Beban — yang menghalang penghala daripada meruntuhkan semua trafik kepada segelintir pakar.
Perhatian adalah di mana seni bina menjadi lebih menarik. Kolibri menggunakan perhatian pertanyaan berkumpulan dengan 48 kepala pertanyaan dan 4 kepala KV, tetapi lapisannya tidak seragam: setiap blok kelima menggunakan perhatian penuh tanpa pengekodan kedudukan, manakala 40 blok lain menggunakan perhatian tetingkap gelongsor ke atas 512 token sebelumnya, dengan RoPE. Akibat praktikal ialah kecekapan memori — lapisan tetingkap gelongsor memegang cache KV bersaiz tetap, jadi hanya 10 daripada 50 lapisan tumbuh dengan panjang konteks. Pada pengiraan dipadankan, Aleph Alpha melaporkan bahawa reka bentuk hibrid menyokong jujukan empat kali lebih lama daripada model perhatian penuh yang setara. Begitulah cara model saiz ini menuntut tetingkap konteks satu juta token tanpa infrastruktur eksotik.
Tokenizer dibina untuk bahasa Jerman
Kebanyakan tokenizer sempadan menganggap bahasa Jerman sebagai sesuatu yang difikirkan semula, membahagikan kata majmuk panjangnya kepada serpihan yang meningkatkan kiraan token dan kos yang berkesan. Aleph Alpha menyerang perkara ini secara langsung dengan UniBPE, perbendaharaan kata 128,000 token yang membina menggabungkan cara BPE lakukan tetapi menjaringkan setiap gabungan dengan kehilangan Unigram.
Nombor membuat kes itu. Pada teks Jerman, tokenizer Kolibri mencapai 4.90 bait setiap token, berbanding 4.35 untuk tokenizer GPT-5 — bermakna 11.2 peratus lebih sedikit token pada teks web Jerman. Dalam bahasa Inggeris, Kolibri sebenarnya muncul di hadapan juga, pada 4.58 bait setiap token berbanding 4.67 GPT-5. Bagi pelanggan perusahaan yang membayar dengan token, itu ialah diskaun langsung pada setiap beban kerja bahasa Jerman.
Dilatih pada skala sempadan
Latihan yang dijalankan di belakang Kolibri adalah besar. Pra-latihan meliputi 20 trilion token pada 768 NVIDIA B200 GPU, diikuti oleh 3.44 trilion token pertengahan latihan pada panjang jujukan 65,536 token. Saluran paip kemudiannya bergerak melalui peringkat penalaan halus dan pembelajaran pengukuhan yang diawasi untuk menghasilkan model berkeupayaan penaakulan mengikut arahan yang terakhir. Syarikat itu telah menerbitkan laporan penyelidikan teknikal yang meliputi proses itu, tahap pendedahan yang luar biasa untuk makmal Eropah dan yang jelas bertujuan membina kepercayaan dengan pelanggan terkawal.
Maksudnya untuk dorongan AI Eropah
Kolibri memasuki pasaran di mana keluaran berat terbuka dari makmal Amerika dan China mendominasi perbualan, dan di mana kerajaan Eropah semakin lantang bersuara tentang kedaulatan digital. Pertaruhan Aleph Alpha ialah sebahagian daripada pasaran itu — kementerian, industri bersebelahan pertahanan, infrastruktur kritikal — akan membayar untuk model yang bukan sahaja berwajaran terbuka tetapi boleh dipastikan Eropah dalam pengendalian data, lokasi latihan dan postur undang-undangnya.
Sama ada pertaruhan itu membuahkan hasil bergantung pada soalan yang belum dijawab oleh keluaran: bagaimana Kolibri menanda aras terhadap model terbuka sempadan pada penilaian standard, dan seberapa cepat ekosistem alat terbentuk di sekelilingnya. Apa yang diwujudkan oleh keluaran itu ialah keupayaan latihan bertindanan penuh, bersebelahan sempadan kini wujud di dalam EU, dengan kertas kerja untuk dipadankan. Bagi organisasi yang terikat dengan GDPR dan Akta AI, gabungan itu mungkin lebih penting daripada kedudukan papan pendahulu.
---
Kekal Mendahului AIDapatkan berita, analisis dan penemuan terkini AI — semuanya di satu tempat.
Baca lebih banyak berita AI →
