Perusahaan AI Jerman, Aleph Alpha, telah merilis Kolibri, model bahasa Mixture-of-Experts open-weight yang dibuat dari awal untuk bahasa Jerman dan Inggris. Model ini mengemas total 78,1 miliar parameter tetapi hanya mengaktifkan 3,46 miliar parameter per token — sekitar 4,4 persen — dan dikirimkan di bawah lisensi Apache 2.0 yang permisif pada Hugging Face. Ia menerima hingga 1,048,576 token konteks dan memungkinkan pengguna mengatur upaya penalaran per permintaan. Bagi pembaca yang menelusuri ekosistem open-weight, hal ini sejalan dengan perkembangan AI terbaru.
Peluncuran ini merupakan pernyataan yang disengaja mengenai posisi Aleph Alpha dalam pasarnya: penerapan kedaulatan di sektor-sektor yang diatur seperti administrasi publik, industri, dan kedirgantaraan, dimana mengetahui secara pasti di mana suatu model dilatih, mengenai data apa, dan di bawah kerangka hukum apa yang bukan merupakan hal yang baik untuk dimiliki, namun merupakan persyaratan pengadaan.
Apa sebenarnya Kolibri itu
Kolibri, yang disebut sebagai Kolibri-1 dalam materi teknisnya, adalah transformator MoE bilingual Inggris-Jerman yang menurut Aleph Alpha dikembangkan secara menyeluruh oleh tim di Jerman. Menurut laporan penelitian teknis perusahaan, tim mengendalikan seluruh proses – data, arsitektur, infrastruktur pelatihan, pasca-pelatihan, dan evaluasi – daripada memulai dari pos pemeriksaan laboratorium lain.
Pelatihan dijalankan pada infrastruktur yang berlokasi di Jerman dan Finlandia. Proses desain secara eksplisit menargetkan kepatuhan terhadap Kode Praktik AI Tujuan Umum UE, UU AI UE, dan GDPR, dan Aleph Alpha adalah salah satu penandatangan Kode tersebut. Perusahaan tersebut mengatakan saluran datanya menyunting data pribadi sebelum pelatihan, sebuah rincian yang ditujukan langsung kepada pembeli sektor publik yang secara hukum tidak dapat memasukkan data warga ke dalam model yang tidak jelas asal usulnya.
Ini berjalan pada satu GPU
Deployability jelas merupakan kendala desain, bukan sebuah renungan. Pos pemeriksaan FP8 berbobot sekitar 78 GB dan berjalan pada satu NVIDIA B200, B300, atau H200 — atau pada dua GPU H100 SXM5 — disajikan melalui vLLM dengan penalaran Kolibri khusus dan parser panggilan alat. Untuk model dengan 78 miliar parameter, hal ini merupakan jejak perangkat keras yang sederhana, dan merupakan hasil langsung dari desain MoE yang jarang: dengan hanya 3,46 miliar parameter aktif per token, biaya inferensi melacak jumlah parameter aktif, bukan total.
Jarang ahli dan perhatian hibrida
Di bawah kapnya, Kolibri menumpuk 50 blok trafo dengan lebar model 2.560. Setiap lapisan MoE menilai 384 pakar yang dirutekan dengan router sigmoid, mengirimkan setiap token ke 6 teratas, dan selalu menjalankan 1 pakar bersama di samping mereka. Beban pakar diseimbangkan menggunakan dua teknik dengan nama sup abjad — Exact Quantile Balancing dan Load-Error Injection — yang menjaga agar router tidak memutus semua lalu lintas ke segelintir spesialis.
Perhatian adalah tempat arsitektur menjadi lebih menarik. Kolibri menggunakan perhatian kueri yang dikelompokkan dengan 48 kepala kueri dan 4 kepala KV, tetapi lapisannya tidak seragam: setiap blok kelima menggunakan perhatian penuh tanpa pengkodean posisi, sedangkan 40 blok lainnya menggunakan perhatian jendela geser pada 512 token sebelumnya, dengan RoPE. Konsekuensi praktisnya adalah efisiensi memori — lapisan jendela geser menyimpan cache KV berukuran tetap, sehingga hanya 10 dari 50 lapisan yang bertambah seiring dengan panjang konteks. Pada komputasi yang cocok, Aleph Alpha melaporkan bahwa desain hibrid mendukung urutan empat kali lebih lama dibandingkan model perhatian penuh yang setara. Begitulah cara model sebesar ini mengklaim jendela konteks satu juta token tanpa infrastruktur yang eksotik.
Tokenizer dibuat untuk bahasa Jerman
Sebagian besar pembuat token perbatasan memperlakukan bahasa Jerman sebagai sebuah renungan, membagi kata-kata majemuknya yang panjang menjadi beberapa bagian yang meningkatkan jumlah token dan biaya efektif. Aleph Alpha menyerang ini secara langsung dengan UniBPE, kosakata 128.000 token yang membangun penggabungan seperti yang dilakukan BPE tetapi menilai setiap penggabungan berdasarkan kerugian Unigram.
Angka-angka membuktikan hal ini. Pada teks Jerman, tokenizer Kolibri mencapai 4,90 byte per token, dibandingkan 4,35 untuk tokenizer GPT-5 — yang berarti 11,2 persen lebih sedikit token pada teks web Jerman. Dalam bahasa Inggris, Kolibri juga lebih unggul, dengan 4,58 byte per token dibandingkan GPT-5 4,67. Untuk pelanggan perusahaan yang membayar dengan token, itu adalah diskon langsung untuk setiap beban kerja berbahasa Jerman.
Dilatih pada skala perbatasan
Pelatihan yang dijalankan di belakang Kolibri sangat penting. Pra-pelatihan mencakup 20 triliun token pada 768 GPU NVIDIA B200, diikuti oleh 3,44 triliun token pertengahan pelatihan dengan panjang urutan 65,536 token. Pipeline tersebut kemudian bergerak melalui tahapan pembelajaran penyesuaian dan penguatan yang diawasi untuk menghasilkan model akhir yang mampu mengikuti instruksi dan memiliki kemampuan penalaran. Perusahaan telah menerbitkan laporan penelitian teknis yang mencakup proses tersebut, tingkat pengungkapan yang tidak biasa untuk laboratorium Eropa, dan laporan yang jelas bertujuan untuk membangun kepercayaan dengan pelanggan yang teregulasi.
Apa artinya bagi dorongan AI di Eropa
Kolibri memasuki pasar dimana rilis open-weight dari laboratorium Amerika dan Tiongkok mendominasi perbincangan, dan dimana pemerintah Eropa semakin vokal mengenai kedaulatan digital. Taruhan Aleph Alpha adalah bahwa sebagian dari pasar tersebut – kementerian, industri yang terkait dengan pertahanan, infrastruktur penting – akan membayar model yang tidak hanya berbobot terbuka tetapi juga Eropa dalam hal penanganan data, lokasi pelatihan, dan postur hukumnya.
Apakah pertaruhan ini membuahkan hasil tergantung pada pertanyaan yang belum terjawab dalam rilis ini: bagaimana Kolibri melakukan benchmark terhadap model frontier open pada evaluasi standar, dan seberapa cepat ekosistem peralatan terbentuk di sekitarnya. Apa yang diungkapkan oleh rilis ini adalah bahwa kemampuan pelatihan yang lengkap dan berbatasan dengan perbatasan kini ada di UE, dengan dokumen yang sesuai. Bagi organisasi yang terikat oleh GDPR dan AI Act, kombinasi tersebut mungkin lebih penting daripada posisi di papan peringkat.
---
Tetap Terdepan dalam AIDapatkan berita, analisis, dan terobosan AI terkini — semuanya di satu tempat.
Baca berita AI selengkapnya →
