Erk-32B
Türkçe dil modeli, ölçüm protokolüyle.
Erk-32B, açık kaynaklı Qwen3-32B temel modeli üzerine 1,05 milyar token Türkçe devam-eğitimi ve 423 milyon token Türkçe talimat ayarı uygulanarak eCloud Tech. tarafından geliştirilmiştir. Bu sayfadaki her sayı kirlilik denetimi, şık döndürme, zorunlu seçim ve eşli bootstrap güven aralığı elemelerinden geçmiştir; ölçüm protokolü, düzeltilen ham sayılar ve yeniden üretim betikleri depoda açıktır.
TurkishMMLU · temiz 652 · şık döndürmeli
Taban Qwen3-32B: %67,64 · Fark +3,37 · %95 GA [+0,61, +6,13]
İşletme noktası: LoRA ölçeği 0,75 + sistem istemi, birleşik ağırlık
Her fark 10.000 yeniden örneklemeli eşli bootstrap %95 güven aralığıyla verilir. Aralığı sıfırı içeren fark bu protokolde gösterilemedi olarak yazılır; kazanç sayılmaz.
| Ölçüm | Qwen3-32B | Erk-32B | Fark | %95 GA |
|---|---|---|---|---|
| TurkishMMLU, temiz 652, şık döndürmeli | %67,64 | %71,01 | +3,37 | [+0,61, +6,13] |
| TurkMorfBench v2 üretim (512, tam eşleşme, sistem istemli) | %31,64 | %59,38 | +27,73 | [+22,46, +33,01] |
| TurkMorfBench v2 zorunlu seçim, toplam (502) | %89,44 | %91,43 | +1,99 | [−0,20, +4,18]gösterilemedi |
| TurkMorfBench v2 zorunlu seçim, gerçek kelime (312) | %94,55 | %96,47 | +1,92 | [−0,32, +4,17]gösterilemedi |
| TurkMorfBench v2 zorunlu seçim, uydurma (190) | %81,05 | %83,16 | +2,11 | [−2,11, +6,32]gösterilemedi |
| Kimlik (30 soru, tuzaklı, sistem istemli) | — | 30/30 | — | — |
Tek eğitim tohumu; güven aralıkları soru örneklemesini kapsar, tohumu kapsamaz. Üretim eksenindeki +28 puan büyük ölçüde biçim uyumudur: taban model düşünme bloğunda kalıp cevap yazmıyor.
Aynı protokolde dört model
TurkishMMLU · temiz 652 · şık döndürmeli · doğruluk
Erk-14B'nin kendi kartındaki %69,7, tam kümede, şık döndürmesiz, lm-evaluation-harness 0-shot ölçümüdür; buradaki %67,18 aynı modelin kirlilik dışı bırakılmış, döndürülmüş ölçümüdür. Fark protokolden gelir, modelden değil.
Gösterilemeyen farklar
- Morfoloji bilgisinde (zorunlu seçim) tabandan fark gösterilemedi; alt sınırlar sıfırın hemen altında, uydurma gövdelerde hiç.
- Devam-eğitimi Türkçe bilgiyi geliştirmiş, ek sistemini ölçülebilir biçimde değiştirmemiştir.
- Üretim eksenindeki +28 puan büyük ölçüde biçim uyumudur; taban model düşünme bloğunda kalıp cevap yazmıyor.
- İlk kıyas sürümüyle raporlanmış +3,73'lük morfoloji üstünlüğü 18 yanlış altın cevaba dayanıyordu ve geri çekildi.
Hiçbir sayı bu elemelerden geçmeden raporlanmaz
Ham ölçümlerin büyük kısmı ölçüm yapaylığı çıktı. Protokolün tamamı, ölçüm günlüğü ve düzeltilen sayılar OLCUM-PROTOKOLU.md dosyasında sekiz bölüm hâlinde açıktır.
Kirlilik denetimi
TurkishMMLU'nun 900 sorusundan 113'ü devam-eğitimi külliyatında birebir geçiyor (13 kelimelik pencere). Bunlar ve 150 soruluk ayar kümesi dışarıda bırakılır: temiz 652.
Şık döndürme
Her soru şık sırası döndürülerek ölçülür; harf ve konum yanlılığı elenir.
Zorunlu seçim ve üretim
Biçim uyumu bilgiden ayrılır: üretimde +28 puan görünen fark zorunlu seçimde +2,0 ile gösterilemedi.
Kıyasın denetimi
Morfoloji kıyasının ilk sürümünde 18 yanlış altın cevap bulundu; tüm sayılar düzeltilmiş v2 ile yeniden ölçüldü.
Eşli bootstrap
10.000 yeniden örnekleme; aralığı sıfırı içeren fark gösterilemedi olarak yazılır.
Düzeltilen ham sayıların günlüğü on iki kalem içerir; hiçbiri dışarıdan bildirilmedi, hepsi yayımdan önce kendi denetimimizde bulundu.
Nasıl eğitildi
Taban model bize ait değildir ve her yerde belirtilir. Talimat külliyatında kod içeren cevapların %53,5'i makine çevirisiyle bozuktu; temizlik ve onarım betikleri depodadır. Talimat külliyatında kıyas kirliliği n=13 eşiğinde 0/900.
- Taban
- Qwen3-32B (Apache 2.0)
- Devam-eğitimi
- 1,05B Türkçe web token · LoRA r=256 α=512 · 32.000 adım
- Talimat ayarı
- 423M token, 373.387 örnek (temizlenmiş) · 2 tur
- Ek tur
- Kimlik 6.000 + morfolojik hata düzeltme 40.000 örnek · 1.673 adım
- Donanım
- 4×A100-80GB, FSDP, bf16 · ≈37.000 çekirdek-saat
- Yayın ağırlığı
- LoRA 0,75 ile birleştirilmiş (fp32 çarpım, tek bf16 yuvarlama); LoRA yoluyla eşdeğerlik aynı ölçüm betiğiyle doğrulanır
- GGUF
- Q8_0 34,8 GB (NLL +%0,04) · Q4_K_M 19,8 GB (NLL +%0,85); her nicemde kimlik 6/6
0,75 nasıl seçildi
LoRA toplamsal olduğu için ölçek, eğitim sonrası bir ayar düğmesidir. On iki noktada üç eksen ölçüldü; kimlik sistem istemiyle verildiğinden karşılaştırma istemli noktalar arasında yapıldı. Üretimde 0,75 + istem, 0,40 + istemi +10,35 [+5,47, +15,43] ile anlamlı geçer; kıyasta 0,40'ın üstünlüğü +1,99 [0,00, +3,99] ile gösterilemez. Aralığı sıfırı içeren fark bu protokolde gösterilemedi sayıldığından 0,75 seçildi; 0,40 ve 0,80 satırları raporda durur.
Kimlik ağırlıklara işlenmemiştir
Kimlik, sohbet şablonundaki varsayılan sistem istemi ile verilir. Kullanıcı kendi sistem mesajını verirse varsayılan devreye girmez. İstem, taban modeli açıkça söyler; 30 soruluk tuzaklı kimlik sınavında sonuç 30/30.
Sen Erk-32B'sin: eCloud Tech. tarafından, açık kaynaklı Qwen3-32B temel modeli üzerine Türkçe devam-eğitimi ve talimat ayarıyla geliştirilmiş 32 milyar parametreli bir Türkçe dil modelisin. …llama.cpp, Ollama ve LM Studio için nicemlenmiş ağırlıklar
Ana model kartındaki bütün ölçümler ve protokol GGUF dosyaları için de geçerlidir; nicemlemenin bedeli ölçülmüştür.
| Dosya | Nicem | Boyut | NLL, BF16'ya göre | Kimlik (6 soru) | Önerilen |
|---|---|---|---|---|---|
| Erk-32B-Q8_0.gguf | Q8_0 | 34,8 GB | +%0,04 | 6/6 | kalite öncelikliyse |
| Erk-32B-Q4_K_M.gguf | Q4_K_M | 19,8 GB | +%0,85 | 6/6 | 24 GB GPU / 32 GB RAM |
NLL, 6.132 belirteçlik Türkçe metinde ortalama negatif log-olasılık; BF16 GGUF referansı 1,5185. Kimlik, sohbet şablonundaki varsayılan sistem istemiyle altı soruda (tuzak sorular dahil) ölçüldü.
$ llama-cli -m Erk-32B-Q4_K_M.gguf -cnv -p "" \ --temp 0.6 --top-p 0.95 -c 8192
$ cat > Modelfile <<EOF FROM ./Erk-32B-Q4_K_M.gguf PARAMETER temperature 0.6 EOF$ ollama create erk-32b -f Modelfile && ollama run erk-32b
Qwen3 hibrit düşünme modu korunur; kapatmak için mesajın sonuna /no_think ekleyin. LM Studio, vLLM, Jan ve Docker için dağıtım seçenekleri model kartındadır.
Transformers ile birkaç satırda
Model Hugging Face üzerinden doğrudan yüklenir; sohbet şablonu varsayılan kimlik istemini taşır. Düşünme modunu kapatmak için /no_think kullanın.
from transformers import AutoModelForCausalLM, AutoTokenizer
m = "ecloudtech/Erk-32B"
tok = AutoTokenizer.from_pretrained(m)
model = AutoModelForCausalLM.from_pretrained(m, torch_dtype="auto", device_map="auto")
msgs = [{"role": "user", "content": "Türkçede ünsüz yumuşaması nedir? /no_think"}]
ids = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt").to(model.device)
print(tok.decode(model.generate(ids, max_new_tokens=300)[0][ids.shape[1]:], skip_special_tokens=True))Erk-32B çalışırken
Video, işletme noktası kesinleşmeden önce LoRA ölçeği 0,40 ile kaydedildi; ekrandaki %73,16 o noktanın ek tur öncesi ölçümüdür. Yayınlanan sayı yukarıdaki tablodadır. Yanıt akışı ve terminal arayüzü aynıdır. 67 saniye, 1440p, sessiz.
Bilinen sınırlar
Tek tohum; tohumlar arası varyans ölçülmedi.
Üretim kalitesi, uzun bağlam, kod ve akıl yürütme ölçülmedi.
Kimlik sistem istemine bağlıdır; istemsiz dağıtımda model taban modelin kimliğini söyler.
Morfoloji bilgisinde kazanç gösterilememiştir; üretim eksenindeki fark biçim uyumunu içerir.
Taban modelin külliyatı denetlenemez; karşılaştırma iki tarafın da bilinmeyen ölçüde kirli olduğu varsayımıyla yapılır.
Rapor, betikler ve tahmin vektörleri açık
Lisans Apache 2.0, taban modelle aynı. İletişim: [email protected]
OLCUM-PROTOKOLU.md
Tam teknik rapor; sekiz bölüm, ölçüm günlüğü ve düzeltilen sayılar dahil.
betikler/
Eğitim, temizlik, ölçüm, tarama, bootstrap, birleştirme ve GGUF betikleri; 34 dosya, llama.cpp sürümü sabitlenmiş.
sonuclar/
Soru bazlı tahmin vektörleri; 17 JSON. Eşli karşılaştırmalar model çalıştırmadan yeniden yapılabilir.
Erk-32B-GGUF
Q8_0 ve Q4_K_M nicemleri, doğrulama özeti ve nicemlenmiş sürümlerin kartı.
Ölçümün dayandığı açık kıyaslar
Eğitim ve ölçümler, AI EDIH Türkiye programı kapsamında sağlanan yüksek başarımlı hesaplama kaynaklarıyla, İstanbul Teknik Üniversitesi – Ulusal Yüksek Başarımlı Hesaplama Merkezi (UHeM) altyapısında yürütüldü. Programın yürütücüsü MEXT Teknoloji Merkezi'ne ve EEG çalışmalarımızdaki iş birliği için CerebrAI-VortX Nöroteknoloji ve Yazılım Sistemleri'ne teşekkür ederiz.
Erk-32B'yi kendi altyapınızda çalıştırın
Ağırlıklar, GGUF nicemleri ve tüm ölçüm betikleri Hugging Face'te açıktır. Kurumsal dağıtım, ince ayar ve entegrasyon için bizimle iletişime geçebilirsiniz.