TurkMorfBench
Türkçe morfoloji kıyası: gerçek ve uydurma gövdelerde ek üretimi
TurkMorfBench, bir dil modelinin Türkçe ek sistemini ne kadar bildiğini ölçer: ünlü uyumu, ünsüz benzeşmesi, ünsüz yumuşaması ve kaynaştırma. 512 madde, 8 ek görevi, 64 gövde; 40 gerçek, 24 uydurma (wug). İki ölçüm kipi vardır: serbest üretim ve sesbilimsel çeldiricili zorunlu seçim.
Madde
8 görev × 64 gövde · 320 gerçek + 192 uydurma
Kural mı öğrenildi, biçim mi ezberlendi?
Gerçek kelimelerde doğru ek üretmek ezberle de mümkündür: model kitabı biçimini külliyatta on binlerce kez görmüştür. Uydurma gövde külliyatta hiç geçmez; model doğru eki ancak kuralı biliyorsa üretir. İkisi arasındaki fark, modelin kuralı mı yoksa biçimleri mi öğrendiğini gösterir.
Bu, dil ediniminde 1958'den beri kullanılan wug testinin Türkçe eklere uyarlamasıdır.
Bu gövdeler hiçbir külliyatta geçmez; doğru ek yalnızca kural bilgisiyle üretilebilir. Uydurma gövdeler ünlü düşmesi tetiklemeyecek desende, tohum 1337 ile yeniden üretilebilir biçimde seçilmiştir.
Sekiz ek görevi
Her görev 64 gövdenin hepsine uygulanır: 8 × 64 = 512 madde.
| Görev | Anahtar | Ek | Örnek (gerçek) | Örnek (uydurma) |
|---|---|---|---|---|
| Çoğul | cogul | -ler/-lar | kapı → kapılar | kuntaş → kuntaşlar |
| Yönelme hâli | hal_yonelme | -e/-a (+y) | çocuk → çocuğa | brelak → brelağa |
| Bulunma hâli | hal_bulunma | -de/-da/-te/-ta | çölgap → çölgapta | yontuç → yontuçta |
| Ayrılma hâli | hal_ayrilma | -den/-dan/-ten/-tan | kuş → kuştan | krint → krintten |
| Belirtme hâli | hal_belirtme | -i/-ı/-u/-ü (+y) | ağaç → ağacı | dratok → dratoğu |
| İyelik, 1. tekil | iyelik_1sg | -im/-ım/-um/-üm (+m) | masa → masam | çölgap → çölgabım |
| İyelik, 1. çoğul | iyelik_1pl | -imiz/… (+miz) | ev → evimiz | glodek → glodeğimiz |
| İyelik, 3. tekil | iyelik_3sg | -i/… (+si) | araba → arabası | fönük → fönüğü |
Kapsam kurallı gövdelerle sınırlıdır; tek heceli t/k gövdeleri (süt, kat) ve nk→ng gibi özel durumlar bilinçli olarak dışarıdadır.
Dört sesbilimsel kural
Ünlü uyumu
Büyük ünlü uyumu (-ler/-lar) ve küçük ünlü uyumu (-i/-ı/-u/-ü).
Ünsüz benzeşmesi
Sert ünsüzden sonra -de → -te, -den → -ten.
Ünsüz yumuşaması
Ünlüyle başlayan ek önünde p/ç/t/k → b/c/d/ğ.
Kaynaştırma
Ünlüyle biten gövdede -y-, -s-, -m-.
Üç bağımsız yoldan doğrulanmış
Yumuşama Türkçede sözlükseldir: kitap → kitabı ama süt → sütü. Bu yüzden gerçek gövdeler yalnızca yumuşama davranışı tartışmasız olanlardan seçildi; uydurma gövdeler için tek bir kural uygulanır ve belgelenir: çok heceli uydurma gövde p/ç/t/k ile bitiyorsa ünlüyle başlayan ek önünde yumuşatılır. Kıyas bunu ölçmez, varsayar.
Üretici motor
morfbench_v2.py: ünlü uyumu, ünsüz benzeşmesi, yumuşama ve kaynaştırmayı uygulayan sesbilimsel motor; gövde havuzu ünlü düşmesi ve istisna kelimelerden arındırılmıştır.
Bağımsız kural tablosu
kural_denetimi.py: motordan ayrı yazılmış ikinci bir üretici; her cevabı yeniden türetip karşılaştırır: 512/512.
Morfolojik çözümleyici
crosscheck.py: gerçek kelime cevapları zeyrek Türkçe morfolojik çözümleyicisiyle çözümlenir; beklenen ek etiketi çözümde yoksa madde şüpheli sayılır.
İlk sürüm (329 madde, 7 görev) yayımlanmadı; içinde gerçek gövdelerde 18 yanlış altın cevap (çocuka, südü, renği gibi) ve uydurma gövdelerde tutarsız bir kural vardı. v2 bu hataları düzeltir, belirtme hâli görevini ekler ve gövde sayısını 47'den 64'e çıkarır. Raporlanan tüm sayılar v2 ile ölçülmüştür.
İki kip, iki farklı soru
Üretim
Model soruyu görür ('çocuk' kelimesine -e/-a yönelme eki ekle. Sadece kelimeyi yaz.), cevabı serbest üretir; noktalama ve büyük/küçük harf temizlenip altınla tam eşleşme aranır. Bilgiyle birlikte biçime uymayı da ölçer; talimat almamış taban modeller burada düşük kalır.
Zorunlu seçim
Altın cevap ve sesbilimsel çeldiriciler (çocuğa / çocuğe / çocuka …) arasından log-olasılığı en yüksek olan seçilir. Biçim uyumunu devreden çıkarır, yalnızca bilgiyi ölçer. Çeldirici üretilemeyen maddeler atlanır.
Qwen3-32B ve Erk-32B, aynı maddelerde
Her fark 10.000 yeniden örneklemeli eşli bootstrap %95 güven aralığıyla verilir; aralığı sıfırı içeren fark gösterilemedi olarak yazılır.
Zorunlu seçim · 502 madde (10 maddeye çeldirici üretilemedi)
| Model | Toplam (502) | Gerçek (312) | Uydurma (190) |
|---|---|---|---|
| Qwen3-32B | %89,44 | %94,55 | %81,05 |
| Erk-32B · LoRA 0,40 | %89,84+0,40 [−1,20, +2,19]gösterilemedi | %95,19+0,64 [−0,64, +1,92]gösterilemedi | %81,050,00 [0,00, 0,00]gösterilemedi |
| Erk-32B · LoRA 0,75yayınlanan | %91,43+1,99 [−0,20, +4,18]gösterilemedi | %96,47+1,92 [−0,32, +4,17]gösterilemedi | %83,16+2,11 [−2,11, +6,32]gösterilemedi |
| Erk-32B · LoRA 0,80 | %91,83+2,39 [+0,20, +4,78] | %97,12+2,56 [+0,64, +4,81] | %83,16+2,11 [−2,63, +6,84]gösterilemedi |
Üretim · 512 madde, tam eşleşme, Qwen3 düşünme modu açık
| Model | Toplam (512) |
|---|---|
| Qwen3-32B | %31,64 |
| Erk-32B · LoRA 0,40 | %55,86+24,22 [+18,95, +29,49] |
| Erk-32B · LoRA 0,75 | %61,52+29,88 [+24,61, +35,16] |
| Erk-32B · LoRA 0,75 · kimlik sistem istemiyayınlanan | %59,38+27,73 [+22,46, +33,01] |
| Erk-32B · LoRA 0,40 · kimlik sistem istemi | %49,02+17,38 [+11,91, +22,85] |
İki kip arasındaki yaklaşık 28 puanlık fark biçim uyumudur: taban model düşünme bloğunda kalıp kelimeyi yazmıyor; zorunlu seçimde aynı model %89 biliyor. Sistem isteminin üretim puanına etkisi ölçeğe bağlıdır (0,75'te −2,15, gösterilemedi; 0,40'ta −6,84, anlamlı); dağıtılan yapılandırmayla ölçün.
Kıyasın ölçmek istediği şey
Qwen3-32B · zorunlu seçim · doğruluk
Taban modelde gerçek kelime doğruluğu %94,55, uydurma gövdede %81,05: model biçimleri kuraldan çok daha iyi biliyor. Bir devam-eğitimi modelinde (Erk-32B) uydurma gövde puanı hiçbir ölçekte tabandan ayrılmadı; Türkçe devam-eğitimi ek sistemini ölçülebilir biçimde değiştirmedi.
İki komutla ölçün
Çıktı: toplam / gerçek / uydurma doğruluk ve madde bazlı tahmin vektörü (JSON). İki modeli aynı maddelerde karşılaştırmak için bootstrap.py eşli güven aralığı verir.
$ pip install torch transformers$ python turkmorfbench_olc.py --model Qwen/Qwen3-32B --kip zorunlu$ python turkmorfbench_olc.py --model Qwen/Qwen3-32B --kip uretim
{"kok": "çocuk", "gorev": "hal_yonelme", "cevap": "çocuğa", "tip": "gercek",
"soru": "'çocuk' kelimesine -e/-a yönelme eki ekle. Sadece kelimeyi yaz.",
"kural": "yönelme + ünlü uyumu + yumuşama"}kokGövde (kök) kelime.
gorevEk görevi anahtarı (cogul, hal_yonelme, …).
cevapAltın cevap.
tipgercek ya da wug (uydurma).
soruModele verilen soru metni.
kuralO maddede sınanan sesbilimsel kurallar; alt küme analizinde kullanılır.
Bilinen sınırlar
Kapsam kurallı gövdelerle sınırlıdır; sözlüksel istisnalar (ünlü düşmesi burun → burnu, tek heceli yumuşamayanlar, nk→ng) bilinçli olarak dışarıdadır.
Uydurma gövde kuralı bir varsayımdır; konuşurlar arasında yumuşama üretkenliği değişebilir. Uydurma alt küme puanı bu varsayıma görecelidir.
24 uydurma gövde ile uydurma alt kümesi küçüktür (192 madde, ±5 puan); küçük farklar için gösterilemedi beklenmelidir.
Türkçe isim çekimiyle sınırlıdır; fiil çekimi, türetme ve söz dizimi yoktur.
Bu kıyası kullanırsanız
eCloud Tech. (2026). TurkMorfBench: Gerçek ve uydurma gövdelerde Türkçe ek üretimi kıyası (v2). https://github.com/ecloudtechnology/turkmorfbench
Lisans: veri ve betikler CC BY 4.0. İletişim: [email protected]
Modelinizi TurkMorfBench ile ölçün
Veri ve betikler CC BY 4.0 ile açıktır. Türkçe modeller için ölçüm ve değerlendirme çalışmalarında iş birliği için bizimle iletişime geçebilirsiniz.