TurkMorfBench
Benchmark fuer tuerkische Morphologie: kein Punktwert, eine Diagnose.
TurkMorfBench misst, wie gut ein Sprachmodell das tuerkische Suffixsystem beherrscht, und sagt, welche Regel gescheitert ist. 466.517 Items, 14 Koerbe, Kunststamm-Kontrollen, Tokenizer-Analyse. Die Goldantworten erzeugt eine Regel-Engine — in keiner Phase ein Sprachmodell.
Items · vollstaendige Stufe
14 Koerbe · Kernstufe 1.836 Items · eingefrorene Version v3.8.0
Eine einzige Genauigkeitszahl sagt nicht, welche Regel fehlt
Die Ausgabe ist eine Diagnose, kein Punktwert: sie schluesselt nach Stammtyp, Korb, stammauslautendem Laut und verletzter Regel auf. Der Bericht unten stammt aus einem echten Lauf mit 260 Items an einem offenen Modell hinter einem OpenAI-kompatiblen Endpunkt.
Gegen lokale Gewichte ergaenzt der Bericht eine Tokenizer-Aufschluesselung: Genauigkeit getrennt danach, ob das Vokabular den Stamm ganz gelassen oder zerlegt hat, samt gemessener Kosten der Zerlegung in Punkten.
ZORUNLU SEÇİM 161 / 260 %61.9 GÖVDE TÜRÜ gerçek gövde (real stems) 124/179 %69.3 uydurma gövde (nonce/wug stems) 37/81 %45.7 KOVA (bucket) istisna_uyum_kirici 0/12 %0.0 ek_zinciri 4/15 %26.7 cati 5/11 %45.5 ad_cekimi 33/48 %68.8 fiil_cekimi 10/10 %100.0 SON SES (stem-final sound) t 6/18 %33.3 ç 4/10 %40.0 p 6/12 %50.0 ünlü (vowel) 28/37 %75.7 HANGİ KURAL BİLİNMİYOR (which rule was violated) uyum (vowel harmony) 28 %28.3 iyelik_unlu (buffer vowel) 22 %22.2 zamir_n (pronominal n) 10 %10.1
Vierzehn Koerbe, jeder einzeln gemessen
Tuerkisch ist agglutinierend und die Suffixwahl folgt strengen Regeln: zweifache und vierfache Vokalharmonie, Konsonantenassimilation, Konsonantenerweichung, Bindekonsonanten. Darueber liegen lexikalische Ausnahmen (burun → burnu, kalp → kalbi, ret → reddi) und aussprachegesteuerte Suffixe (TCDD'yi, 2026'da).
| Korb | Items | Was geprueft wird |
|---|---|---|
| ad_yuva | 283.360 | Plural + Possessiv + Kasus-Stapel, pronominales n |
| ad_cekimi | 166.424 | 7 Kasus, Harmonie, Assimilation, Erweichung, Bindekonsonanten |
| ek_zinciri | 9.544 | Tiefe 1 bis 8, Suffixreihenfolge |
| fiil_cekimi | 1.792 | 7 Tempora/Modi, Negation, Aorist-Ausnahmen |
| yapim_eki | 1.477 | -lIk, -CI, -lI, -sIz, -sAl, -lAş, -lA |
| istisna_ozel_ad | 1.200 | Apostroph, keine Erweichung (Sinop'a) |
| istisna_birlesik_isim | 896 | buzdolabına |
| cati | 728 | Passiv, Reflexiv, Reziprok, Kausativ |
| istisna_sayi | 507 | Suffix folgt der Aussprache (2026'da) |
| istisna_kisaltma | 304 | Suffix folgt der Aussprache (TCDD'yi) |
| istisna_unlu_dusmesi | 177 | burnu, aklı, nakdi · TDK-geprueft |
| istisna_uyum_kirici | 71 | kalbi, rolü, kıraati · TDK-geprueft |
| istisna_ikizlesme | 35 | reddi, tıbbı, zıddı · TDK-geprueft |
| istisna_kaynastirma_istisna | 2 | suyu, neyi |
| Gesamt | 466.517 |
Kein Rauschen: jeder bricht genau eine Regel
Jeder Distraktor verletzt eine einzige Regel und ist nach ihr benannt. Ein Modell, das içtimaiyatlarıda waehlt, kennt das pronominale n nicht; wer içtimaiyatlarınde waehlt, kennt die Vokalharmonie nicht. Genau das macht den Benchmark diagnostisch statt zu einer Rangliste.
Das Feld hucre traegt die phonologische Umgebung (letzter Vokal, Auslautklasse, Silbenzahl, innere Harmonie); bayrak traegt lexikalische Unregelmaessigkeiten (LastVowelDrop, Doubling, InverseHarmony, CompoundP3sg).
Die Optionen sind gemischt und das Gold steht an zufaelliger Position (altin_sira haelt fest, an welcher). Die Mischung wird aus der Item-Kennung abgeleitet, sodass ein Item stets dieselbe Reihenfolge erhaelt und Versionsvergleiche intakt bleiben. Vor 3.2.1 war das nicht so: das Gold stand immer an erster Stelle, und in einem Protokoll, das die Optionen mit Buchstaben versieht, haette immer A zu 100% gefuehrt.
{
"kimlik": "6c4f2594d126",
"kova": "ad_yuva",
"gorev": "cog-3t-bulunma",
"govde": "içtimaiyat",
"altin": "içtimaiyatlarında",
"celdirici_tur": ["zamir_n", "uyum"],
"celdirici_bicim": ["içtimaiyatlarıda", "içtimaiyatlarınde"],
"secenek": ["içtimaiyatlarıda", "içtimaiyatlarında", "içtimaiyatlarınde"],
"altin_sira": 1,
"gercek": true,
"hucre": ["a", "t", 3, "kirik"],
"bayrak": []
}Die 33 Zellen, die reale Woerter nicht erreichen
Die Achsen, die die Suffixwahl bestimmen, werden zuerst gekreuzt, dann werden Staemme erzeugt, um diese Zellen zu fuellen: letzter Vokal (8) × Auslautklasse (8) × Silbenzahl (3) × innere Harmonie (2) = 320 Zellen.
In 33 dieser Zellen existiert kein einziges reales tuerkisches Wort. Ein aus realen Woertern gebauter Benchmark ist dort strukturell blind. Gemessen: Modelle schneiden genau in diesen Zellen um 22-23 Punkte schlechter ab, selbst nach Abgleich der phonologischen Zusammensetzung.
Regelwissen oder lexikalische Nachbarschaft?
Ein reales Wort zu flektieren kann Auswendiglernen sein: das Modell hat die Form kitabı zehntausende Male gesehen. Ein Kunststamm (zakak, vısep, sövot) kommt in keinem Korpus vor; nur die Regel kann die richtige Form erzeugen.
Gemessener Abstand: Modelle liegen bei Kunststaemmen 22-32 Punkte unter den realen Staemmen.
In keiner Phase aus einem Sprachmodell
Veroeffentlichte offene tuerkische Morphologieanalysatoren erreichen 38-72% Genauigkeit; einen davon als Grundwahrheit zu nehmen wuerde 28-62% Fehler einspeisen. Deshalb werden keine beliebigen Woerter analysiert — es werden Items erzeugt, deren Goldform sich aus der Konstruktion ergibt.
Regel-Engine
Eine phonologische Engine fuer Vokalharmonie, Assimilation, Erweichung und Bindekonsonanten. Sie traegt 282 handgeschriebene Gold-Assertions, alle erfuellt.
Zemberek-Woerterbuch
Die Flags fuer lexikalische Unregelmaessigkeiten (welcher Stamm erweicht, welcher einen Vokal verliert) kommen aus dem Zemberek-Woerterbuch (Apache-2.0). Dessen Analysator wird nicht verwendet.
TDK Güncel Türkçe Sözlük
Alle 283 Items der drei Ausnahmekoerbe wurden zeichengenau gegen das TDK abgeglichen. Gibt das Woerterbuch fuer einen Stamm keine oder mehr als eine Form an, entfaellt der Stamm.
In der Studie zur menschlichen Obergrenze lagen Muttersprachler beim Korb der inversen Harmonie unter dem Zufallsniveau. Wenn Muttersprachler schlechter als Raten abschneiden, muss das Gold geprueft werden, nicht die Sprecher. Gefunden wurden drei systematische Fehler — Erweichung dort, wo das Woerterbuch sie verbietet (bidadi, richtig bidati), verfehlte inverse Harmonie (aczı, richtig aczi), fehlende Stimmhaftigkeit beim verdoppelten Verschlusslaut (retti, richtig reddi) — alle daher, dass die Zemberek-Flags gegenueber dem TDK unvollstaendig waren. Die Korrektur umfasste 147 Woerterbucheintraege und wurde nicht nur auf die Ausnahmekoerbe, sondern auf jeden Suffixstapel in jedem Korb angewandt.
Dieselben Items werden tuerkischen Muttersprachlern gestellt
Dies ist weiterhin eine vorlaeufige Lesung: die Stichprobe ist klein, das Intervall breit, und die Zahl wird mit weiteren Bewertenden aktualisiert. Das Intervall stammt aus einem nach phonologischen Zellen geclusterten Bootstrap; auf Item-Ebene laege es bei 74,6-81,8%, denn Items derselben Zelle sind keine unabhaengigen Beobachtungen.
[70,4 % – 83,2 %]
6 gueltige Bewertende · 560 Urteile · Erhebung laeuft
| Ausschnitt | Genauigkeit | n |
|---|---|---|
| Reale Staemme | 79,5 %[75,8 % – 82,9 %] | 531 |
| Kunststaemme | 55,2 %[34,5 % – 74,1 %] | 29 |
Ueber die menschliche Leistung bei Kunststaemmen wird noch nichts behauptet: auch die Aussage der Vorversion, Menschen faenden 12 Punkte ab, wurde zurueckgezogen. Die hier genannte Punktschaetzung von 24,3 Punkten beruht auf Dutzenden Urteilen, und das Intervall laesst in keine Richtung einen Schluss zu.
Die in der vorigen Version berichteten 88,2% [83,1 – 91,8] wurden zurueckgezogen. Dafuer gibt es zwei Gruende, beide auf Seiten des Benchmarks: jene Zahl beruhte auf 3 Bewertenden, und bei sechs wurde die Verteilung breiter (gueltige Bewertende reichen von 96,7% bis 53,2%); ausserdem waren 257 der 520 Items im Pool jener Messung nicht in den aktuellen Benchmark-Daten. Der Pool wurde am 24. September 2026 aus aktuellen Daten neu aufgebaut.
Die Filterung der Bewertenden ist die eigentliche Absicherung der Messung. Drei Kriterien stehen vorab fest: mindestens 10 Antworten; ein Median unter 3 Sekunden pro Frage heisst, die Frage wurde nicht gelesen; eine Genauigkeit, die das eigene Zufallsniveau im einseitigen Binomialtest bei α = 0,001 nicht schlaegt, traegt keine Information. Sechs von zwoelf Bewertenden fielen heraus, fuenf am Tempokriterium — eine Person beantwortete 111 Fragen in 36 Sekunden. Alle fuenf Tempofaelle lagen zugleich auf Zufallsniveau.
Am 25. September 2026 wurde AIGENCY V4 ueber dieselbe Oberflaeche wie die Humanstudie gefuehrt und beantwortete in 50 Sitzungen alle 515 Items. Das Tempokriterium trennte diese Sitzungen von den Humandaten; sie sind in der Datenbank als Modellsitzungen markiert und gehen nicht in die menschliche Obergrenze ein. Auf denselben 515 Items erreichte AIGENCY V4 69,9%, die gueltigen Menschen 79,1%.
Siebzehn Modelle, ein fixiertes Skript, geclusterte Konfidenzintervalle
3.6-Kern (1.836 Items), Regel harf, zellgeclustertes 95%-KI, bf16, Optionsreihenfolge eingefroren. Die TurkishMMLU-Spalte wurde mit demselben fixierten Skript auf 652 sauberen Fragen gemessen (fuenf Optionen, Zufall 20%). Die Erk-Modelle wurden mit der Diagnoseausgabe dieses Benchmarks verbessert; die uebrigen Modelle wurden so gemessen, wie sie veroeffentlicht wurden.
| # | Modell | Entwickler | Groesse | TurkMorfBench | 95%-KI | TurkishMMLU |
|---|---|---|---|---|---|---|
| 1 | Erk-14B(v2) | eCloud Tech. | 14B | 80,0 % | 75,8 % – 88,3 % | 66,9 % |
| 2 | turkish-gpt2-large | YTÜ COSMOS | 0,8B | 79,1 % | 76,9 % – 81,8 % | 18,4 % |
| 3 | kanarya-2b | Asafaya | 2B | 78,4 % | 76,4 % – 83,3 % | 22,9 % |
| 4 | Erk-32B(v2) | eCloud Tech. | 32B | 76,5 % | 71,0 % – 87,3 % | 71,5 % |
| 5 | Kumru-2B-Base | VNGRS | 2B | 76,2 % | 72,6 % – 77,8 % | 17,0 % |
| 6 | Kumru-2B | VNGRS | 2B | 76,2 % | 74,0 % – 78,7 % | 19,6 % |
| 7 | Turkcell-LLM-7b-v1 | Turkcell | 7B | 76,0 % | 74,2 % – 80,5 % | 26,4 % |
| 8 | Erk-14B(v1) | eCloud Tech. | 14B | 75,4 % | 70,0 % – 86,0 % | 67,2 % |
| 9 | Qwen3.8-27B(taban) | Alibaba | 27B | 75,4 % | 71,3 % – 83,9 % | 70,2 % |
| 10 | Turkish-Gemma-9b-v0.1 | YTÜ COSMOS | 9B | 75,2 % | 69,8 % – 85,7 % | 60,3 % |
| 11 | Erk-32B(v1) | eCloud Tech. | 32B | 74,9 % | 69,2 % – 86,1 % | 71,0 % |
| 12 | wiroai-turkish-llm-9b | WiroAI | 9B | 74,6 % | 70,4 % – 83,1 % | 45,7 % |
| 13 | Trendyol-LLM-7B-chat-v4.1.0 | Trendyol | 7B | 73,5 % | 71,0 % – 79,2 % | 50,0 % |
| 14 | Qwen3-32B(taban) | Alibaba | 32B | 73,4 % | 67,8 % – 84,3 % | 67,6 % |
| 15 | Turkish-Llama-8b-v0.1 | YTÜ COSMOS | 8B | 72,0 % | 68,8 % – 79,0 % | 35,0 % |
| 16 | Turkish-Llama-8b-Instruct-v0.1 | YTÜ COSMOS | 8B | 70,2 % | 65,4 % – 79,9 % | 42,2 % |
| 17 | Trendyol-LLM-7b-chat-v1.0 | Trendyol | 7B | 67,6 % | 65,3 % – 73,3 % | 29,9 % |
Die vorderen Plaetze liegen in einem statistischen Gleichstandsband; zwei Modelle werden ueber den geclusterten Bootstrap ihrer gepaarten Differenz verglichen, nicht ueber die Ueberlappung ihrer Intervalle. Morphologie skaliert nicht mit der Parameterzahl: Modelle mit 0,8-2B, die bei TurkishMMLU auf Zufallsniveau liegen, befinden sich in der Morphologie im selben Band wie 32B-Modelle. Der Benchmark beantwortet daher nicht allein, welches Modell gut ist; er ist zusammen mit einem Mass fuer allgemeine Faehigkeit zu lesen.
Die eigenen Fehler des Benchmarks — aufgeschrieben, sobald sie gefunden sind
3.6.0 · Harmonie beim Vokalausfall
Beim Vokalausfall (aciz → aczi) wurde die Harmonie eines vokalisch anlautenden Suffixes nicht vom ausgefallenen Vokal, sondern vom letzten Vokal des verbliebenen Stamms genommen. Die TDK-Pruefung hatte das mit einem Flag "geloest", doch das Flag sickerte in -lAr: acizlarında, richtig acizlerinde. Betroffen: 34 Staemme, 136 falsche Goldformen in ad_yuva. Die Engine wurde korrigiert, die Flag-Suche neu ausgefuehrt (501 von 501 TDK-Goldformen reproduziert) und der Benchmark neu erzeugt.
3.5.0 · der Korb ek_zinciri
Fuenf Modelle erreichten bei Tiefe 2/3/5/7 exakt 0% und bei 6/8 rund 100%; das kann keine Modelleigenschaft sein, es war ein Artefakt des Korbdesigns. Die alten Distraktoren waren Formen mit einem Schritt zu wenig oder zu viel — beide grammatisch. Distraktoren sind jetzt Regelverletzungen, und Items der Tiefe 1 kamen in den Korb (8.351 → 9.544).
3.7 · Bewertung eingefroren
Der Bewertungscode wurde in 3.7.0 fixiert, und 3.8.0 erschien als eingefrorene Version (auf PyPI Production/Stable). Der korrigierte Korb ek_zinciri liegt nun umgekehrt an der Decke: ≥96% bei 13 von 15 Modellen im 3.6-Kern, er unterscheidet also nicht mehr. Die naechste Datenversion wird grammatische Ketten als Distraktoren verwenden, die nicht zum Kontext passen.
Diese Korrekturen brechen den Versionsvergleich: ad_yuva, ad_cekimi und istisna_uyum_kirici sind nicht mit 3.5.x vergleichbar, ek_zinciri nicht mit 3.4.x. Die uebrigen Koerbe sind unveraendert.
466.517 Items sind nicht 466.517 unabhaengige Beobachtungen
Items entstehen nicht unabhaengig voneinander: ein Stamm ergibt ueber das Kreuz aus Plural × Possessiv × Kasus Dutzende Items, und eine phonologische Zelle bindet Hunderte Staemme an dieselbe Regel. Verfehlt ein Modell die Erweichung am Stamm kitap, verfehlt es sie in den meisten davon abgeleiteten Items. Bootstrap auf Item-Ebene ignoriert das, laesst die Stichprobe groesser erscheinen und verengt das Intervall — falsche Praezision.
| Clusterungseinheit | Cluster |
|---|---|
| Stamm | 32.140 |
| Phonologische Zelle | 441 |
Die Resampling-Einheit wandert vom Item zum Cluster, und der Designeffekt wird bei jedem Lauf gemessen und berichtet; der gemessene Wert liegt zwischen 1,2× und 4,1×. Zwei Modelle danach zu vergleichen, ob sich ihre getrennten Intervalle ueberlappen, ist falsch — stattdessen dient der geclusterte Bootstrap der gepaarten Differenz (esli_fark).
Sechs Regeln, eine Rangfolge
Das Modell laeuft einmal; fuer jeden Kandidaten werden Rohsumme, Tokenzahl, Zeichenzahl und unbedingte Wahrscheinlichkeit gespeichert, und sechs Regeln werden daraus abgeleitet. Ueber 15 Modelle liefern harf, ham und jeton dieselben Extreme (die ersten zwei und die letzten drei Plaetze sind identisch), wobei ham 1-4 und jeton 2-16 Punkte tiefer liegen. Die Befunde haengen also nicht von der Bewertungsregel ab. Der Designeffekt liegt zwischen 1,2× und 4,1×.
| Regel | waehlt das kuerzeste (Ziel 29,9%) |
|---|---|
| Mittel ueber die ganze Kette (alt) | 47,2 % · 47,7 % |
| Kandidatensumme | 51,0 % · 57,0 % |
| Durch Tokens geteilt | 47,5 % · 48,7 % |
| Durch Zeichen geteilt (neu) | 39,4 % · 43,2 % |
| Mit dem unbedingten Wert normalisiert | 39,2 % · 45,0 % |
pmi und pmi_harf brechen dagegen auf 21-51 ein: die Normalisierung mit der unbedingten Wahrscheinlichkeit zerstoert die Unterscheidung zwischen Kandidaten, die sich einen Stamm teilen. Diese beiden Regeln taugen fuer diese Aufgabe nicht; sie bleiben im Paket, damit die Lesenden es selbst sehen koennen.
Kern zur Diagnose, vollstaendig fuer die Schlagzeilenzahl
Laeuft in Minuten, korbausgewogen — damit selbst der kleinste Korb eine messbare Schaetzung ergibt.
Die gesamte entworfene Abdeckung.
Die Kernstufe ist korbausgewogen und damit bewusst keine unverzerrte Stichprobe der vollstaendigen Menge. Die beiden werden nicht verglichen.
Forced Choice primaer, freie Generierung sekundaer
Forced Choice
Das Modell waehlt per Log-Likelihood zwischen der Goldform und Regelverletzungs-Distraktoren. Es gibt kein Parsen der Ausgabe, Formattreue kann das Ergebnis also nicht beeinflussen.
Freie Generierung
Sekundaer, und sie zaehlt unlesbar getrennt von falsch. Ohne diese Unterscheidung lag eine unserer eigenen Messungen um fuenfzig Punkte daneben.
In drei Schritten von der Installation zur Diagnose
Das Paket liegt auf PyPI und laeuft gegen lokale Gewichte oder einen OpenAI-kompatiblen Endpunkt (vLLM, llama.cpp server, TGI). Bei einem entfernten Endpunkt ist text_offset in der Antwort von /v1/completions erforderlich; ohne es lassen sich die Kandidaten-Tokens nicht trennen und der Lauf bricht ab, statt stillschweigend etwas anderes zu berechnen.
1 · Installieren und ausfuehren
pip install turkmorfbench, dann turkmorfbench olc --model <MODELL>. Voreingestellt ist die Kernstufe, die in Minuten fertig ist; turkmorfbench bilgi gibt die installierte Paket- und Datenversion aus.
2 · Umfang eingrenzen
--katman tam laeuft die vollstaendige Menge, --govde uydurma nur die Kunststaemme, --kova <Name> einzelne Koerbe. --cikti rapor.json schreibt den Vorhersagevektor je Item auf die Platte; --isci setzt die Zahl paralleler Anfragen.
3 · Richtig lesen
Die Ausgabe ist eine Diagnose, kein Punktwert: welche Regel, welcher Auslaut, real oder Kunststamm. Vergleichen Sie zwei Modelle nicht ueber die Ueberlappung getrennter Intervalle; nehmen Sie mit esli_fark den geclusterten Bootstrap der gepaarten Differenz. Das Modul duyarlilik sagt, ob ein Ergebnis von der Bewertungsregel abhaengt.
$ pip install turkmorfbench$ $ # yerel ağırlıklar / local weights$ turkmorfbench olc --model ecloudtech/Erk-32B$ $ # OpenAI uyumlu uç / OpenAI-compatible endpoint$ turkmorfbench olc --uc http://localhost:8000/v1 --model erk --isci 16$ $ # tam katman, yalnız uydurma gövdeler, JSON rapor$ turkmorfbench olc --model X --katman tam --govde uydurma --cikti rapor.json$ $ # yalnız istisna kovaları$ turkmorfbench olc --model X --kova istisna_unlu_dusmesi istisna_ikizlesme
from datasets import load_dataset
d = load_dataset("ecloudtech/TurkMorfBench", "cekirdek") # 1.836
d = load_dataset("ecloudtech/TurkMorfBench", "tam") # 466.517from turkmorfbench.istatistik import kume_bootstrap, esli_fark, tasarim_etkisi
from turkmorfbench.duyarlilik import bilesen_topla, karsilastir, rapor
s = kume_bootstrap(maddeler, dogru, anahtar="hucre")
f = esli_fark(maddeler, a_dogru, b_dogru, anahtar="hucre")
print(rapor(karsilastir(bilesen_topla(arka_a, maddeler),
bilesen_topla(arka_b, maddeler),
maddeler, "A", "B"), "A", "B"))Wir kennen sie und schreiben sie auf
Homographe Staemme sind ausgeschlossen: ihre Flexion divergiert, die Goldantwort ist also nicht eindeutig (278 Staemme in den allgemeinen Koerben).
Mehr als die Haelfte der Ausnahmestaemme fehlt im aktuellen TDK-Woerterbuch (archaische Lehnwoerter wie inhimak, meşihat, pirüpak); sie wurden in dieser Version ausgeschlossen, sodass die Ausnahmekoerbe lebendiges Tuerkisch messen.
66 Kausativ-Items wurden entfernt: bei einsilbigen realen Staemmen ist die Suffixwahl lexikalisch, und was nicht auf der expliziten Ausnahmeliste stand, galt als unzuverlaessig.
Ausnahmekoerbe sind ihrer Natur nach realstaemmig — ein Kunstwort kann keine lexikalische Ausnahme haben.
Die menschliche Obergrenze ist eine vorlaeufige Lesung: 3 Bewertende, 211 Urteile, breites Intervall.
Die Laengenverzerrung der Bewertungsregel wurde reduziert, aber nicht beseitigt (39-43% bei einem Ziel von 29,9%).
Der Designeffekt (zellgeclusterte gegenueber item-basierter Intervallbreite) schwankt zwischen den Modellen von 1,2× bis 4,7×; am hoechsten ist er bei den Erk-Modellen, die also in manchen Regelzellen sehr stark und in anderen schwach sind.
ek_zinciri erreicht im 3.6-Kern bei 13 von 15 Modellen ≥96% und unterscheidet nicht; die Rangfolge ohne diesen Korb ist identisch.
istisna_kaynastirma_istisna umfasst nur zwei Items (suyu, neyi) und wird nicht fuer sich interpretiert.
3.8.0 ist die eingefrorene Version
Daten 3.6.0, Bewertung 3.7.0. Jede Aenderung an Daten oder Bewertungscode ist mit Begruendung in CHANGELOG.md festgehalten; Werte unterschiedlicher Datenversionen sind nicht vergleichbar. Das Paket prueft Dokumentation, Daten und veroeffentlichtes Paket mit tutarlilik.py gegeneinander.
Mit v2 gemessene Zahlen
Die TurkMorfBench-Werte auf der Erk-32B-Seite (die 512-Item-Menge von v2: 91,43% Forced Choice, 59,38% Generierung) wurden mit v2 gemessen und gelten als Zahlen jener Version. v3.6 ist eine andere Menge mit anderer Bewertungsregel und anderer Korbstruktur; Werte der beiden Versionen sind nicht vergleichbar.
Wenn Sie diesen Benchmark verwenden
@misc{turkmorfbench2026,
title = {TurkMorfBench: A Diagnostic Morphology Benchmark for Turkish Language Models},
author = {{eCloud Tech.}},
year = {2026},
url = {https://huggingface.co/datasets/ecloudtech/TurkMorfBench}
}Code Apache-2.0, Daten CC BY 4.0. Kontakt: [email protected]
Messen Sie Ihr Modell mit TurkMorfBench
Ein Befehl zur Installation, ein Diagnosebericht als Ausgabe. Code Apache-2.0, Daten CC BY 4.0. Fuer eine Zusammenarbeit bei der Evaluation tuerkischer Modelle nehmen Sie Kontakt mit uns auf.