TurkMorfBench
معيار للصرف التركي: توليد اللواحق على جذوع حقيقية ومصطنعة
يقيس TurkMorfBench مدى معرفة النموذج اللغوي بنظام اللواحق التركية: الانسجام الصوتي، ومماثلة الصوامت، وتليين الصوامت، والصوامت الرابطة. 512 بندًا، 8 مهام لواحق، 64 جذعًا؛ 40 حقيقيًا و24 مصطنعًا (wug). وضعا قياس: التوليد الحر والاختيار القسري بين مشتّتات صوتية.
بند
8 مهام × 64 جذعًا · 320 حقيقيًا + 192 مصطنعًا
هل تعلّم القاعدة أم حفظ الصيغة؟
إنتاج اللاحقة الصحيحة على كلمة حقيقية ممكن بالحفظ وحده: فقد رأى النموذج صيغة kitabı عشرات آلاف المرات في المتن. أما الجذع المصطنع فلا يرد في أي متن؛ ولا يُنتج النموذج اللاحقة الصحيحة إلا إذا عرف القاعدة. الفجوة بين الاثنين تكشف هل تعلّم النموذج القواعد أم الصيغ.
هذا تكييف لاختبار wug المستخدم في أبحاث اكتساب اللغة منذ 1958 على اللواحق التركية.
لا ترد هذه الجذوع في أي متن؛ ولا تأتي اللاحقة الصحيحة إلا من معرفة القاعدة. اختيرت الجذوع المصطنعة بأنماط لا تستدعي حذف الحركة، بشكل قابل لإعادة الإنتاج بالبذرة 1337.
ثماني مهام لواحق
تُطبَّق كل مهمة على الجذوع الـ64 جميعها: 8 × 64 = 512 بندًا.
| المهمة | المفتاح | اللاحقة | مثال (حقيقي) | مثال (مصطنع) |
|---|---|---|---|---|
| الجمع | cogul | -ler/-lar | kapı → kapılar | kuntaş → kuntaşlar |
| حالة الاتجاه | hal_yonelme | -e/-a (+y) | çocuk → çocuğa | brelak → brelağa |
| حالة المكان | hal_bulunma | -de/-da/-te/-ta | çölgap → çölgapta | yontuç → yontuçta |
| حالة الانفصال | hal_ayrilma | -den/-dan/-ten/-tan | kuş → kuştan | krint → krintten |
| حالة المفعول | hal_belirtme | -i/-ı/-u/-ü (+y) | ağaç → ağacı | dratok → dratoğu |
| الملكية، المتكلم المفرد | iyelik_1sg | -im/-ım/-um/-üm (+m) | masa → masam | çölgap → çölgabım |
| الملكية، المتكلم الجمع | iyelik_1pl | -imiz/… (+miz) | ev → evimiz | glodek → glodeğimiz |
| الملكية، الغائب المفرد | iyelik_3sg | -i/… (+si) | araba → arabası | fönük → fönüğü |
يقتصر النطاق على الجذوع القياسية؛ والجذوع أحادية المقطع المنتهية بـt/k (süt وkat) والحالات الخاصة مثل nk→ng مستبعدة عمدًا.
أربع قواعد صوتية
الانسجام الصوتي
الانسجام الثنائي (-ler/-lar) والانسجام الرباعي (-i/-ı/-u/-ü).
مماثلة الصوامت
بعد الصامت المهموس تصبح -de → -te و-den → -ten.
تليين الصوامت
p/ç/t/k → b/c/d/ğ قبل لاحقة تبدأ بحركة.
الصوامت الرابطة
-y- و-s- و-m- على الجذوع المنتهية بحركة.
موثّقة بثلاث طرق مستقلة
التليين في التركية معجمي: kitap → kitabı لكن süt → sütü. لذلك اقتُصرت الجذوع الحقيقية على ما سلوك تليينه غير خلافي؛ وللجذوع المصطنعة تُطبَّق قاعدة واحدة موثّقة: الجذع المصطنع متعدد المقاطع المنتهي بـp/ç/t/k يُليَّن قبل لاحقة تبدأ بحركة. المعيار لا يقيس ذلك بل يفترضه.
محرك التوليد
morfbench_v2.py: محرك صوتي يطبّق الانسجام الصوتي والمماثلة والتليين والصوامت الرابطة؛ مجمع الجذوع منقّى من كلمات حذف الحركة والاستثناءات.
جدول قواعد مستقل
kural_denetimi.py: مولّد ثانٍ كُتب بمعزل عن المحرك؛ يعيد اشتقاق كل إجابة ويقارنها: 512/512.
محلّل صرفي
crosscheck.py: تُحلَّل إجابات الكلمات الحقيقية بالمحلّل الصرفي التركي zeyrek؛ وإذا غاب وسم اللاحقة المتوقع من التحليل عُدّ البند مشبوهًا.
لم يُنشر الإصدار الأول (329 بندًا، 7 مهام)؛ فقد احتوى 18 إجابة ذهبية خاطئة على جذوع حقيقية (مثل çocuka وsüdü وrenği) وقاعدة غير متسقة للجذوع المصطنعة. يصحّح v2 هذه الأخطاء ويضيف مهمة حالة المفعول ويرفع عدد الجذوع من 47 إلى 64. جميع الأرقام المبلَّغ عنها قيست بـv2.
وضعان، سؤالان مختلفان
التوليد
يرى النموذج السؤال (أضف لاحقة الاتجاه -e/-a إلى كلمة çocuk؛ اكتب الكلمة فقط) ويجيب بحرية؛ تُزال علامات الترقيم وحالة الأحرف ثم تُطلب مطابقة تامة مع الإجابة الذهبية. يقيس الالتزام بالصيغة مع المعرفة؛ والنماذج الأساسية غير المضبوطة بالتعليمات تسجّل هنا نتائج منخفضة.
الاختيار القسري
يُختار الخيار ذو أعلى لوغاريتم احتمال بين الإجابة الذهبية والمشتّتات الصوتية (çocuğa / çocuğe / çocuka …). يُستبعد الالتزام بالصيغة؛ وتُقاس المعرفة وحدها. تُتخطّى البنود التي يتعذّر بناء مشتّت لها.
Qwen3-32B وErk-32B على البنود نفسها
يحمل كل فرق فاصل ثقة 95% ببوتستراب مزدوج من 10,000 إعادة معاينة؛ والفاصل الذي يحتوي الصفر يُكتب على أنه غير مُثبَت.
اختيار قسري · 502 بند (تعذّر بناء مشتّت لـ10 بنود)
| النموذج | الإجمالي (502) | حقيقي (312) | مصطنع (190) |
|---|---|---|---|
| Qwen3-32B | 89.44% | 94.55% | 81.05% |
| Erk-32B · LoRA 0,40 | 89.84%+0.40 [−1.20, +2.19]غير مُثبَت | 95.19%+0.64 [−0.64, +1.92]غير مُثبَت | 81.05%0.00 [0.00, 0.00]غير مُثبَت |
| Erk-32B · LoRA 0,75المنشور | 91.43%+1.99 [−0.20, +4.18]غير مُثبَت | 96.47%+1.92 [−0.32, +4.17]غير مُثبَت | 83.16%+2.11 [−2.11, +6.32]غير مُثبَت |
| Erk-32B · LoRA 0,80 | 91.83%+2.39 [+0.20, +4.78] | 97.12%+2.56 [+0.64, +4.81] | 83.16%+2.11 [−2.63, +6.84]غير مُثبَت |
توليد · 512 بندًا، مطابقة تامة، وضع تفكير Qwen3 مفعّل
| النموذج | الإجمالي (512) |
|---|---|
| Qwen3-32B | 31.64% |
| Erk-32B · LoRA 0,40 | 55.86%+24.22 [+18.95, +29.49] |
| Erk-32B · LoRA 0,75 | 61.52%+29.88 [+24.61, +35.16] |
| Erk-32B · LoRA 0,75 · موجّه نظام الهويةالمنشور | 59.38%+27.73 [+22.46, +33.01] |
| Erk-32B · LoRA 0,40 · موجّه نظام الهوية | 49.02%+17.38 [+11.91, +22.85] |
الفجوة البالغة نحو 28 نقطة بين الوضعين هي التزام بالصيغة: النموذج الأساسي يبقى داخل كتلة التفكير ولا يكتب الكلمة؛ وفي الاختيار القسري يعرف النموذج نفسه 89%. يعتمد أثر موجّه النظام على درجة التوليد على المقياس (−2.15 عند 0.75، غير مُثبَت؛ −6.84 عند 0.40، معنوي)؛ قِس بالإعداد الذي تنشره.
ما بُني المعيار لقياسه
Qwen3-32B · اختيار قسري · الدقة
في النموذج الأساسي تبلغ دقة الكلمات الحقيقية 94.55% ودقة الجذوع المصطنعة 81.05%: يعرف النموذج الصيغ أفضل بكثير من القواعد. وفي نموذج تدريب مستمر (Erk-32B) لم تنفصل درجة الجذوع المصطنعة عن الأساس عند أي مقياس؛ فالتدريب المستمر بالتركية لم يغيّر نظام اللواحق بشكل قابل للقياس.
قِس بأمرين
المخرجات: الدقة الإجمالية / الحقيقية / المصطنعة ومتجه تنبؤ لكل بند (JSON). لمقارنة نموذجين على البنود نفسها يعطي bootstrap.py فواصل ثقة مزدوجة.
$ pip install torch transformers$ python turkmorfbench_olc.py --model Qwen/Qwen3-32B --kip zorunlu$ python turkmorfbench_olc.py --model Qwen/Qwen3-32B --kip uretim
{"kok": "çocuk", "gorev": "hal_yonelme", "cevap": "çocuğa", "tip": "gercek",
"soru": "'çocuk' kelimesine -e/-a yönelme eki ekle. Sadece kelimeyi yaz.",
"kural": "yönelme + ünlü uyumu + yumuşama"}kokكلمة الجذع (الجذر).
gorevمفتاح مهمة اللاحقة (cogul وhal_yonelme و…).
cevapالإجابة الذهبية.
tipgercek (حقيقي) أو wug (مصطنع).
soruالموجّه المعروض على النموذج.
kuralالقواعد الصوتية المختبَرة في البند؛ تُستخدم في تحليل المجموعات الفرعية.
القيود المعروفة
يقتصر النطاق على الجذوع القياسية؛ والاستثناءات المعجمية (حذف الحركة burun → burnu، وأحاديات المقطع غير الملينة، وnk→ng) مستبعدة عمدًا.
قاعدة الجذوع المصطنعة افتراض؛ وقد تختلف إنتاجية التليين بين المتحدثين. درجة المجموعة المصطنعة نسبية إلى هذا الافتراض.
بـ24 جذعًا مصطنعًا تكون المجموعة الفرعية صغيرة (192 بندًا، ±5 نقاط)؛ فتوقّع غير مُثبَت للفروق الصغيرة.
يقتصر على تصريف الأسماء التركية؛ لا تصريف أفعال ولا اشتقاق ولا تركيب.
إذا استخدمت هذا المعيار
eCloud Tech. (2026). TurkMorfBench: Gerçek ve uydurma gövdelerde Türkçe ek üretimi kıyası (v2). https://github.com/ecloudtechnology/turkmorfbench
الترخيص: البيانات والسكربتات CC BY 4.0. للتواصل: [email protected]
قِس نموذجك بـTurkMorfBench
البيانات والسكربتات مفتوحة بترخيص CC BY 4.0. تواصل معنا للتعاون في تقييم النماذج التركية.