TurkMorfBench
معيار الصرف التركي: ليس درجةً بل تشخيصًا.
يقيس TurkMorfBench مدى معرفة النموذج اللغوي بنظام اللواحق التركية، ويخبرك بأيِّ قاعدةٍ أخفق. 466,517 بندًا، و14 سلّة، وضوابط بالجذوع المصطنعة، وتحليلٌ للمُقطِّع. الإجابات الذهبية يولّدها محرّك قواعد، ولا تأتي من نموذج لغوي في أيّ مرحلة.
بند · الطبقة الكاملة
14 سلّة · الطبقة الأساسية 1,836 بندًا · إصدارٌ مجمَّد v3.8.0
رقم دقّةٍ واحد لا يكشف أيَّ قاعدةٍ ينقصها النموذج
المخرج تشخيصٌ لا درجة: يتفصّل بحسب نوع الجذع، والسلّة، والصوت الأخير للجذع، والقاعدة المُخترَقة. التقرير أدناه من تشغيلٍ حقيقيٍّ لـ260 بندًا على نموذجٍ مفتوح يُخدَّم عبر نقطة نهايةٍ متوافقة مع OpenAI.
عند التشغيل على أوزانٍ محلّية يضيف التقرير تفصيلًا للمُقطِّع: الدقّة مفصولةً بحسب ما إذا أبقت المفردات الجذع سليمًا أو جزّأته، مع كلفة التجزيء مقيسةً بالنقاط.
ZORUNLU SEÇİM 161 / 260 %61.9 GÖVDE TÜRÜ gerçek gövde (real stems) 124/179 %69.3 uydurma gövde (nonce/wug stems) 37/81 %45.7 KOVA (bucket) istisna_uyum_kirici 0/12 %0.0 ek_zinciri 4/15 %26.7 cati 5/11 %45.5 ad_cekimi 33/48 %68.8 fiil_cekimi 10/10 %100.0 SON SES (stem-final sound) t 6/18 %33.3 ç 4/10 %40.0 p 6/12 %50.0 ünlü (vowel) 28/37 %75.7 HANGİ KURAL BİLİNMİYOR (which rule was violated) uyum (vowel harmony) 28 %28.3 iyelik_unlu (buffer vowel) 22 %22.2 zamir_n (pronominal n) 10 %10.1
أربع عشرة سلّة، كلٌّ منها تُقاس على حدة
التركية لغةٌ إلصاقية واختيار اللاحقة يتبع قواعد صارمة: الانسجام الصوتي الثنائي والرباعي، ومماثلة الصوامت، وتليين الصوامت، والصوامت الرابطة. وفوقها استثناءاتٌ معجمية (burun → burnu، kalp → kalbi، ret → reddi) ولواحق تتبع النطق (TCDD'yi، 2026'da).
| السلّة | البنود | ما تختبره |
|---|---|---|
| ad_yuva | 283,360 | تراكم الجمع + الملكية + الحالة، والنون الضميرية |
| ad_cekimi | 166,424 | 7 حالات، الانسجام، المماثلة، التليين، الصوامت الرابطة |
| ek_zinciri | 9,544 | العمق من 1 إلى 8، وترتيب اللواحق |
| fiil_cekimi | 1,792 | 7 أزمنة/صيغ، النفي، استثناءات المضارع العام |
| yapim_eki | 1,477 | -lIk، -CI، -lI، -sIz، -sAl، -lAş، -lA |
| istisna_ozel_ad | 1,200 | الفاصلة العليا، وعدم التليين (Sinop'a) |
| istisna_birlesik_isim | 896 | buzdolabına |
| cati | 728 | المبني للمجهول، والانعكاسي، والتشاركي، والتعديّ |
| istisna_sayi | 507 | اللاحقة تتبع النطق (2026'da) |
| istisna_kisaltma | 304 | اللاحقة تتبع النطق (TCDD'yi) |
| istisna_unlu_dusmesi | 177 | burnu، aklı، nakdi · موثّق بـTDK |
| istisna_uyum_kirici | 71 | kalbi، rolü، kıraati · موثّق بـTDK |
| istisna_ikizlesme | 35 | reddi، tıbbı، zıddı · موثّق بـTDK |
| istisna_kaynastirma_istisna | 2 | suyu، neyi |
| الإجمالي | 466,517 |
ليست عشوائية: كلُّ واحدٍ يخرق قاعدةً واحدة بالضبط
كلُّ مشتّتٍ يخرق قاعدةً واحدة ويُسمّى باسمها. فالنموذج الذي يختار içtimaiyatlarıda لا يعرف النون الضميرية، ومن يختار içtimaiyatlarınde لا يعرف الانسجام الصوتي. وهذا ما يجعل المعيار تشخيصيًّا لا لوحةَ نتائج.
يحمل حقل hucre الجوار الصوتي (الحركة الأخيرة، وصنف الصوت الأخير، وعدد المقاطع، والانسجام الداخلي)؛ ويحمل bayrak الشذوذ المعجمي (LastVowelDrop، Doubling، InverseHarmony، CompoundP3sg).
الخيارات مخلوطة والإجابة الذهبية في موضعٍ عشوائي (altin_sira يسجّل الموضع). والخلط مشتقٌّ من معرّف البند، فيأخذ البند الترتيب نفسه دائمًا وتبقى المقارنات بين الإصدارات سليمة. لم يكن الأمر كذلك قبل 3.2.1: كانت الذهبية أولًا دائمًا، وفي بروتوكولٍ يرمز للخيارات بحروف كانت الإجابة A دائمًا تعطي 100%.
{
"kimlik": "6c4f2594d126",
"kova": "ad_yuva",
"gorev": "cog-3t-bulunma",
"govde": "içtimaiyat",
"altin": "içtimaiyatlarında",
"celdirici_tur": ["zamir_n", "uyum"],
"celdirici_bicim": ["içtimaiyatlarıda", "içtimaiyatlarınde"],
"secenek": ["içtimaiyatlarıda", "içtimaiyatlarında", "içtimaiyatlarınde"],
"altin_sira": 1,
"gercek": true,
"hucre": ["a", "t", 3, "kirik"],
"bayrak": []
}الخلايا الـ33 التي لا تصلها الكلمات الحقيقية
تُضرَب المحاور التي تحدّد اختيار اللاحقة أولًا، ثم تُولَّد الجذوع لتعبئة الخلايا: الحركة الأخيرة (8) × صنف الصوت الأخير (8) × عدد المقاطع (3) × الانسجام الداخلي (2) = 320 خلية.
وفي 33 من هذه الخلايا لا توجد كلمةٌ تركيةٌ حقيقيةٌ واحدة. فالمعيار المبني على كلماتٍ حقيقية أعمى هناك بنيويًّا. وقد قِسنا ذلك: تنخفض نتائج النماذج في تلك الخلايا تحديدًا بمقدار 22-23 نقطة، حتى بعد مطابقة التركيب الصوتي.
معرفةُ قاعدةٍ أم جوارٌ معجمي؟
تصريف كلمةٍ حقيقيةٍ قد يكون حفظًا: فقد رأى النموذج صيغة kitabı عشرات آلاف المرات. أما الجذع المصطنع (zakak، vısep، sövot) فلا يرد في أيّ متن؛ ولا تُنتج الصيغة الصحيحة إلا القاعدة.
الفرق المقيس: تنخفض النماذج على الجذوع المصطنعة بمقدار 22-32 نقطة عن الحقيقية.
لا تأتي من نموذجٍ لغويٍّ في أيّ مرحلة
قِيست دقّة المحلّلات الصرفية التركية المفتوحة المنشورة بين 38% و72%؛ واتّخاذ واحدٍ منها مرجعًا يُدخل خطأً بنسبة 28-62%. لذلك لا تُحلَّل كلماتٌ اعتباطية — بل تُولَّد بنودٌ تنبع إجابتها الذهبية من طريقة البناء.
محرّك القواعد
محرّكٌ صوتيٌّ يطبّق الانسجام الصوتي والمماثلة والتليين والصوامت الرابطة. يحمل 282 تأكيدًا ذهبيًّا مكتوبًا يدويًّا، وكلُّها تنجح.
معجم Zemberek
تأتي رايات الشذوذ المعجمي (أيُّ جذعٍ يُلَيَّن وأيُّه تُحذَف حركته) من معجم Zemberek (Apache-2.0). ولا يُستخدَم محلّله.
معجم TDK الحديث
قُوبلت بنود السلال الاستثنائية الثلاث الـ283 كلُّها حرفًا بحرفٍ مع TDK. وإذا لم يعطِ المعجم صيغةً لجذعٍ أو أعطى أكثر من واحدة، يُستبعَد الجذع.
في دراسة السقف البشري نزل الناطقون بالتركية تحت مستوى الحظّ في سلّة الانسجام المعاكس. وحين يكون أداء الناطقين الأصليين أسوأ من التخمين، فالذهبيُّ هو ما يحتاج المراجعة لا المتحدّثون. فظهرت ثلاثة أخطاء منهجية — تطبيق التليين حيث يمنعه المعجم (bidadi، والصواب bidati)، وإغفال الانسجام المعاكس (aczı، والصواب aczi)، وإهمال الجهر عند التضعيف (retti، والصواب reddi) — وكلُّها لأنّ رايات Zemberek ناقصةٌ قياسًا بـTDK. وشمل التصحيح 147 مدخلًا معجميًّا، وطُبِّق لا على السلال الاستثنائية وحدها بل على كلّ تراكم لواحق في كلّ سلّة.
تُطرَح البنود نفسها على ناطقين بالتركية كلغةٍ أم
ما زالت هذه قراءةً أولية: العيّنة صغيرة، والفاصل واسع، والرقم سيُحدَّث مع انضمام مزيدٍ من المُقيّمين. والفاصل محسوبٌ بإعادة معاينةٍ عنقودية على الخلايا الصوتية؛ ولو حُسب على مستوى البنود لكان 74.6–81.8%، لأنّ البنود التي تشترك في خليةٍ واحدة ليست مشاهداتٍ مستقلّة.
[70.4% – 83.2%]
6 مُقيّمين صالحين · 560 حكمًا · الجمع مستمرّ
| المقطع | الدقّة | n |
|---|---|---|
| الجذوع الحقيقية | 79.5%[75.8% – 82.9%] | 531 |
| الجذوع المصطنعة | 55.2%[34.5% – 74.1%] | 29 |
لا يُقال شيءٌ بعدُ عن أداء البشر على الجذوع المصطنعة: فقد سُحب أيضًا ادّعاء الإصدار السابق بأنّ انخفاض البشر 12 نقطة. والتقدير النقطي هنا البالغ 24.3 نقطة يستند إلى عشراتٍ من الأحكام، والفاصل لا يسمح باستنتاجٍ في أيٍّ من الاتجاهين.
سُحبت نسبة 88.2% [83.1 – 91.8] التي أُعلنت في الإصدار السابق. والسببان كلاهما من جانب المعيار: استند ذلك الرقم إلى 3 مُقيّمين، واتّسع التوزيع عند ستّة (تتراوح دقّة المُقيّمين الصالحين بين 96.7% و53.2%)؛ كما أنّ 257 من أصل 520 بندًا في مجموعة ذلك القياس لم تكن موجودةً في بيانات المعيار الحالية. وقد أُعيد بناء المجموعة من البيانات الحالية في 24 سبتمبر 2026.
فرز المُقيّمين هو الدفاع الحقيقي عن القياس. وتُحدَّد ثلاثة معايير مسبقًا: عشر إجاباتٍ على الأقل؛ ووسيطٌ أقلُّ من 3 ثوانٍ للسؤال يعني أنّ السؤال لم يُقرأ؛ ودقّةٌ لا تتجاوز مستوى الحظّ الخاصّ بالمُقيّم في اختبارٍ ذي حدّين أحادي الاتجاه عند α = 0.001 لا تحمل معلومة. واستُبعد ستّةٌ من اثني عشر مُقيّمًا، خمسةٌ منهم بمعيار السرعة — أجاب أحدهم عن 111 سؤالًا في 36 ثانية. وكان الخمسة المستبعدون بالسرعة عند مستوى الحظّ أيضًا.
في 25 سبتمبر 2026 شُغِّل AIGENCY V4 عبر الواجهة نفسها المستخدَمة في الدراسة البشرية، فأجاب عن البنود الـ515 كلّها في 50 جلسة. وفصل معيارُ السرعة تلك الجلسات عن البيانات البشرية؛ وهي موسومةٌ في قاعدة البيانات كجلسات نموذج ولا تدخل في حساب السقف البشري. وعلى البنود الـ515 نفسها سجّل AIGENCY V4 69.9% والبشر الصالحون 79.1%.
سبعة عشر نموذجًا، سكربتٌ ثابتٌ واحد، وفواصل ثقةٍ عنقودية
أساسية 3.6 (1,836 بندًا)، وقاعدة harf، وفاصل ثقة 95% عنقوديٌّ على الخلايا، وbf16، وترتيب خيارات مجمَّد. وقِيس عمود TurkishMMLU بالسكربت الثابت نفسه على 652 سؤالًا نظيفًا (خمسة خيارات، والحظّ 20%). وقد حُسِّنت نماذج Erk بالاستفادة من المخرج التشخيصي لهذا المعيار؛ أمّا بقية النماذج فقِيست كما نُشرت.
| # | النموذج | المطوِّر | الحجم | TurkMorfBench | فاصل 95% | TurkishMMLU |
|---|---|---|---|---|---|---|
| 1 | Erk-14B(v2) | eCloud Tech. | 14B | 80.0% | 75.8% – 88.3% | 66.9% |
| 2 | turkish-gpt2-large | YTÜ COSMOS | 0,8B | 79.1% | 76.9% – 81.8% | 18.4% |
| 3 | kanarya-2b | Asafaya | 2B | 78.4% | 76.4% – 83.3% | 22.9% |
| 4 | Erk-32B(v2) | eCloud Tech. | 32B | 76.5% | 71.0% – 87.3% | 71.5% |
| 5 | Kumru-2B-Base | VNGRS | 2B | 76.2% | 72.6% – 77.8% | 17.0% |
| 6 | Kumru-2B | VNGRS | 2B | 76.2% | 74.0% – 78.7% | 19.6% |
| 7 | Turkcell-LLM-7b-v1 | Turkcell | 7B | 76.0% | 74.2% – 80.5% | 26.4% |
| 8 | Erk-14B(v1) | eCloud Tech. | 14B | 75.4% | 70.0% – 86.0% | 67.2% |
| 9 | Qwen3.8-27B(taban) | Alibaba | 27B | 75.4% | 71.3% – 83.9% | 70.2% |
| 10 | Turkish-Gemma-9b-v0.1 | YTÜ COSMOS | 9B | 75.2% | 69.8% – 85.7% | 60.3% |
| 11 | Erk-32B(v1) | eCloud Tech. | 32B | 74.9% | 69.2% – 86.1% | 71.0% |
| 12 | wiroai-turkish-llm-9b | WiroAI | 9B | 74.6% | 70.4% – 83.1% | 45.7% |
| 13 | Trendyol-LLM-7B-chat-v4.1.0 | Trendyol | 7B | 73.5% | 71.0% – 79.2% | 50.0% |
| 14 | Qwen3-32B(taban) | Alibaba | 32B | 73.4% | 67.8% – 84.3% | 67.6% |
| 15 | Turkish-Llama-8b-v0.1 | YTÜ COSMOS | 8B | 72.0% | 68.8% – 79.0% | 35.0% |
| 16 | Turkish-Llama-8b-Instruct-v0.1 | YTÜ COSMOS | 8B | 70.2% | 65.4% – 79.9% | 42.2% |
| 17 | Trendyol-LLM-7b-chat-v1.0 | Trendyol | 7B | 67.6% | 65.3% – 73.3% | 29.9% |
المراتب الأولى تقع في نطاق تعادلٍ إحصائي؛ ويُقارَن نموذجان بإعادة المعاينة العنقودية للفرق المزدوج بينهما، لا بتداخل فاصليهما. والصرف لا يتوسّع بعدد المُعامِلات: فالنماذج بين 0.8 و2 مليار التي تقف عند الحظّ في TurkishMMLU تقع في نطاق النماذج ذات 32 مليارًا نفسه في الصرف. ولذلك لا يجيب المعيار وحده عن سؤال "أيُّ نموذجٍ جيّد"؛ بل يُقرأ مع مقياسٍ للقدرة العامة.
أخطاء المعيار نفسه — تُكتب فور اكتشافها
3.6.0 · الانسجام عند حذف الحركة
عند حذف الحركة (aciz → aczi) كان انسجام اللاحقة التي تبدأ بحركة يُؤخذ من الحركة الأخيرة للجذع المتبقّي لا من الحركة المحذوفة. وكان تدقيق TDK قد "عالج" ذلك براية، لكنّ الراية تسرّبت إلى -lAr: acizlarında والصواب acizlerinde. المتأثّر: 34 جذعًا و136 إجابةً ذهبيةً خاطئة في ad_yuva. صُحّح المحرّك، وأُعيد تشغيل بحث الرايات (أُعيد إنتاج 501 من 501 إجابة ذهبية لـTDK)، وأُعيد توليد المعيار.
3.5.0 · سلّة ek_zinciri
سجّلت خمسة نماذج 0% تمامًا عند الأعماق 2/3/5/7 ونحو 100% عند 6/8؛ وهذا لا يمكن أن يكون خاصّيةً في النماذج، بل كان أثرًا من تصميم السلّة. فالمشتّتات القديمة كانت صيغًا "أنقص بدرجة" و"أزيد بدرجة"، وكلتاهما نحويّة. أمّا الآن فالمشتّتات خرقٌ للقواعد، ودخلت بنود العمق-1 إلى السلّة (8,351 → 9,544).
3.7 · تجميد التقييم
ثُبِّتت شيفرة التقييم في 3.7.0، وصدر 3.8.0 إصدارًا مجمَّدًا (Production/Stable على PyPI). أمّا سلّة ek_zinciri فبعد تصحيحها صارت عند السقف: ≥96% لدى 13 من 15 نموذجًا في أساسية 3.6، أي إنّها لم تعد تميّز. وفي إصدار البيانات القادم ستكون المشتّتات سلاسل نحويةً لا تناسب السياق.
هذه التصحيحات تكسر المقارنة بين الإصدارات: لا تُقارَن ad_yuva وad_cekimi وistisna_uyum_kirici مع 3.5.x، ولا ek_zinciri مع 3.4.x. أمّا بقية السلال فلم تتغيّر.
466,517 بندًا ليست 466,517 مشاهدةً مستقلّة
لا تُولَّد البنود مستقلًّا بعضها عن بعض: فالجذع الواحد يُنتج عشرات البنود عبر تقاطع الجمع × الملكية × الحالة، والخلية الصوتية الواحدة تربط مئات الجذوع بالقاعدة نفسها. وإذا أخطأ نموذجٌ التليين في الجذع kitap أخطأه في معظم البنود المشتقّة منه. وإعادة المعاينة على مستوى البند تتجاهل ذلك فتُظهر العيّنة أكبر ممّا هي وتُضيّق الفاصل — وهذه دقّةٌ زائفة.
| وحدة التعنقد | عدد العناقيد |
|---|---|
| الجذع | 32,140 |
| الخلية الصوتية | 441 |
تنتقل وحدة إعادة المعاينة من البند إلى العنقود، ويُقاس أثر التصميم ويُبلَّغ في كلّ تشغيل؛ وتتراوح القيمة المقيسة بين 1.2× و4.1× بين النماذج. ومقارنة نموذجين بتداخل فاصليهما المنفصلين خطأ — بل تُستخدم إعادة المعاينة العنقودية للفرق المزدوج (esli_fark).
ستّ قواعد، ترتيبٌ واحد
يُشغَّل النموذج مرّةً واحدة؛ ويُحفَظ لكلّ مرشّح المجموعُ الخام وعددُ الرموز وعددُ المحارف والاحتمالُ غير المشروط، ثم تُشتقّ ستّ قواعد من هذه المقادير الثلاثة. وعبر 15 نموذجًا تعطي harf وham وjeton الأطراف نفسها (المرتبتان الأوليان والمراتب الثلاث الأخيرة متطابقة)، مع بقاء ham أدنى بـ1-4 نقاط وjeton بـ2-16 نقطة. فالنتائج إذن لا تتوقّف على قاعدة التقييم. ويتراوح أثر التصميم بين 1.2× و4.1×.
| القاعدة | اختيار الأقصر (الهدف 29.9%) |
|---|---|
| متوسّط السلسلة الكاملة (القديمة) | 47.2% · 47.7% |
| مجموع المرشّح | 51.0% · 57.0% |
| مقسومًا على الرموز | 47.5% · 48.7% |
| مقسومًا على المحارف (الجديدة) | 39.4% · 43.2% |
| مُسوَّى بالقيمة غير المشروطة | 39.2% · 45.0% |
أمّا pmi وpmi_harf فتنهار إلى المدى 21-51: فالتسوية بالاحتمال غير المشروط تمحو التمييز بين المرشّحين الذين يتشاركون جذعًا واحدًا. وهاتان القاعدتان غير صالحتين لهذه المهمة؛ وتبقيان في الحزمة ليراه القارئ بنفسه.
الأساسية للتشخيص، والكاملة للرقم الرئيسي
تُشغَّل في دقائق، ومتوازنة السلال — لتُعطي كلُّ سلّةٍ ولو أصغرها تقديرًا قابلًا للقياس.
كامل التغطية المُصمَّمة.
الطبقة الأساسية متوازنة السلال، أي إنّها ليست عيّنةً غير متحيّزة من المجموعة الكاملة، وذلك بقصد. ولا تُقارَن الطبقتان.
الاختيار القسري أساسي، والتوليد الحرّ ثانوي
الاختيار القسري
يختار النموذج بلوغاريتم الاحتمال بين الصيغة الذهبية ومشتّتات خرق القواعد. ولا يوجد تحليلٌ للمخرج، فلا يمكن للالتزام بالصيغة أن يؤثّر في النتيجة.
التوليد الحرّ
ثانويٌّ، ويَعدّ (غير مقروء) منفصلًا عن (خطأ). ولولا هذا الفصل لَجانَب أحد قياساتنا الصواب بخمسين نقطة.
ثلاث خطوات من التركيب إلى التشخيص
الحزمة على PyPI وتعمل على أوزانٍ محلّية أو على نقطة نهايةٍ متوافقة مع OpenAI (vLLM، llama.cpp server، TGI). ومع نقطة نهايةٍ بعيدة يكون text_offset مطلوبًا في استجابة /v1/completions؛ فبدونه لا يمكن فصل رموز المرشّحين ويتوقّف القياس بدل أن يحسب شيئًا آخر بصمت.
1 · ركّب وشغّل
pip install turkmorfbench ثم turkmorfbench olc --model <MODEL>. والافتراضي هو الطبقة الأساسية وتنتهي في دقائق؛ ويطبع turkmorfbench bilgi إصدارَي الحزمة والبيانات المثبَّتين.
2 · ضيّق النطاق
--katman tam يشغّل المجموعة الكاملة، و--govde uydurma الجذوع المصطنعة وحدها، و--kova <اسم> سلالًا بعينها. ويكتب --cikti rapor.json متجه التنبؤ لكلّ بند على القرص؛ ويضبط --isci عدد الطلبات المتوازية.
3 · اقرأ النتيجة قراءةً صحيحة
المخرج تشخيصٌ لا درجة: أيُّ قاعدة، وأيُّ صوتٍ أخير، وجذعٌ حقيقيٌّ أم مصطنع. ولا تقارن نموذجين بتداخل فاصليهما المنفصلين؛ بل خذ إعادة المعاينة العنقودية للفرق المزدوج عبر esli_fark. وتخبرك وحدة duyarlilik إن كانت النتيجة تتوقّف على قاعدة التقييم.
$ pip install turkmorfbench$ $ # yerel ağırlıklar / local weights$ turkmorfbench olc --model ecloudtech/Erk-32B$ $ # OpenAI uyumlu uç / OpenAI-compatible endpoint$ turkmorfbench olc --uc http://localhost:8000/v1 --model erk --isci 16$ $ # tam katman, yalnız uydurma gövdeler, JSON rapor$ turkmorfbench olc --model X --katman tam --govde uydurma --cikti rapor.json$ $ # yalnız istisna kovaları$ turkmorfbench olc --model X --kova istisna_unlu_dusmesi istisna_ikizlesme
from datasets import load_dataset
d = load_dataset("ecloudtech/TurkMorfBench", "cekirdek") # 1.836
d = load_dataset("ecloudtech/TurkMorfBench", "tam") # 466.517from turkmorfbench.istatistik import kume_bootstrap, esli_fark, tasarim_etkisi
from turkmorfbench.duyarlilik import bilesen_topla, karsilastir, rapor
s = kume_bootstrap(maddeler, dogru, anahtar="hucre")
f = esli_fark(maddeler, a_dogru, b_dogru, anahtar="hucre")
print(rapor(karsilastir(bilesen_topla(arka_a, maddeler),
bilesen_topla(arka_b, maddeler),
maddeler, "A", "B"), "A", "B"))نعرفها ونكتبها
استُبعدت الجذوع المتماثلة إملائيًّا: يتباين تصريفها فلا تكون الإجابة الذهبية واحدة (278 جذعًا في السلال العامة).
أكثر من نصف جذوع الاستثناءات غائبٌ عن معجم TDK الحديث (مستعارات قديمة مثل inhimak وmeşihat وpirüpak)؛ استُبعدت في هذا الإصدار فأصبحت سلال الاستثناءات تقيس التركية الحيّة.
استُبعد 66 بندًا في التعديّ: ففي الجذوع الحقيقية أحادية المقطع يكون اختيار اللاحقة معجميًّا، وما لم يكن في قائمة الاستثناءات الصريحة عُدَّ غير موثوق.
سلال الاستثناءات حقيقية الجذوع بطبيعتها — فالكلمة المصطنعة لا يكون لها استثناءٌ معجمي.
السقف البشري قراءةٌ أولية: 3 مُقيّمين، و211 حكمًا، وفاصلٌ واسع.
قلَّ تحيّز الطول في قاعدة التقييم لكنّه لم يُنعدم (39-43% مقابل هدفٍ 29.9%).
يتفاوت أثر التصميم (عرض الفاصل العنقودي على الخلايا مقابل مستوى البند) بين النماذج من 1.2× إلى 4.7×؛ وأعلاه في نماذج Erk، أي إنّها قويّةٌ جدًّا في بعض خلايا القواعد وضعيفةٌ في غيرها.
تسجّل سلّة ek_zinciri ≥96% لدى 13 من 15 نموذجًا في أساسية 3.6 ولا تميّز؛ والترتيب من دونها هو نفسه.
سلّة istisna_kaynastirma_istisna بندان اثنان فقط (suyu، neyi)؛ ولا تُفسَّر وحدها.
الإصدار 3.8.0 هو الإصدار المجمَّد
البيانات 3.6.0 والتقييم 3.7.0. وكلُّ تغييرٍ في البيانات أو في شيفرة التقييم مسجَّلٌ بمسوّغه في CHANGELOG.md؛ وأرقام إصدارات البيانات المختلفة غير قابلةٍ للمقارنة. وتتحقّق الحزمة من اتّساق التوثيق والبيانات والحزمة المنشورة بعضها مع بعض عبر tutarlilik.py.
أرقامٌ مقيسةٌ بالإصدار v2
أرقام TurkMorfBench في صفحة Erk-32B (مجموعة v2 ذات 512 بندًا: 91.43% اختيارًا قسريًّا و59.38% توليدًا) قِيست بالإصدار v2 وتبقى أرقام ذلك الإصدار. أما v3.6 فمجموعةٌ مختلفة بقاعدة تقييمٍ مختلفة وبنية سلالٍ مختلفة؛ وأرقام الإصدارين غير قابلةٍ للمقارنة.
إذا استخدمت هذا المعيار
@misc{turkmorfbench2026,
title = {TurkMorfBench: A Diagnostic Morphology Benchmark for Turkish Language Models},
author = {{eCloud Tech.}},
year = {2026},
url = {https://huggingface.co/datasets/ecloudtech/TurkMorfBench}
}الكود Apache-2.0، والبيانات CC BY 4.0. للتواصل: [email protected]
قِس نموذجك بـTurkMorfBench
أمرٌ واحد للتركيب، وتقريرٌ تشخيصيٌّ كمخرج. الكود Apache-2.0 والبيانات CC BY 4.0. تواصل معنا للتعاون في تقييم النماذج التركية.