TurkMorfBench
Türkçe morfoloji kıyası: puan değil, teşhis.
TurkMorfBench, bir dil modelinin Türkçe ek sistemini ne kadar bildiğini ölçer ve hangi kuralda düştüğünü söyler. 466.517 madde, 14 kova, uydurma gövde kontrolü, tokenizer çözümlemesi. Altın cevaplar kural motorundan üretilir; hiçbir aşamada bir dil modelinden gelmez.
Madde · tam katman
14 kova · çekirdek katman 1.836 madde · dondurulmuş yayın v3.8.0
Tek bir doğruluk sayısı hangi kuralın bilinmediğini söylemez
Çıktı bir puan değil, teşhis raporudur: gövde türüne, kovaya, gövdenin son sesine ve ihlal edilen kurala göre ayrışır. Aşağıdaki rapor, OpenAI uyumlu bir uçtan servis edilen açık bir modelin 260 maddelik gerçek koşusundan alınmıştır.
Yerel ağırlıklarla koşulduğunda rapora tokenizer dökümü de eklenir: doğruluk, sözlüğün gövdeyi bütün tutup tutmadığına göre ayrışır ve parçalanmanın puan cinsinden bedeli ölçülür.
ZORUNLU SEÇİM 161 / 260 %61.9 GÖVDE TÜRÜ gerçek gövde (real stems) 124/179 %69.3 uydurma gövde (nonce/wug stems) 37/81 %45.7 KOVA (bucket) istisna_uyum_kirici 0/12 %0.0 ek_zinciri 4/15 %26.7 cati 5/11 %45.5 ad_cekimi 33/48 %68.8 fiil_cekimi 10/10 %100.0 SON SES (stem-final sound) t 6/18 %33.3 ç 4/10 %40.0 p 6/12 %50.0 ünlü (vowel) 28/37 %75.7 HANGİ KURAL BİLİNMİYOR (which rule was violated) uyum (vowel harmony) 28 %28.3 iyelik_unlu (buffer vowel) 22 %22.2 zamir_n (pronominal n) 10 %10.1
On dört kova, her biri ayrı ölçülür
Türkçe sondan eklemelidir ve ek seçimi katı kurallara bağlıdır: büyük ve küçük ünlü uyumu, ünsüz benzeşmesi, ünsüz yumuşaması, kaynaştırma. Üstüne sözlüksel istisnalar (burun → burnu, kalp → kalbi, ret → reddi) ve okunuşa bağlı ekler (TCDD'yi, 2026'da) biner.
| Kova | Madde | Ne sınıyor |
|---|---|---|
| ad_yuva | 283.360 | çokluk + iyelik + hâl yığını, zamir n'si |
| ad_cekimi | 166.424 | 7 hâl, uyum, benzeşme, yumuşama, kaynaştırma |
| ek_zinciri | 9.544 | 1'den 8'e derinlik, ek sırası |
| fiil_cekimi | 1.792 | 7 zaman/kip, olumsuzluk, geniş zaman istisnaları |
| yapim_eki | 1.477 | -lIk, -CI, -lI, -sIz, -sAl, -lAş, -lA |
| istisna_ozel_ad | 1.200 | kesme işareti, yumuşamama (Sinop'a) |
| istisna_birlesik_isim | 896 | buzdolabına |
| cati | 728 | edilgen, dönüşlü, işteş, ettirgen |
| istisna_sayi | 507 | okunuşa göre ek (2026'da) |
| istisna_kisaltma | 304 | okunuşa göre ek (TCDD'yi) |
| istisna_unlu_dusmesi | 177 | burnu, aklı, nakdi · TDK doğrulamalı |
| istisna_uyum_kirici | 71 | kalbi, rolü, kıraati · TDK doğrulamalı |
| istisna_ikizlesme | 35 | reddi, tıbbı, zıddı · TDK doğrulamalı |
| istisna_kaynastirma_istisna | 2 | suyu, neyi |
| Toplam | 466.517 |
Rastgele değil: her biri tek bir kuralı bozar
Her çeldirici tam bir kuralı ihlal eder ve adı da o kuraldır. Model içtimaiyatlarıda seçtiyse zamir n'sini bilmiyor; içtimaiyatlarınde seçtiyse ünlü uyumunu. Kıyası bir puan tablosu değil teşhis aracı yapan şey budur.
hucre alanı ses ortamını taşır (son ünlü, son ses sınıfı, hece sayısı, iç uyum); bayrak ise sözlüksel düzensizlikleri (LastVowelDrop, Doubling, InverseHarmony, CompoundP3sg).
Şıklar karıştırılmıştır ve altın rastgele bir konumda durur (altin_sira kaçıncı olduğunu söyler). Karıştırma madde kimliğinden türetilir; aynı madde her üretimde aynı sırayı alır, sürümler arası karşılaştırma bozulmaz. Bu 3.2.1'den önce böyle değildi: altın her maddede birinciydi ve şıkları harflendiren bir protokolde hep A demek %100 verirdi.
{
"kimlik": "6c4f2594d126",
"kova": "ad_yuva",
"gorev": "cog-3t-bulunma",
"govde": "içtimaiyat",
"altin": "içtimaiyatlarında",
"celdirici_tur": ["zamir_n", "uyum"],
"celdirici_bicim": ["içtimaiyatlarıda", "içtimaiyatlarınde"],
"secenek": ["içtimaiyatlarıda", "içtimaiyatlarında", "içtimaiyatlarınde"],
"altin_sira": 1,
"gercek": true,
"hucre": ["a", "t", 3, "kirik"],
"bayrak": []
}Gerçek kelimelerin ulaşamadığı 33 hücre
Ek seçimini belirleyen eksenler önce çaprazlanır, gövdeler sonra o hücreleri doldurmak için üretilir: son ünlü (8) × son ses sınıfı (8) × hece sayısı (3) × iç uyum (2) = 320 hücre.
Bu kümenin 33 hücresinde Türkçede gerçek kelime yoktur. Gerçek kelimelerden kurulan bir kıyas oraları yapısal olarak sınayamaz. Ölçtük: modeller tam o hücrelerde, ses bileşimi eşleştirildikten sonra bile 22-23 puan daha kötü.
Kural mı biliniyor, komşuluk mu?
Gerçek kelimede doğru ek üretmek ezberle de mümkündür: model kitabı biçimini külliyatta on binlerce kez görmüştür. Uydurma gövde (zakak, vısep, sövot) hiçbir külliyatta geçmez; model doğru eki ancak kuralı biliyorsa üretir.
Ölçülen fark: modeller gerçek ile uydurma gövde arasında 22-32 puan veriyor.
Hiçbir aşamada bir dil modelinden gelmez
Açık Türkçe morfolojik çözümleyicilerin doğruluğu %38-72 aralığında ölçülmüştür; böyle bir aracı altın kaynak yapmak külliyata %28-62 hata enjekte eder. Bu yüzden keyfi kelime çözümlenmiyor — altını inşadan belli olan madde üretiliyor.
Kural motoru
Ünlü uyumu, benzeşme, yumuşama ve kaynaştırmayı uygulayan sesbilimsel motor. 282 elle yazılmış altın iddia taşır ve hepsi geçer.
Zemberek sözlüğü
Sözlüksel düzensizlik bayrakları (hangi gövde yumuşar, hangisinde ünlü düşer) Zemberek sözlüğünden gelir (Apache-2.0). Çözümleyicisi kullanılmaz.
TDK Güncel Türkçe Sözlük
Üç istisna kovasının 283 maddesinin tamamı TDK ile birebir karşılaştırıldı. Sözlük bir gövde için biçim vermiyorsa ya da birden fazla veriyorsa o gövde kıyasa alınmaz.
İnsan tavanı ölçümünde katılımcılar uyum kırıcı kovasında şans düzeyinin altına düştü. Ana dili Türkçe olan insanlar bir kurala şanstan kötü uyuyorsa sorun insanda değil altındadır. Üç sistematik hata çıktı — olmayan yumuşamanın uygulanması (bidadi, doğrusu bidati), ince/kalın uyumun kaçırılması (aczı, doğrusu aczi), ikizleşirken ötümlüleşmenin atlanması (retti, doğrusu reddi) — hepsi Zemberek bayraklarının TDK'ye göre eksik olmasından. Düzeltme 147 sözlük maddesine uygulandı ve yalnız istisna kovalarına değil, her kovada her ek yığınına yansıtıldı.
Aynı maddeler ana dili Türkçe olan kişilere soruluyor
Bu hâlâ bir ön okumadır: örneklem küçük, aralık geniş ve sayı katılımcı geldikçe güncellenecek. Aralık fonolojik hücre kümeli önyüklemeyle verilmiştir; madde düzeyinde hesaplansa %74,6–%81,8 çıkardı, çünkü aynı hücreye bağlı maddeler bağımsız gözlem değildir.
[%70,4 – %83,2]
6 geçerli değerlendirici · 560 yargı · toplama sürüyor
| Kesit | Doğruluk | n |
|---|---|---|
| Gerçek gövde | %79,5[%75,8 – %82,9] | 531 |
| Uydurma gövde | %55,2[%34,5 – %74,1] | 29 |
Uydurma gövdedeki insan performansı hakkında henüz bir şey söylenmiyor: önceki sürümdeki "insan düşüşü 12 puan" iddiası da geri çekildi. Buradaki 24,3 puanlık nokta tahmini onlarca yargıya dayanıyor ve aralık her iki yönde de sonuca izin vermiyor.
Önceki sürümde bildirilen %88,2 [%83,1 – %91,8] geri çekilmiştir. İki sebebi var, ikisi de kıyas tarafında: o sayı 3 değerlendiriciye dayanıyordu ve altıya çıkınca dağılım genişledi (geçerli kişilerin doğrulukları %96,7 ile %53,2 arasında); ayrıca o ölçümün madde havuzundaki 520 maddenin 257'si güncel kıyas verisinde yoktu. Havuz 24 Eylül 2026'da güncel veriden yeniden kuruldu.
Katılımcı taraması ölçümü koruyan asıl savunma. Üç ölçüt önceden yazılır: en az 10 cevap; soru başına medyan süre 3 saniyenin altındaysa kişi soruyu okumuyordur; doğruluğu kendi şans düzeyini tek yönlü binom testiyle α = 0,001'de geçemeyen kişi bilgi taşımıyordur. 12 katılımcının 6'sı elendi, beşi hız ölçütünden — biri 111 soruyu 36 saniyede cevaplamıştı. Hızdan elenen beşin beşi aynı zamanda şans düzeyindeydi.
25 Eylül 2026'da AIGENCY V4, insan çalışmasının aynı arayüzü üzerinden 50 oturumda 515 maddenin tamamına cevap verecek şekilde koşuldu. Hız ölçütü bu oturumları insan verisinden ayırdı; veritabanında model oturumu olarak işaretli ve insan tavanı hesabına girmiyor. Aynı 515 maddede AIGENCY V4 %69,9, geçerli insanlar %79,1.
On yedi model, tek sabit betik, kümeli güven aralığı
3.6 çekirdeği (1.836 madde), harf kuralı, hücre kümeli %95 güven aralığı, bf16, şık sırası dondurulmuş. TurkishMMLU sütunu aynı sabit betikle 652 temiz soruda ölçüldü (beş şık, şans %20). Erk modelleri bu kıyasın teşhis çıktısıyla iyileştirildi; diğer modeller yayımlandıkları hâliyle ölçüldü.
| # | Model | Geliştiren | Boyut | TurkMorfBench | %95 GA | TurkishMMLU |
|---|---|---|---|---|---|---|
| 1 | Erk-14B(v2) | eCloud Tech. | 14B | %80,0 | %75,8 – %88,3 | %66,9 |
| 2 | turkish-gpt2-large | YTÜ COSMOS | 0,8B | %79,1 | %76,9 – %81,8 | %18,4 |
| 3 | kanarya-2b | Asafaya | 2B | %78,4 | %76,4 – %83,3 | %22,9 |
| 4 | Erk-32B(v2) | eCloud Tech. | 32B | %76,5 | %71,0 – %87,3 | %71,5 |
| 5 | Kumru-2B-Base | VNGRS | 2B | %76,2 | %72,6 – %77,8 | %17,0 |
| 6 | Kumru-2B | VNGRS | 2B | %76,2 | %74,0 – %78,7 | %19,6 |
| 7 | Turkcell-LLM-7b-v1 | Turkcell | 7B | %76,0 | %74,2 – %80,5 | %26,4 |
| 8 | Erk-14B(v1) | eCloud Tech. | 14B | %75,4 | %70,0 – %86,0 | %67,2 |
| 9 | Qwen3.8-27B(taban) | Alibaba | 27B | %75,4 | %71,3 – %83,9 | %70,2 |
| 10 | Turkish-Gemma-9b-v0.1 | YTÜ COSMOS | 9B | %75,2 | %69,8 – %85,7 | %60,3 |
| 11 | Erk-32B(v1) | eCloud Tech. | 32B | %74,9 | %69,2 – %86,1 | %71,0 |
| 12 | wiroai-turkish-llm-9b | WiroAI | 9B | %74,6 | %70,4 – %83,1 | %45,7 |
| 13 | Trendyol-LLM-7B-chat-v4.1.0 | Trendyol | 7B | %73,5 | %71,0 – %79,2 | %50,0 |
| 14 | Qwen3-32B(taban) | Alibaba | 32B | %73,4 | %67,8 – %84,3 | %67,6 |
| 15 | Turkish-Llama-8b-v0.1 | YTÜ COSMOS | 8B | %72,0 | %68,8 – %79,0 | %35,0 |
| 16 | Turkish-Llama-8b-Instruct-v0.1 | YTÜ COSMOS | 8B | %70,2 | %65,4 – %79,9 | %42,2 |
| 17 | Trendyol-LLM-7b-chat-v1.0 | Trendyol | 7B | %67,6 | %65,3 – %73,3 | %29,9 |
İlk sıralar istatistiksel olarak beraberlik bandındadır; iki modeli karşılaştırırken aralıkların çakışmasına değil, eşli farkın kümeli önyüklemesine bakılır. Morfoloji parametre sayısıyla ölçeklenmez: TurkishMMLU'da şans düzeyindeki 0,8-2B modeller morfolojide 32B modellerle aynı banttadır. Kıyas bu yüzden tek başına "hangi model iyi" sorusuna cevap vermez; genel yetenek ölçüsüyle birlikte okunmalıdır.
Kıyasın kendi hataları — bulundukça yazılır
3.6.0 · ünlü düşmesinde uyum
Ünlü düşmesinde (aciz → aczi) ünlüyle başlayan ekin uyumu düşen ünlüden değil kalan tabanın son ünlüsünden alınıyordu. TDK denetimi bunu bir bayrakla "çözmüştü" ama bayrak -lAr'a sızıyordu: acizlarında, doğrusu acizlerinde. Etkilenen 34 gövde, ad_yuva'da 136 yanlış altın. Motor düzeltildi, bayrak araması yeniden koşuldu (501 TDK altınının 501'i yeniden üretildi), kıyas yeniden üretildi.
3.5.0 · ek_zinciri kovası
Beş model derinlik 2/3/5/7'de tam %0, 6/8'de ~%100 alıyordu; bu bir model özelliği olamaz, kova tasarımının artefaktıydı. Eski çeldiriciler "bir basamak eksik/fazla" biçimlerdi ve ikisi de dilbilgiseldi. Çeldiriciler artık kural ihlali; derinlik-1 maddeleri de kovaya girdi (8.351 → 9.544).
3.7 · puanlama dondu
Puanlama kodu 3.7.0'da sabitlendi ve 3.8.0 dondurulmuş yayın olarak çıktı (PyPI'da Production/Stable). ek_zinciri kovası ise düzeltildikten sonra tavana yapıştı: 3.6 çekirdeğinde 15 modelin 13'ünde ≥%96, yani ayırt etmiyor. Bir sonraki veri sürümünde çeldiriciler bağlamla uyuşmayan dilbilgisel zincirler olacak.
Bu düzeltmeler sürümler arası karşılaştırmayı kırar: 3.5.x ile ad_yuva, ad_cekimi ve istisna_uyum_kirici; 3.4.x ile ek_zinciri sayıları karşılaştırılamaz. Diğer kovalar değişmedi.
466.517 madde, 466.517 bağımsız gözlem değildir
Maddeler birbirinden bağımsız üretilmez: tek bir gövde çokluk × iyelik × hâl çaprazından onlarca madde doğurur, tek bir fonolojik hücre yüzlerce gövdeyi aynı kurala bağlar. Bir model kitap gövdesinde yumuşamayı kaçırıyorsa o gövdeden türeyen maddelerin çoğunda birlikte kaçırır. Madde düzeyinde klasik önyükleme bunu görmezden gelir, örneklemi olduğundan büyük gösterir ve aralığı gereğinden daraltır — sahte kesinlik.
| Kümeleme birimi | Küme sayısı |
|---|---|
| Gövde | 32.140 |
| Fonolojik hücre | 441 |
Yeniden örnekleme birimi maddeden kümeye taşınır ve tasarım etkisi her koşumda ölçülüp bildirilir; ölçülen değer modelden modele 1,2× ile 4,1× arasında değişir. İki modeli karşılaştırırken ayrı aralıkların çakışmasına bakmak yanlıştır — eşli farkın kümeli önyüklemesi kullanılır (esli_fark).
Altı kural, aynı sıralama
Model bir kez koşturulur; her aday için ham toplam, jeton sayısı, karakter sayısı ve koşulsuz olasılık saklanır ve altı kural bu üç büyüklükten türetilir. 15 modelde harf, ham ve jeton aynı uçları veriyor (ilk iki ve son üç sıra aynı); ham 1-4, jeton 2-16 puan aşağıda kalıyor. Yani bulgular puanlama kuralına bağlı değil. Tasarım etkisi modelden modele 1,2× ile 4,1× arasında.
| Kural | En kısayı seçme oranı (hedef %29,9) |
|---|---|
| Tüm dizgi ortalaması (eski) | %47,2 · %47,7 |
| Aday toplamı | %51,0 · %57,0 |
| Jetona bölünmüş | %47,5 · %48,7 |
| Karaktere bölünmüş (yeni) | %39,4 · %43,2 |
| Koşulsuzla normalleştirilmiş | %39,2 · %45,0 |
pmi ve pmi_harf ise 21-51 aralığına çöküyor: koşulsuz olasılıkla normalleştirmek, ortak gövdeyi paylaşan adaylar arasındaki ayrımı yok ediyor. Bu iki kural bu görev için uygun değildir; pakette kalıyorlar ki okuyucu bunu kendisi görebilsin.
Teşhis için çekirdek, manşet sayı için tam
Dakikalar içinde koşar, kova dengeli — en küçük kovada bile ölçülebilir bir sayı çıksın diye.
Tasarlanan kapsamın tamamı.
Çekirdek kova dengelidir, yani tam kümenin yansız tahmini değildir; bilerek. İkisi karşılaştırılmaz.
Zorunlu seçim birincil, serbest üretim ikincil
Zorunlu seçim
Altın biçim ile kural ihlali çeldiricileri arasından log-olasılıkla seçtirilir; çıktı ayrıştırma yoktur, dolayısıyla biçime uyma sonucu etkilemez.
Serbest üretim
İkincildir ve okunamadı ile yanlış ayrı sayılır. Bu ayrım olmadan bir ölçümümüz elli puan yanılmıştı.
Kurulumdan teşhise üç adım
Paket PyPI'da: yerel ağırlıklarla ya da OpenAI uyumlu bir uçla (vLLM, llama.cpp server, TGI) koşar. Uzak uç kullanılıyorsa /v1/completions yanıtında text_offset zorunludur; onsuz aday jetonları ayrılamaz ve ölçüm sessizce farklı bir şey hesaplamak yerine durur.
1 · Kur ve koş
pip install turkmorfbench, ardından turkmorfbench olc --model <MODEL>. Varsayılan çekirdek katmandır ve dakikalar içinde biter; turkmorfbench bilgi kurulu sürümü ve veri sürümünü yazar.
2 · Kapsamı daralt
--katman tam bütün kümeyi, --govde uydurma yalnız uydurma gövdeleri, --kova <ad> tek tek kovaları koşar. --cikti rapor.json madde bazlı tahmin vektörünü diske yazar; --isci paralel istek sayısıdır.
3 · Sonucu doğru oku
Çıktı puan değil teşhistir: hangi kural, hangi son ses, gerçek mi uydurma mı. İki modeli karşılaştırırken ayrı güven aralıklarının çakışmasına bakma; esli_fark ile eşli farkın kümeli önyüklemesini al. duyarlilik modülü sonucun puanlama kuralına bağlı olup olmadığını söyler.
$ pip install turkmorfbench$ $ # yerel ağırlıklar / local weights$ turkmorfbench olc --model ecloudtech/Erk-32B$ $ # OpenAI uyumlu uç / OpenAI-compatible endpoint$ turkmorfbench olc --uc http://localhost:8000/v1 --model erk --isci 16$ $ # tam katman, yalnız uydurma gövdeler, JSON rapor$ turkmorfbench olc --model X --katman tam --govde uydurma --cikti rapor.json$ $ # yalnız istisna kovaları$ turkmorfbench olc --model X --kova istisna_unlu_dusmesi istisna_ikizlesme
from datasets import load_dataset
d = load_dataset("ecloudtech/TurkMorfBench", "cekirdek") # 1.836
d = load_dataset("ecloudtech/TurkMorfBench", "tam") # 466.517from turkmorfbench.istatistik import kume_bootstrap, esli_fark, tasarim_etkisi
from turkmorfbench.duyarlilik import bilesen_topla, karsilastir, rapor
s = kume_bootstrap(maddeler, dogru, anahtar="hucre")
f = esli_fark(maddeler, a_dogru, b_dogru, anahtar="hucre")
print(rapor(karsilastir(bilesen_topla(arka_a, maddeler),
bilesen_topla(arka_b, maddeler),
maddeler, "A", "B"), "A", "B"))Bunları biliyoruz ve yazıyoruz
Eş yazılışlı gövdeler kıyasa alınmadı: çekim davranışları ayrıştığı için altın cevap tek olmuyor (genel kovalarda 278 gövde).
İstisna gövdelerinin yarısından çoğu TDK'nin güncel sözlüğünde yok (inhimak, meşihat, pirüpak gibi arkaik alıntılar); bu sürümde alınmadılar, istisna kovaları artık yaşayan Türkçeyi ölçüyor.
Ettirgende 66 madde elendi: tek heceli gerçek gövdelerde ek seçimi sözlükseldir ve açık istisna listesinde olmayanlar güvenilmez sayıldı.
İstisna kovaları doğası gereği gerçek gövdelidir — uydurma bir kelimenin sözlüksel istisnası olamaz.
İnsan tavanı ön okumadır: 3 değerlendirici, 211 yargı; aralık geniş.
Puanlama kuralındaki uzunluk yanlılığı azaldı ama sıfırlanmadı (%39-43, hedef %29,9).
Tasarım etkisi (hücre kümeli / madde düzeyi aralık genişliği) modelden modele 1,2× ile 4,7× arasında değişir; en yükseği Erk modellerinde, yani bazı kural hücrelerinde çok güçlü bazılarında zayıf.
ek_zinciri kovası 3.6 çekirdeğinde 15 modelin 13'ünde ≥%96: ayırt etmiyor. Kova hariç sıralama aynıdır.
istisna_kaynastirma_istisna yalnızca iki maddedir (suyu, neyi); tek başına yorumlanmaz.
3.8.0 dondurulmuş yayın sürümüdür
Veri 3.6.0, puanlama 3.7.0. Veri ya da puanlama kodunu değiştiren her sürüm CHANGELOG.md'de gerekçesiyle kayıtlıdır; farklı veri sürümlerinin sayıları birbiriyle karşılaştırılmaz. Paket, belge ile veri ile yayımlanan paket arasındaki tutarlılığı tutarlilik.py ile denetler.
v2 ile ölçülen sayılar
Erk-32B sayfasındaki TurkMorfBench sayıları (512 maddelik v2 kümesi, zorunlu seçim %91,43 ve üretim %59,38) v2 ile ölçülmüştür ve o sürümün sayıları olarak geçerlidir. v3.6 farklı bir küme, farklı bir puanlama kuralı ve farklı bir kova yapısıdır; iki sürümün sayıları karşılaştırılmaz.
Bu kıyası kullanırsanız
@misc{turkmorfbench2026,
title = {TurkMorfBench: A Diagnostic Morphology Benchmark for Turkish Language Models},
author = {{eCloud Tech.}},
year = {2026},
url = {https://huggingface.co/datasets/ecloudtech/TurkMorfBench}
}Kod Apache-2.0, veri CC BY 4.0. İletişim: [email protected]
Modelinizi TurkMorfBench ile ölçün
Tek komutla kurulur, teşhis raporu üretir. Kod Apache-2.0, veri CC BY 4.0. Türkçe modeller için ölçüm ve değerlendirme çalışmalarında iş birliği için bizimle iletişime geçebilirsiniz.