B- ve I- etiketlerinin toplamından oluşan kategori bazlı liste, Support (Örnek Sayısı) miktarına göre en yüksekten en düşüğe doğru şu şekilde sıralanmıştır:

SıraKategoriToplam SupportPrecisionRecallF1-Score
1İsim_Kökü37.6300.96770.96110.9644
2Fiil_Kökü9.1580.90780.89730.9025
3cogul_eki4.2250.96220.98250.9722
4iyelik_eki3.9800.85880.91590.8864
5O (Diğer/Dışarıda)2.8220.98840.96670.9774
6fiilimsi_isimfiil1.9340.86670.90120.8836
7fiilimsi_sifatfiil1.7970.91150.90480.9081
8case_tamlayan_hali_genitive1.7290.86310.85660.8598
9case_bulunma_hali_locative1.4020.92250.90660.9145
10zaman_şimdiki1.1660.94980.85680.9009
11case_ayrilma_hali_ablative1.0920.95880.93860.9486
12BUFFER (Kaynaştırma)1.0640.62600.76130.6870
13deriv_n_to_adj9430.85690.77520.8140
14deriv_n_to_v9400.76050.86490.8094
15case_yonelme_hali_dative8690.71960.66970.6938
16deriv_n_to_n8540.70000.88760.7827
17case_belirtme_hali_accusative8290.62370.47890.5418
18voice_ettirgen8160.82300.87250.8470
19voice_edilgen7390.82100.98110.8940
20ek_fiil_bildirme7200.89580.97920.9357
21kip_yeterlik6620.84890.94560.8946
22fiilimsi_zarffiil6160.91350.94810.9305
23zaman_genis5980.84610.86450.8552
24zaman_gorulen_gecmis5790.89910.98450.9399
25case_edat5410.87570.85400.8647
26polarlik_olumsuzluk4710.94380.96180.9527
27zaman_duyulan_gecmis3930.83830.92370.8790
28kisi_2_cogul3630.96770.99170.9796
29zaman_gelecek3300.81180.86060.8355
30kisi_3_cogul2980.97750.87580.9239
31Özel_İsim_Kökü2670.00000.00000.0000
32kip_sart2070.97330.86960.9185
33kisi_1_tekil1880.91980.90430.9120
34kisi_1_cogul1620.82500.95680.8860
35kip_emir1450.74920.93100.8303
36deriv_v_to_v_genel1440.00000.00000.0000
37kip_gereklilik1360.91290.99260.9511
38voice_donuslu860.58390.32560.4180
39kisi_2_tekil850.94480.80000.8664
40voice_istes670.69650.58210.6342
41case_yalin460.00000.00000.0000
42deriv_adj_to_n420.00000.00000.0000
43deriv_n_to_adv400.61310.82500.7034
44kip_istek340.93710.52940.6766
45Soru_Eki40.75000.75000.7500
46kisi_3_tekil40.00000.00000.0000
47baglac_clitic30.00000.00000.0000
48Soru_Partikülü20.00000.00000.0000

🌟 ÇOK İYİ (F1 0.95)

Model bu kategorilerde neredeyse kusursuz çalışıyor.

KategoriF1-ScoreSupport
kisi_2_cogul0.9796363
O (Dışarıda/Diğer)0.97742.822
cogul_eki0.97224.225
İsim_Kökü0.964437.630
polarlik_olumsuzluk0.9527471
kip_gereklilik0.9511136

✅ İYİ (0.90 F1 < 0.95)

Yüksek güvenilirlik düzeyi, nadir hatalar.

KategoriF1-ScoreSupport
case_ayrilma_hali_ablative0.94861.092
zaman_gorulen_gecmis0.9399579
ek_fiil_bildirme0.9357720
fiilimsi_zarffiil0.9305616
kisi_3_cogul0.9239298
kip_sart0.9185207
case_bulunma_hali_locative0.91451.402
kisi_1_tekil0.9120188
fiilimsi_sifatfiil0.90811.797
Fiil_Kökü0.90259.158
zaman_şimdiki0.90091.166

🟧 ORTALAMA (0.80 F1 < 0.90)

Kullanılabilir ancak bazı karmaşık durumlarda hata yapmaya müsait.

KategoriF1-ScoreSupport
kip_yeterlik0.8946662
voice_edilgen0.8940739
iyelik_eki0.88643.980
kisi_1_cogul0.8860162
fiilimsi_isimfiil0.88361.934
zaman_duyulan_gecmis0.8790393
kisi_2_tekil0.866485
case_edat0.8647541
case_tamlayan_hali_genitive0.85981.729
zaman_genis0.8552598
voice_ettirgen0.8470816
zaman_gelecek0.8355330
kip_emir0.8303145
deriv_n_to_adj0.8140943
deriv_n_to_v0.8094940

⚠️ KÖTÜ (0.60 F1 < 0.80)

Ciddi doğruluk sorunları var, sonuçlara şüpheyle bakılmalı.

KategoriF1-ScoreSupport
deriv_n_to_n0.7827854
Soru_Eki0.75004
deriv_n_to_adv0.703440
case_yonelme_hali_dative0.6938869
BUFFER (Kaynaştırma)0.68701.064
kip_istek0.676634
voice_istes0.634267

❌ REZALET (F1 < 0.60)

Model bu kategorileri ayırt edemiyor veya tamamen yanlış tahmin ediyor.

KategoriF1-ScoreSupportGözlem
case_belirtme_hali_accusative0.5418829Yüksek desteğe rağmen başarısız (ilginç).
voice_donuslu0.418086Ayırt edilemiyor.
Özel_İsim_Kökü0.0000267Hiç tanınmıyor.
deriv_v_to_v_genel0.0000144Hiç tanınmıyor.
case_yalin0.000046Hiç tanınmıyor.
deriv_adj_to_n0.000042Hiç tanınmıyor.
kisi_3_tekil0.00004Örnek yetersiz.
baglac_clitic0.00003Örnek yetersiz.
Soru_Partikülü0.00002Örnek yetersiz.

Genel Analiz Notu:

  1. Yapısal Sorun: Belirtme Hali (-i hali) ve Yönelme Hali (-e hali) gibi çok temel eklerde modelin “Rezalet” ve “Kötü” seviyesinde olması, modelin bu ekleri iyelik ekleri veya diğer benzer eklerle karıştırdığını gösteriyor.
  2. Veri Eksikliği: Support değeri 50’nin altında olan kategorilerin çoğunda model iflas etmiş durumda.
  3. Özel İsim Faciası: 267 örnek olmasına rağmen Özel_İsim_Kökü’nün 0 alması, modelin büyük harf duyarlılığı veya kelime haznesi (vocabulary) ile ilgili bir problem olduğunu kanıtlıyor.

Analizler (Yukarıdan aşağıya)

  • Kişi ekleri birleştirilecek tek bir kategorizasyon altında (hepsini ayrı ayrı almasındansa tek bir kategori altına almamız daha iyi)

    • Yalın için şöyle bir şey diyebiliriz. Eylemin üstünde bir özne uyumu olması gerekiyor ya, eger eylemin üzerinde o uyum markerı yoksa bunu yalın olarak alabiliriz. Çünkü gemini da bunu iyi tagleyememiş
  • -ler -lar a çoğul eki değil de lerlar görünümü gibi bi kategorizasyon adı verelim.

    • Bahtiyar sever ve daha sonra bunu araştırmak isteyen birisinin işine yarar.
  • Kipleri biraz tamamlamız gerekiyor çok az kalmışlar.

  • Zamanlarda genel bir yapay destek arıyor.

    • Gorulen gecmişe bi 500 tane versek onu .95 üstüne çekeriz
  • Caselerde;

    • (özellikle bulunma halinde) bayaa bir örneği bulunmasına rağmen güzel generalize edememiş, ona bir bakmamız gerekiyor
    • Diğerlerinde direek sıçmış. Olmazsa bi kalitesine bakıp onların hepsini çöpe atalım diyebilirim. Ya da prompt u değiştirdikten sonra bir daha bakılır
  • Fiilimsilerde çok kasmaya gerek yok, sıfatfiil ve zarffiilin çok fazla görünümü var uğraşmaya değmez.

    • İsimfiile bi 1k örnek iyi olur. Özellikle olumsuz eki olanlarla beraber.
  • Derivleri genel olarak hiç yapamamış. Onların çok üstünde durmamıştık ya bakmadığımız için bir yerde kötü bi hataya sebep olmuşuz.

  • Voice garip bir şekilde korkunç, onda ağır bir karıştırma durumu söz konusu

Yapılacaklar:

Kaynaştırma için prompt güncelleme:

Özel isim için:

  • Özel isim için de belirttiği yol
  • Veriyi toparlamak ve daha iyi yönetmek açısından;
    • NER Tagleri üzerinden çekicez.
    • Almanya’ya, Almanya’dan gibi gibi bunları biraz augmente edeceğiz.

Caseler için yukarıdakiler