B- ve I- etiketlerinin toplamından oluşan kategori bazlı liste, Support (Örnek Sayısı) miktarına göre en yüksekten en düşüğe doğru şu şekilde sıralanmıştır:
| Sıra | Kategori | Toplam Support | Precision | Recall | F1-Score |
|---|---|---|---|---|---|
| 1 | İsim_Kökü | 37.630 | 0.9677 | 0.9611 | 0.9644 |
| 2 | Fiil_Kökü | 9.158 | 0.9078 | 0.8973 | 0.9025 |
| 3 | cogul_eki | 4.225 | 0.9622 | 0.9825 | 0.9722 |
| 4 | iyelik_eki | 3.980 | 0.8588 | 0.9159 | 0.8864 |
| 5 | O (Diğer/Dışarıda) | 2.822 | 0.9884 | 0.9667 | 0.9774 |
| 6 | fiilimsi_isimfiil | 1.934 | 0.8667 | 0.9012 | 0.8836 |
| 7 | fiilimsi_sifatfiil | 1.797 | 0.9115 | 0.9048 | 0.9081 |
| 8 | case_tamlayan_hali_genitive | 1.729 | 0.8631 | 0.8566 | 0.8598 |
| 9 | case_bulunma_hali_locative | 1.402 | 0.9225 | 0.9066 | 0.9145 |
| 10 | zaman_şimdiki | 1.166 | 0.9498 | 0.8568 | 0.9009 |
| 11 | case_ayrilma_hali_ablative | 1.092 | 0.9588 | 0.9386 | 0.9486 |
| 12 | BUFFER (Kaynaştırma) | 1.064 | 0.6260 | 0.7613 | 0.6870 |
| 13 | deriv_n_to_adj | 943 | 0.8569 | 0.7752 | 0.8140 |
| 14 | deriv_n_to_v | 940 | 0.7605 | 0.8649 | 0.8094 |
| 15 | case_yonelme_hali_dative | 869 | 0.7196 | 0.6697 | 0.6938 |
| 16 | deriv_n_to_n | 854 | 0.7000 | 0.8876 | 0.7827 |
| 17 | case_belirtme_hali_accusative | 829 | 0.6237 | 0.4789 | 0.5418 |
| 18 | voice_ettirgen | 816 | 0.8230 | 0.8725 | 0.8470 |
| 19 | voice_edilgen | 739 | 0.8210 | 0.9811 | 0.8940 |
| 20 | ek_fiil_bildirme | 720 | 0.8958 | 0.9792 | 0.9357 |
| 21 | kip_yeterlik | 662 | 0.8489 | 0.9456 | 0.8946 |
| 22 | fiilimsi_zarffiil | 616 | 0.9135 | 0.9481 | 0.9305 |
| 23 | zaman_genis | 598 | 0.8461 | 0.8645 | 0.8552 |
| 24 | zaman_gorulen_gecmis | 579 | 0.8991 | 0.9845 | 0.9399 |
| 25 | case_edat | 541 | 0.8757 | 0.8540 | 0.8647 |
| 26 | polarlik_olumsuzluk | 471 | 0.9438 | 0.9618 | 0.9527 |
| 27 | zaman_duyulan_gecmis | 393 | 0.8383 | 0.9237 | 0.8790 |
| 28 | kisi_2_cogul | 363 | 0.9677 | 0.9917 | 0.9796 |
| 29 | zaman_gelecek | 330 | 0.8118 | 0.8606 | 0.8355 |
| 30 | kisi_3_cogul | 298 | 0.9775 | 0.8758 | 0.9239 |
| 31 | Özel_İsim_Kökü | 267 | 0.0000 | 0.0000 | 0.0000 |
| 32 | kip_sart | 207 | 0.9733 | 0.8696 | 0.9185 |
| 33 | kisi_1_tekil | 188 | 0.9198 | 0.9043 | 0.9120 |
| 34 | kisi_1_cogul | 162 | 0.8250 | 0.9568 | 0.8860 |
| 35 | kip_emir | 145 | 0.7492 | 0.9310 | 0.8303 |
| 36 | deriv_v_to_v_genel | 144 | 0.0000 | 0.0000 | 0.0000 |
| 37 | kip_gereklilik | 136 | 0.9129 | 0.9926 | 0.9511 |
| 38 | voice_donuslu | 86 | 0.5839 | 0.3256 | 0.4180 |
| 39 | kisi_2_tekil | 85 | 0.9448 | 0.8000 | 0.8664 |
| 40 | voice_istes | 67 | 0.6965 | 0.5821 | 0.6342 |
| 41 | case_yalin | 46 | 0.0000 | 0.0000 | 0.0000 |
| 42 | deriv_adj_to_n | 42 | 0.0000 | 0.0000 | 0.0000 |
| 43 | deriv_n_to_adv | 40 | 0.6131 | 0.8250 | 0.7034 |
| 44 | kip_istek | 34 | 0.9371 | 0.5294 | 0.6766 |
| 45 | Soru_Eki | 4 | 0.7500 | 0.7500 | 0.7500 |
| 46 | kisi_3_tekil | 4 | 0.0000 | 0.0000 | 0.0000 |
| 47 | baglac_clitic | 3 | 0.0000 | 0.0000 | 0.0000 |
| 48 | Soru_Partikülü | 2 | 0.0000 | 0.0000 | 0.0000 |
🌟 ÇOK İYİ (F1 0.95)
Model bu kategorilerde neredeyse kusursuz çalışıyor.
| Kategori | F1-Score | Support |
|---|---|---|
| kisi_2_cogul | 0.9796 | 363 |
| O (Dışarıda/Diğer) | 0.9774 | 2.822 |
| cogul_eki | 0.9722 | 4.225 |
| İsim_Kökü | 0.9644 | 37.630 |
| polarlik_olumsuzluk | 0.9527 | 471 |
| kip_gereklilik | 0.9511 | 136 |
✅ İYİ (0.90 F1 < 0.95)
Yüksek güvenilirlik düzeyi, nadir hatalar.
| Kategori | F1-Score | Support |
|---|---|---|
| case_ayrilma_hali_ablative | 0.9486 | 1.092 |
| zaman_gorulen_gecmis | 0.9399 | 579 |
| ek_fiil_bildirme | 0.9357 | 720 |
| fiilimsi_zarffiil | 0.9305 | 616 |
| kisi_3_cogul | 0.9239 | 298 |
| kip_sart | 0.9185 | 207 |
| case_bulunma_hali_locative | 0.9145 | 1.402 |
| kisi_1_tekil | 0.9120 | 188 |
| fiilimsi_sifatfiil | 0.9081 | 1.797 |
| Fiil_Kökü | 0.9025 | 9.158 |
| zaman_şimdiki | 0.9009 | 1.166 |
🟧 ORTALAMA (0.80 F1 < 0.90)
Kullanılabilir ancak bazı karmaşık durumlarda hata yapmaya müsait.
| Kategori | F1-Score | Support |
|---|---|---|
| kip_yeterlik | 0.8946 | 662 |
| voice_edilgen | 0.8940 | 739 |
| iyelik_eki | 0.8864 | 3.980 |
| kisi_1_cogul | 0.8860 | 162 |
| fiilimsi_isimfiil | 0.8836 | 1.934 |
| zaman_duyulan_gecmis | 0.8790 | 393 |
| kisi_2_tekil | 0.8664 | 85 |
| case_edat | 0.8647 | 541 |
| case_tamlayan_hali_genitive | 0.8598 | 1.729 |
| zaman_genis | 0.8552 | 598 |
| voice_ettirgen | 0.8470 | 816 |
| zaman_gelecek | 0.8355 | 330 |
| kip_emir | 0.8303 | 145 |
| deriv_n_to_adj | 0.8140 | 943 |
| deriv_n_to_v | 0.8094 | 940 |
⚠️ KÖTÜ (0.60 F1 < 0.80)
Ciddi doğruluk sorunları var, sonuçlara şüpheyle bakılmalı.
| Kategori | F1-Score | Support |
|---|---|---|
| deriv_n_to_n | 0.7827 | 854 |
| Soru_Eki | 0.7500 | 4 |
| deriv_n_to_adv | 0.7034 | 40 |
| case_yonelme_hali_dative | 0.6938 | 869 |
| BUFFER (Kaynaştırma) | 0.6870 | 1.064 |
| kip_istek | 0.6766 | 34 |
| voice_istes | 0.6342 | 67 |
❌ REZALET (F1 < 0.60)
Model bu kategorileri ayırt edemiyor veya tamamen yanlış tahmin ediyor.
| Kategori | F1-Score | Support | Gözlem |
|---|---|---|---|
| case_belirtme_hali_accusative | 0.5418 | 829 | Yüksek desteğe rağmen başarısız (ilginç). |
| voice_donuslu | 0.4180 | 86 | Ayırt edilemiyor. |
| Özel_İsim_Kökü | 0.0000 | 267 | Hiç tanınmıyor. |
| deriv_v_to_v_genel | 0.0000 | 144 | Hiç tanınmıyor. |
| case_yalin | 0.0000 | 46 | Hiç tanınmıyor. |
| deriv_adj_to_n | 0.0000 | 42 | Hiç tanınmıyor. |
| kisi_3_tekil | 0.0000 | 4 | Örnek yetersiz. |
| baglac_clitic | 0.0000 | 3 | Örnek yetersiz. |
| Soru_Partikülü | 0.0000 | 2 | Örnek yetersiz. |
Genel Analiz Notu:
- Yapısal Sorun: Belirtme Hali (-i hali) ve Yönelme Hali (-e hali) gibi çok temel eklerde modelin “Rezalet” ve “Kötü” seviyesinde olması, modelin bu ekleri iyelik ekleri veya diğer benzer eklerle karıştırdığını gösteriyor.
- Veri Eksikliği: Support değeri 50’nin altında olan kategorilerin çoğunda model iflas etmiş durumda.
- Özel İsim Faciası: 267 örnek olmasına rağmen Özel_İsim_Kökü’nün 0 alması, modelin büyük harf duyarlılığı veya kelime haznesi (vocabulary) ile ilgili bir problem olduğunu kanıtlıyor.
Analizler (Yukarıdan aşağıya)
-
Kişi ekleri birleştirilecek tek bir kategorizasyon altında (hepsini ayrı ayrı almasındansa tek bir kategori altına almamız daha iyi)
- Yalın için şöyle bir şey diyebiliriz. Eylemin üstünde bir özne uyumu olması gerekiyor ya, eger eylemin üzerinde o uyum markerı yoksa bunu yalın olarak alabiliriz. Çünkü gemini da bunu iyi tagleyememiş
-
-ler -lar a çoğul eki değil de lerlar görünümü gibi bi kategorizasyon adı verelim.
- Bahtiyar sever ve daha sonra bunu araştırmak isteyen birisinin işine yarar.
-
Kipleri biraz tamamlamız gerekiyor çok az kalmışlar.
-
Zamanlarda genel bir yapay destek arıyor.
- Gorulen gecmişe bi 500 tane versek onu .95 üstüne çekeriz
-
Caselerde;
- (özellikle bulunma halinde) bayaa bir örneği bulunmasına rağmen güzel generalize edememiş, ona bir bakmamız gerekiyor
- Diğerlerinde direek sıçmış. Olmazsa bi kalitesine bakıp onların hepsini çöpe atalım diyebilirim. Ya da prompt u değiştirdikten sonra bir daha bakılır
-
Fiilimsilerde çok kasmaya gerek yok, sıfatfiil ve zarffiilin çok fazla görünümü var uğraşmaya değmez.
- İsimfiile bi 1k örnek iyi olur. Özellikle olumsuz eki olanlarla beraber.
-
Derivleri genel olarak hiç yapamamış. Onların çok üstünde durmamıştık ya bakmadığımız için bir yerde kötü bi hataya sebep olmuşuz.
-
Voice garip bir şekilde korkunç, onda ağır bir karıştırma durumu söz konusu
Yapılacaklar:
Kaynaştırma için prompt güncelleme:
Özel isim için:
- Özel isim için de belirttiği yol
- Veriyi toparlamak ve daha iyi yönetmek açısından;
- NER Tagleri üzerinden çekicez.
- Almanya’ya, Almanya’dan gibi gibi bunları biraz augmente edeceğiz.
Caseler için yukarıdakiler