Çağrı merkezi taleplerini sınıflandırmak ne demek?
Çağrı merkezi talep sınıflandırması, gelen her talebi (telefon görüşmesinin dökümü, sohbet mesajı, e-posta ya da form) bir kuyruğu veya bir sonraki adımı belirleyen bir sınıfa atamaktır. Amaç konuyu etiketlemek değil, talebi ilk seferde doğru ekibe göndermektir. Bu yüzden iyi bir sınıflandırıcıyı doğruluk oranı değil, yanlış kuyruğa giden taleplerin sayısı ve maliyeti tanımlar.
Buradan çıkan ilk kural basittir: her sınıf ayrı bir eyleme karşılık gelmelidir. İki sınıf aynı kuyruğa gidiyor ve aynı sonraki adımı tetikliyorsa, onları ayırmak modele gereksiz bir zorluk ekler; birleştirin. Tersine, aynı kuyruğa giden ama farklı aciliyet taşıyan talepler varsa (örneğin iptal ile genel bilgi isteği), onları ayrı tutun.
Sınıflar nasıl seçilir?
Sınıf listesini modelden önce, temsilcilerle birlikte ve gerçek taleplerle sınayarak belirleyin. Dört kontrol işinizi görür:
- Eyleme karşılık geliyor mu? Her sınıfın bir hedef kuyruğu ya da otomatik bir sonraki adımı olsun.
- İnsanlar aynı etiketi veriyor mu? Aynı örneklemi iki temsilciye ayrı ayrı etiketletin. scikit-learn belgesindeki sınıflandırma metrikleri arasında yer alan Cohen kappa, iki insanın etiketleri arasındaki uyumu ölçmek içindir; belgeye göre 0,8'in üstü genellikle iyi uyum, sıfır ve altı ise uyumsuzluk sayılır. İnsanların ayıramadığı iki sınıfı modelin ayırmasını beklemeyin.
- Belirsiz talep için yer var mı? "İnsan ayrıştırması" sınıfı olmadan model her talebi bir yere zorla yerleştirir.
- Birden fazla niyet nasıl ele alınacak? "Faturam yanlış, aboneliğimi de iptal etmek istiyorum" gibi talepler için ya onaylı bir öncelik kuralı yazın ya da insan ayrıştırmasına gönderin.
Microsoft'un özel metin sınıflandırma belgesi de aynı yönde uyarır: eğitim verisi birbirine çok benzeyen sınıflar sık sık karıştırılır; bu durumda sınıfları birleştirmeyi ya da ikisini ayıran daha fazla örnek etiketlemeyi önerir. Aynı belgeye göre eğitim verisinde 15'ten az etiketli örneği olan bir sınıf, düşük doğruluğa yol açabilir. Acil ya da hassas talepler (güvenlik bildirimi, resmî şikâyet, hayati risk) için model kararına ek olarak anahtar kelime ve kanal kuralları kullanın; bu taleplerin kaçması, yanlış kuyruğa gitmesinden daha pahalıdır.
Kural mı, eğitilmiş model mi, dil modeli mi?
Yöntemi sınıf sayısına, etiketli veriye ve değişim hızına göre seçin. Az sayıda ve ifadesi belirgin sınıf varsa (örneğin fatura itirazları ayrı bir formdan geliyorsa) anahtar kelime ve kanal kuralları yeterli olabilir; açıklaması da en kolay yöntem budur. Etiketli geçmiş talepleriniz varsa ve sınıflar aylarca sabit kalıyorsa, eğitilmiş bir metin sınıflandırıcı genellikle hızlı ve ucuz çalışır. Sınıflar sık değişiyorsa ya da etiketli veri azsa, sınıf tanımlarını ve birkaç örneği istemde veren bir dil modeli adımı daha esnektir; ama gecikmesi ve talep başına maliyeti ölçülmeli, aynı karışıklık matrisiyle değerlendirilmelidir. Her durumda yönlendirme çoğunlukla bir ajan işi değil, içinde tek bir metin anlama adımı olan sabit bir iş akışıdır. Hangisini seçerseniz seçin, aşağıdaki değerlendirme adımları değişmez.
Eğitim ve test verisi nasıl hazırlanır?
Yalnızca yönlendirme anında bilinen bilgiyi kullanın. Kapanmış bir talep kaydı, çözüm notunu, aktarım geçmişini ve son kategoriyi içerir; ilk mesajda bunların hiçbiri yoktur. Modeli tam kayıtla eğitirseniz testte iyi, canlıda kötü sonuç alırsınız. Etiketi de "talep sonunda ne çıktı" sorusuna göre değil, "ilk mesaja bakarak hangi kuyruğa gitmeliydi" sorusuna göre verin.
Test kümesini zamana göre ayırın: modeli önceki aylarla eğitip sonraki aylarla test edin. Ürün lansmanları, fiyat değişiklikleri ve kampanyalar talep dağılımını değiştirir; rastgele ayrılmış bir test kümesi bu kaymayı göstermez. Sonuçları kanal ve dil kırılımıyla ayrı raporlayın. Görüşme kayıtlarını eğitim ve değerlendirmede kullanmadan önce gereksiz kişisel veriyi çıkarın ve aydınlatma ile hukuki dayanağı hukuk ekibinizle doğrulayın.
Telefon kanalında sınıflandırıcı, konuşmanın kendisini değil, konuşmadan yazıya çevirinin çıktısını görür. Microsoft'un konuşma tanıma doğruluğu belgesi, çağrı merkezi sesini düşük kaliteli (8 kHz, sıkıştırılmış, bazen iki kişi tek kanalda) olarak tanımlar ve bu senaryoda tanıma kalitesini orta düzey (kelime hata oranı yüzde 30'un altında) olarak gösterir. Aynı belgeye göre ürün ve kişi adları yer değiştirme hatalarına, gürültü ve üst üste konuşma da silinme hatalarına yol açar. Bu yüzden sınıflandırıcıyı insan yazımı temiz dökümlerle değil, kullandığınız tanıma sisteminin gerçek çıktısıyla test edin.
Yönlendirme karışıklık matrisi nasıl okunur?
Karışıklık matrisinde satırlar gerçek sınıfı, sütunlar modelin gönderdiği kuyruğu gösterir; scikit-learn de bu düzeni kullanır. Yüzde değil vaka sayısı yazın: bir hücre, belirli bir yanlış yönlendirmenin kaç kez olduğunu söyler. Aşağıda 600 talepten oluşan varsayımsal bir inceleme kümesi var:
| Gerçek sınıf ↓ / Gönderilen kuyruk → | Fatura | Teslimat | İptal | İnsan ayrıştırması | Toplam |
|---|---|---|---|---|---|
| Fatura | 270 | 10 | 5 | 15 | 300 |
| Teslimat | 8 | 196 | 4 | 12 | 220 |
| İptal | 14 | 6 | 52 | 8 | 80 |
Satırdan geri çağırmayı (recall), sütundan kesinliği (precision) hesaplayın. Fatura için geri çağırma 270/300, yani yüzde 90; teslimat için 196/220, yaklaşık yüzde 89. İptal için ise 52/80, yani yüzde 65. İptal sütununa giden 61 talebin 52'si gerçekten iptal; kesinlik yaklaşık yüzde 85. Toplamda 518 talep doğru kuyruğa gitmiş (yaklaşık yüzde 86) ve 35 talep insan ayrıştırmasına düşmüş.
Genel tablo iyi görünüyor, ama asıl bulgu tek bir hücrede: 14 gerçek iptal talebi fatura kuyruğuna gitmiş. Bu, iptal etmek isteyen müşterinin yanlış ekipte beklemesi ve büyük olasılıkla yeniden araması demektir. Google'ın sınıflandırma metrikleri dersi de bunu hatırlatır: dengesiz veri kümelerinde doğruluk yanıltıcıdır; sınıfların yüzde 1'inde görülen bir durumu hiç tahmin etmeyen model bile yüzde 99 doğruluk alabilir. scikit-learn belgesine göre makro ortalama her sınıfa eşit ağırlık verdiği için seyrek ama önemli sınıfların performansını görünür kılar. Bir sonraki adım o 14 talebi tek tek okumaktır; örneğin "faturamı iptal edin" gibi ifadeler iki sınıf arasında gerçekten belirsizse, bunlar için bir kural yazın ya da insan ayrıştırmasına yönlendirin.
Hangi hata için hangi ölçü önemlidir?
Her sınıf için kaçırmanın ve yanlış alarmın maliyetini ayrı ayrı yazın; öncelikli ölçü bu maliyetten çıkar. Google'ın dersi, yanlış negatiflerin daha pahalı olduğu durumlarda geri çağırmayı öne çıkarmayı önerir; Microsoft belgesindeki örnek ise destek talebinin yanlış sınıfla yanlış ekibe gitmesinin maliyetli olduğu durumda kesinliği daha anlamlı bulur.
| Durum | Kaçırmanın maliyeti | Yanlış alarmın maliyeti | Öncelikli ölçü |
|---|---|---|---|
| Acil ya da güvenlikle ilgili talep | Yüksek | Düşük (insan bakar) | Geri çağırma |
| İptal talebi | Yüksek (tekrar arama, müşteri kaybı) | Orta | Geri çağırma |
| Otomatik işlem tetikleyen sınıf | Orta | Yüksek (yanlış işlem) | Kesinlik |
| Genel bilgi isteği | Düşük | Düşük | F1 |
Model emin değilse ne olmalı?
Düşük güvenli, birden fazla niyet taşıyan ya da hassas talepler eğitimli bir temsilciye gitmelidir. Sınıf başına bir güven eşiği belirleyin ve eşiği değiştirmenin etkisini ölçün: Google'ın dersindeki gibi eşiği yükseltmek yanlış pozitifleri azaltıp yanlış negatifleri artırır, düşürmek tersini yapar. İnsan ayrıştırması kuyruğunu matriste ayrı bir sütun olarak sayın; bu kuyruğun kapasitesi sınırlıdır. Kuyruk dolarsa belirsiz talepleri zorla bir sınıfa göndermek yerine otomatik yönlendirilen sınıfların sayısını azaltmak daha güvenlidir.
Temsilci ekranında özgün mesajı gizlemeden tahmin edilen sınıfı ve kısa gerekçeyi gösterin. Yönlendirmeyi tek tıkla düzeltmek mümkün olsun ve her düzeltme bir sonraki değerlendirme için etiket olarak kaydedilsin.
Pilot nasıl yürütülür?
Sınıflandırıcıyı üç aşamada devreye alın. Önce gölge modda çalıştırın: model tahmin eder, yönlendirmeyi yine insanlar yapar ve iki sonuç karşılaştırılır. Ardından öneri modunda temsilciye tahmini gösterin. Otomatik yönlendirmeye yalnızca hata sınırını karşılayan sınıflarla ve tek bir kuyrukla başlayın. Her aşamada mevcut elle yönlendirmeyle karşılaştırın: aktarım oranı, doğru kuyruğa ulaşma süresi, ilk temasta çözüm ve temsilci düzeltmeleri; hepsi sınıf ve kanal kırılımıyla. Ürün ya da politika değişikliklerinden sonra ölçümü yenileyin; yeni bir talep türü ortaya çıktığında otomatik yönlendirmeyi genişletmeden önce etiket kurallarını gözden geçirin. Yazılı kanallarda benzer bir akışı insan incelemeli e-posta triyaj ajanı yazısında ele aldık.
Canlıya çıktıktan sonra neyi izlemelisiniz?
Sınıflandırıcı canlıya çıktığı gün eskimeye başlar; talep dili, ürünler ve kampanyalar değişir. Haftalık olarak temsilci düzeltmelerinden yeni bir karışıklık matrisi üretin ve bir önceki haftayla karşılaştırın. Sınıf dağılımındaki ani değişimleri, insan ayrıştırmasına düşen talep oranını ve aktarım oranını sınıf bazında izleyin. Düzeltme oranı belirli bir sınıfta yükseliyorsa, o sınıfın son talepleri arasından rastgele bir örnek alıp yeniden etiketletin ve modelin yeni ifadeleri tanıyıp tanımadığına bakın. Eşikleri ve sınıf listesini bu verilerle güncelleyin; modeli yeniden eğitmeden önce etiket kurallarının hâlâ geçerli olduğunu doğrulayın.
Sık yapılan hatalar
- Konuya göre çok sayıda sınıf açmak, kuyruğa göre sınıf tanımlamamak.
- Modeli kapanmış talep kayıtlarıyla eğitip ilk mesajla çalıştırmak.
- Telefon kanalını temiz dökümlerle test etmek.
- Başarıyı genel doğrulukla raporlamak, seyrek sınıfları görmemek.
- İnsan ayrıştırması kuyruğunun kapasitesini hesaba katmamak.
- Temsilci düzeltmelerini kaydetmemek.
Gelen talebi sınıflandırıp doğru ekibe yönlendiren ve gönderimi insan onayına bağlayan sistemler, yapay zekâ ajanı geliştirme hizmet sayfamızda anlatılan talep triyajı kullanım alanına girer.