Yapay Zeka Müşteri Yanıtı Nasıl Eğitilir? Veri, Marka Tonu ve Halüsinasyon

Otomatik yanıt kurulumlarında teknik kısım genelde bir günde biter. İşin geri kalanı, üretilen metnin gerçekten mağazanın verebileceği bir yanıt olup olmadığıyla ilgilidir. Bu yazı o tarafı anlatıyor: model neyi bilebilir, neyi asla bilemez, marka tonu nasıl tanımlanır, uydurma yanıt hangi koşulda ortaya çıkar ve onay kuyruğu bunu tam olarak nerede keser.

Buradaki eğitmek kelimesi, sıfırdan model eğitmek anlamına gelmiyor. Kastedilen şey kurulumdur: modele hangi veriyi vereceğiniz, hangi sınırları çizeceğiniz ve düzeltmeleri sisteme nasıl geri besleyeceğiniz. Otomasyonun genel çerçevesi için pazaryeri otomatik yanıt rehberine bakabilirsiniz; bu yazı yalnızca kaliteyle ilgili.

Yapay zeka müşteri yanıtı neyi bilir, neyi bilmez?

Bir dil modeli, kendisine verilmemiş bir bilgiyi bilmez; ama bilmediğini fark etmesi otomatik bir davranış değildir. Sorulduğunda makul görünen bir cümle kurmaya eğilimlidir ve bu eğilim, müşteri yanıtlama gibi doğruluğun tek ölçüt olduğu bir işte asıl risktir.

Bu yüzden kurulumda bilgi üç kovaya ayrılır:

Tablonun son iki satırı sistemin karakterini belirler. Kalıp mı sıkı gelir sorusunun cevabı hiçbir veri alanında yazmaz; bu bir deneyim aktarımıdır. Model bunu üretebilir, çünkü dil olarak üretmek kolaydır — ama üretmemelidir. Kapsam sınırını dil yeteneğine göre değil, doğrulama imkânına göre çizmek gerekir.

Katalog eksikliği doğrudan yanıt kalitesine yansır

Kurulumların ilk haftasında en sık çıkan bulgu şudur: müşterinin sorduğu şeyin cevabı sitede de, pazaryerinde de hiç yazmıyor. Ürünün kaç metre kablosu olduğu, hangi voltajda çalıştığı, yıkama talimatı — bunlar sorulduğu halde katalogda boştur.

Burada iki yol var. Yanlış olanı, modelden benzer ürünlere bakarak tahmin yürütmesini istemek. Doğru olanı, o alanı eksik olarak işaretleyip soruyu onaya düşürmek ve ekibin verdiği yanıtı katalog alanına yazmak. İkinci yolda otomasyon, yan ürün olarak katalog kalitenizi de yükseltir: müşteri hangi bilginin eksik olduğunu size zaten söylüyor.

Marka diliyle otomatik yanıt nasıl kurulur?

Ton tanımı genelde üç sıfatla yapılır: samimi, profesyonel, kısa. Bu tanım işe yaramaz, çünkü aynı üç sıfat birbirinden çok farklı iki metni de tarif edebilir. Ton, sıfatla değil örnekle ve kuralla tanımlanır.

Pratikte işe yarayan tanım şu dört parçadan oluşur:

• Hitap ve kişi. Siz mi sen mi, birinci çoğul mu tekil mi? Mağaza adı yanıt içinde geçecek mi? Bu kararlar tutarlı olduğunda metinler tek bir ağızdan çıkmış gibi durur.
• Uzunluk sınırı. Yanıtın kaç cümleyi geçmeyeceği. Pazaryeri yanıtları ürün sayfasında yan yana dizilir; uzun metinler orada okunmaz.
• Açılış ve kapanış kalıpları. Her yanıtın aynı cümleyle başlaması yapay durur. Bir kalıp yerine birkaç kabul edilebilir açılış tanımlamak, tekdüzeliği kırar.
• Yasak listesi. Kullanılmayacak kelimeler ve kalıplar: aşırı pazarlama sıfatları, kesin taahhüt cümleleri, iletişim bilgisi, dış site adresi.

Bunların üstüne en değerli kaynak gelir: mağazanın kendi geçmiş yanıtları. Daha önce insan eliyle yazılmış iyi yanıtlar, herhangi bir ton tarifinden daha net bir referanstır. Burada dikkat edilecek tek şey, geçmiş yanıtların hepsinin iyi olmadığıdır; acele yazılmış, tek kelimelik ya da kural dışı yanıtlar referans havuzuna alınmamalıdır.

AI müşteri hizmetleri kurgusunda halüsinasyon riski nerede doğar?

Uydurma yanıt rastgele ortaya çıkmaz; belirli koşullarda doğar ve bu koşullar sayılabilir. Kurulumda bunları tek tek kapatmak, riskin büyük kısmını ortadan kaldırır.

Bağlam boş geldiğinde. Soru bir ürüne bağlanamamışsa model elinde yalnızca soru metniyle kalır ve genel bilgisinden cümle kurar. Bu yüzden eşleşmeyen ürünler otomasyon kapsamı dışında tutulmalıdır; bağlamsız yanıt üretmek en yüksek riskli durumdur.

Soru birden fazla konu içerdiğinde. Hem beden hem kargo hem de fatura sorulan bir mesajda model üçünden ikisini doğru, birini uydurma eğilimindedir. Çok konulu soruların onay kuyruğuna düşürülmesi basit ama etkili bir kuraldır.

Veri kısmen dolu olduğunda. En sinsi durum budur. Ürün açıklamasında benzer ama aynı olmayan bir bilgi varsa model onu kullanır; örneğin farklı bir varyantın ölçüsünü sorulan varyanta atfeder. Varyant bazlı alanların ayrı okunması, bu hatayı doğrudan keser.

Nezaket baskısı olduğunda. Model, müşteriyi memnun eden cümleye yönelir. Var mı diye sorulan bir ürün için stok verisi belirsizse evet demeye yatkındır. Belirsizlikte olumsuza değil, kapsam dışına düşürmek doğru kuraldır: yanıt üretmek yerine soruyu insana devretmek.

Yapay zeka yanıt halüsinasyonu onay ekranında nasıl yakalanır?

Uydurma yanıt kulağa yanlış gelmez; tam tersine, genelde iyi yazılmış olur. Bu yüzden onay ekranında metni okumak yetmez, metindeki her somut iddianın kaynağına bakmak gerekir. Pratikte üç işaret yeterlidir: yanıtta geçen sayısal bir değer katalogda görünmüyorsa, yanıt sorulmayan bir konuda ek bilgi veriyorsa ve model kesinlik bildiren bir cümle kurmuşken ilgili alan boşsa. Üçünden biri varsa taslak düzeltilmez, o soru tipinin kuralı gözden geçirilir.

Modelin bilmiyorum demesi gereken durumlar

İyi kurulmuş bir sistemde bilmiyorum, sistem hatası değil doğru çıktıdır. Şu durumlarda yanıt üretilmemeli, soru onay kuyruğuna düşmelidir: ilgili katalog alanı boşsa, soru bir tavsiye istiyorsa, soruda sipariş numarası ya da kişisel veri geçiyorsa, soru şikâyet veya hukuki ima içeriyorsa, soru ürüne bağlanamamışsa ve son olarak sorulan şey mağaza politikası metninde geçmiyorsa.

Bu liste kısıtlayıcı görünür ama pratikte hacmin küçük bir kısmına denk gelir. Soruların büyük çoğunluğu stok, kargo ve doğrulanabilir ürün özelliğidir; sistemin işi bu çoğunluğu hızlı kapatmak, geri kalanı temiz biçimde insana bırakmaktır.

Bunun teknik karşılığı bir tercih değil, ölçülen bir sayıdır. Her yanıt bir güven skoruyla üretilir ve gönderim kararı bu skorun mağazanın belirlediği otomatik onay eşiğini geçip geçmediğine bakılarak verilir. Yukarıdaki durumların bir kısmı skoru doğrudan aşağı çeker: içi boş ya da yönlendirme niteliğindeki bir yanıt en fazla 0,35 alabilir, sipariş ve iade konulu sorular 0,45'i, mağazanın her zaman onaya düşsün dediği kelimeleri içeren sorular 0,40'ı geçemez. Varsayılan eşik 0,80 olduğu için bu yanıtlar kendiliğinden kuyruğa iner.

Yani bilmiyorum demek soyut bir ilke değil, düşük skorla sonuçlanan somut bir davranıştır. Model emin olmadığında sistem bunu bir sayı olarak görür ve o yanıtı yayına bırakmaz. Kalite çalışmasının amacı da bu skoru suni olarak yükseltmek değil, skorun yüksek çıkmasını hak eden bir veri altyapısı kurmaktır.

Onay kuyruğu kaliteyi nasıl kesiyor?

Onay kuyruğu iki yönlü çalışır. Yayına çıkmadan hatayı durdurur, ve düzeltmeleri sisteme örnek olarak geri verir. İkinci işlev genelde göz ardı edilir, oysa sistemin zamanla iyileşmesinin tek gerçek mekanizması odur.

Kuyruğun verimli çalışması için ekranın doğru bilgiyi göstermesi gerekir: soru, bağlanan ürün, modelin kullandığı veri alanları ve üretilen taslak bir arada. Yalnızca taslağı gösteren bir onay ekranında ekip yanıtın doğru olup olmadığını anlayamaz, yalnızca kulağa hoş gelip gelmediğine bakar. Bu iki şey aynı değildir.

Düzeltme yaparken de fark vardır. Bir kelimeyi değiştirmek ile yanıtın tamamını yeniden yazmak, sistem açısından aynı sinyal değildir. İkinci durumda genelde sorun taslakta değil, kural setinde ya da veri kaynağındadır; o soru tipinin kuralı gözden geçirilmelidir.

Bağlamı daraltmak neden kaliteyi yükseltir?

Sezgiye aykırı gelen bir kural var: modele ne kadar çok bilgi verirseniz yanıt o kadar iyi olmaz. Tam tersine, ilgisiz bilgiyle dolu bir bağlam yanıtı bozar. Sorulan soruyla ilgisi olmayan yirmi ürün alanı arasında model, sorunun cevabına en çok benzeyen alanı seçer ve bu seçim her zaman doğru olmaz.

Doğru kurgu, bağlamı soru tipine göre daraltmaktır. Kargo sorusunda modele ürünün malzeme bilgisini vermeye gerek yoktur; teslim süresi, kesim saati ve stok durumu yeterlidir. Beden sorusunda beden tablosu ve kalıp bilgisi verilir, garanti metni verilmez. Bu daraltma hem yanıtın isabetini artırır hem de metnin kısalmasını sağlar.

Aynı mantık geçmiş yanıt havuzunda da geçerlidir. Referans olarak yüzlerce eski yanıt vermek yerine, soru tipiyle eşleşen birkaç iyi örnek vermek daha tutarlı sonuç üretir. Kalabalık örnek havuzu, tonu ortalamaya çeker ve mağazanın kendi sesini silikleştirir.

Yanıt uzunluğu ve okunabilirlik

Pazaryeri yanıtları ürün sayfasında alt alta dizilir ve ziyaretçi bunları tek tek okumaz, gözüyle tarar. Uzun bir yanıt, doğru olsa bile okunmaz; okunmayan yanıt ise ne satın alma kararına etki eder ne de aynı sorunun tekrar sorulmasını engeller.

İşe yarayan kalıp şudur: ilk cümle doğrudan cevap, ikinci cümle gerekiyorsa koşul veya ayrıntı, üçüncü cümle varsa kısa bir yönlendirme. Selamlama ve teşekkür cümleleri yanıtın başına eklendiğinde asıl bilgi ikinci satıra iner ve tarayan göz onu kaçırır. Nezaket, cümle eklemekle değil dilin tonuyla sağlanır.

Bir de tekdüzelik meselesi var. Aynı ürün altında arka arkaya dizilen yanıtların hepsi aynı cümleyle başlıyorsa metin otomatik olduğunu ele verir. Birden fazla kabul edilebilir açılış tanımlamak bunu ucuz bir yolla çözer; modelin her seferinde farklı bir cümle uydurmasına gerek kalmaz.

Yapay zeka yanıt kalitesi nasıl ölçülür?

Kalite ölçümünde memnuniyet anketi gibi dolaylı araçlara gerek yok; kuyruğun kendi verisi yeterli sinyali üretir.

• Düzeltme oranı. Onaya düşen taslakların ne kadarı değiştirilerek gönderildi? Soru tipi bazında kırıldığında hangi alanın hazır olmadığını gösterir.
• Yeniden yazma oranı. Küçük düzeltme değil, baştan yazma. Bu sayı yüksekse otomatik gönderim genişletilmemelidir.
• Eşik altı oranı. Skoru otomatik onay eşiğinin altında kalıp kuyruğa inen yanıtların payı. Çok düşükse model fazla cesur, çok yüksekse veri eksik demektir.
• Ret ve yayına çıkmama sayısı. Pazaryeri denetiminden dönen yanıtlar. Sıfıra yakın olmalı; değilse kural filtresi eksiktir.
• Tekrar eden soru. Aynı ürün için aynı sorunun tekrar gelmesi, verilen yanıtın ya bulunamadığını ya da yetersiz olduğunu gösterir.

Bu beş sayı haftalık okunduğunda kalite eğrisi net görünür. İlk haftalarda düzeltme oranı yüksek olur; ürün verisi tamamlandıkça ve kural setleri oturdukça düşer. Eğri düzleştiğinde eşiği bir kademe indirme zamanı gelmiş demektir. Yanıt hızının metrik tarafını ise ayrı okumak gerekir; ölçüm mantığını yanıt süresi ve mağaza puanı yazısında ele aldık.

Kalite sabit değil, veriyle birlikte hareket eder

Bir noktadan sonra sistemin kalitesi modelden değil, beslendiği veriden gelir. Yeni ürün grubu eklendiğinde, tedarikçi değiştiğinde ya da kargo anlaşması yenilendiğinde otomasyon eski bilgiyi vermeye devam eder. Bu yüzden veri değişikliklerinin kural setine yansıtılması bir bakım işi olarak takvimde yer almalıdır.

Aynı şey mevsimsel değişimler için de geçerli. Kampanya dönemlerinde soru profili değişir; kargo ve teslimat soruları öne çıkar, teslim süreleri sapar. Bu dönemlerde eşiği geçici olarak yukarı çekmek ya da sapan konuların kelimelerini her zaman onaya düşecek listeye eklemek, otomasyonu tamamen kapatmaktan çok daha iyi bir davranıştır.

Kurulumun bu bakım tarafını STools yürütür; mağazanın kod yazması ya da kural dosyası düzenlemesi gerekmez. Ayarlar Otoyanıt panelinden yönetilir, genel kurallar üzerine hesap bazlı özel ayar tanımlanabilir ve her ayar istenildiği anda geri alınabilir.

Sonuç

Yapay zeka müşteri yanıtı kurulumunda kaliteyi belirleyen şey modelin yetenekleri değil, ona çizilen sınırlardır. Doğrulanabilir veriden beslenen, varyant bazında okuyan, belirsizlikte cümle kurmak yerine devreden ve düzeltmeleri geri besleyen bir kurgu, birkaç hafta içinde ekip yanıtından ayırt edilmeyen metinler üretir. Aynı kurgunun sınırsız bırakılmış hali ise ilk yanlış yanıtta güven kaybettirir. Kurulum ve kural çalışması için bize ulaşabilirsiniz.