Şirket içi bilgi asistanı kurmadan önce: pratik bir kontrol listesi
Kendi dokümanlarınızdan yanıt veren bir asistan, o dokümanlar kadar iyi ve erişim kuralları kadar güvenlidir. İlk satır koddan önce kontrol etmeniz gerekenler.
· 5 dk okuma
Şirket içi bilgi asistanı, çalışanların sorularını şirketin kendi kaynaklarından yanıtlar: politikalar, ürün dokümanları, geçmiş destek talepleri, süreç rehberleri. Bu asistanların çoğu, “retrieval-augmented generation” (RAG) denen yaklaşımla kurulur. Sistem her soruda dokümanlarınız içinde en ilgili bölümleri arar ve bunları bir dil modeline verir; model de yanıtı bu bölümlere dayanarak yazar.
İlgiyi en çok dil modeli çeker, ama işin zor kısmı nadiren odur. Asistana güvenilip güvenilmeyeceğini arkasındaki dokümanlar, etrafındaki erişim kuralları ve yanıtlarının nasıl sınandığı belirler. Geliştirmeye başlamadan önce bu listenin üzerinden geçin.
1. Kaynak kalitesi ve sahiplik
Asistan, kaynaklarından daha doğru olamaz. Herhangi bir şeyi indekslemeden önce ona ne vereceğinize yakından bakın.
- Aday kaynakları listeleyin (wiki, ortak sürücüler, politika dokümanları, destek talebi geçmişi, ürün kılavuzları) ve ilk sürüme hangilerinin gireceğini seçin.
- Her kaynağa, içeriğin doğruluğunu teyit edebilecek ve yanlış olduğunda düzeltecek bir sahip atayın.
- Eski sürümleri ve kopyaları kaldırın ya da işaretleyin. İki doküman birbiriyle çelişiyorsa asistan da kendisiyle çelişir.
- Biçimleri kontrol edin. Taranmış PDF’ler, görsel içindeki tablolar ve sunumlar, içerikleri güvenilir biçimde aranabilmeden önce ek işlem gerektirir.
Tüm bir sürücüyü indekslemek yerine tek bir ekibin düzenli tutulan dokümanlarıyla başlamak çoğu zaman daha iyi sonuç verir.
2. Yetkiler ve erişim kontrolü
Temel kural şu: asistan, kimseye kendi başına açamayacağı bir içeriği göstermemeli. İlk doğru yapılması gereken madde budur; maaş bilgisinin ya da gizli bir sözleşmenin tek bir kez sızması bile projeyi bitirebilir.
- Her dokümanın yetkilerini arama indeksine taşıyın ve sonuçları yalnızca arayüzde değil, arama anında kullanıcının kimliğine göre filtreleyin.
- Yetki değişikliklerinin indekse nasıl ve ne kadar hızlı yansıyacağını belirleyin. Bir projeden ayrılan kişinin asistandaki erişimi de kalkmalı.
- İK dosyaları, maaşlar ya da hukuki konular gibi çok hassas içerikleri, erişim kontrolü test edilene kadar kapsam dışında tutun.
- Kimin ne sorduğunu ve hangi dokümanların kullanıldığını, gizlilik politikanızla uyumlu bir saklama süresiyle kayıt altına alın.
3. Güncellik
- Her kaynak ne sıklıkla değişiyor ve ne sıklıkla yeniden indekslenecek?
- Bir doküman silindiğinde ya da yenisiyle değiştirildiğinde, eski sürüm indeksten de kaldırılıyor mu?
- Kullanıcılar yanıtın dayandığı kaynağın tarihini görüp hâlâ güncel olup olmadığına karar verebiliyor mu?
4. Kaynak gösterme
Her yanıt nereden geldiğini göstermeli: doküman, bölüm ve bağlantısı. Kaynak göstermek, kullanıcıların bir yanıtı saniyeler içinde kontrol etmesini, kaynak sahiplerinin yanlış içeriği bulup düzeltmesini sağlar ve asistanın “bilmiyorum” demesini kabul edilebilir kılar.
- 200 sayfalık bir dosyaya değil, ilgili bölüme ya da paragrafa bağlantı verin.
- İlgili bir kaynak bulunamazsa asistan, modelin genel bilgisinden yanıt üretmek yerine bunu açıkça söylemeli.
- Yanlış ya da eskimiş bir yanıtı bildirmeyi kolaylaştırın ve bu bildirimi kaynağın sahibine iletin.
5. Bir değerlendirme seti
Geliştirmeye başlamadan önce asistanı kullanacak kişilerden gerçek sorular toplayın: destek taleplerinden, şirket içi yazışma kanallarından, işe alışma oturumlarından. Her biri için beklenen yanıtı ve yanıtın gelmesi gereken dokümanı yazın. Zor vakaları da içerdiği sürece, iyi seçilmiş birkaç düzine soru başlamak için yeterlidir:
- Yanıtı dokümanlarda olmayan sorular. Doğru tepki tahmin yürütmek değil, “bunu bulamadım” demektir.
- Yetkilerin önemli olduğu sorular. Bunları farklı kullanıcılar olarak sorun ve herkesin yalnızca görmesi gerekeni gördüğünü kontrol edin.
- İnsanların gerçekte sorduğu biçimde yazılmış sorular: kısaltmalar, yazım hataları ve şirket içi jargonla birlikte.
Kaynaklarda, komutlarda, arama ayarlarında ya da modellerde yapılan her değişiklikten sonra seti yeniden çalıştırın ve sonuçları karşılaştırın. Bu set olmadan her değişiklik bir tahmindir.
6. Hazırlıklı olunması gereken hata türleri
- Kendinden emin yanlış yanıtlar. Dil modelleri boşlukları akıcı biçimde doldurur. Yalnızca bulunan kaynaklardan yanıt vermek, kaynak göstermek ve kaynak bulunamadığında yanıt vermemek bu riski azaltır.
- Bulunamayan kaynaklar. Doğru doküman vardır ama bulunamaz; çoğu zaman farklı ifadeler, uzun dokümanların yanlış yerlerden bölünmesi ya da tablolara hapsolmuş içerik yüzünden.
- Eskimiş ya da çelişen kaynaklar. Yanıt, artık geçerli olmayan bir dokümana sadıktır.
- Komut enjeksiyonu (prompt injection). Bir dokümanın ya da mesajın içindeki metin, asistana talimat vermeye çalışır. Doküman içeriğini komut olarak değil veri olarak ele alın ve asistanın yapabileceklerini sınırlayın.
- Aşırı güven. Yanıtlar çoğunlukla doğru olunca insanlar kontrol etmeyi bırakır. Kaynakları görünür tutun, belirsizliği de görünür kılın.
7. Maliyet
Üç tür maliyet planlayın. Tek seferlik iş: kaynakları hazırlamak, bağlayıcıları geliştirmek, yetkileri eşlemek ve değerlendirme setini oluşturmak. İşletme maliyeti: her soru için model kullanımı, arama indeksini güncel tutmak ve barındırma. Bir de insanların zamanı: içeriği güncel tutan kaynak sahipleri ve geri bildirimi, kaliteyi her hafta gözden geçiren biri.
Model kullanımı genellikle işlenen metin miktarına göre fiyatlandırılır. Bu yüzden tahmininizi günde beklediğiniz soru sayısına ve her soruyla gönderilen bölümlerin uzunluğuna dayandırın. Bütçe uyarılarını en baştan kurun ve gerçek kullanım verisi geldikçe tahmini güncelleyin.
İyi bir ilk sürüm
Yukarıdaki her maddeyi tek bir ekip ve tek bir kaynak seti için yanıtlayabiliyorsanız, insanların güveneceği bir ilk sürümü geliştirmeye hazırsınız. Birkaç madde hâlâ açıksa, herhangi bir teknolojiyi seçmeden önce yapabileceğiniz en değerli iş onları kapatmaktır.
Canlıya çıkabilen bir yapay zekâ pilotu nasıl kurgulanır?
İyi bir pilot bir demoyla değil, bir kararla biter. Model seçilmeden önce vermeniz gereken altı karar ve pilotu canlıya taşıyan yol.
İş ekipleri için AB Yapay Zekâ Yasası: Yapay zekâyı kullanıma aldığınızda ne değişir?
Risk temelli kurallara, insanlara bir yapay zekâyla muhatap olduklarını söyleme yükümlülüğüne ve bunların GDPR ve KVKK ile ilişkisine sade bir bakış. Genel bilgilendirmedir, hukuki tavsiye değildir.
Okumak iyidir. Yapmak daha iyi.
Siz sorunu getirin, biz planı getirelim.
Ya da bize yazın: hello@nbmcore.com