Kardeş şirketNBM Games: oyun stüdyomuzu keşfedin, nbmgames.co
Tüm yazılarYapay zekâ ajanları

Şirket içi bilgi asistanı kurmadan önce: pratik bir kontrol listesi

Kendi dokümanlarınızdan yanıt veren bir asistan, o dokümanlar kadar iyi ve erişim kuralları kadar güvenlidir. İlk satır koddan önce kontrol etmeniz gerekenler.

· 5 dk okuma

Şirket içi bilgi asistanı, çalışanların sorularını şirketin kendi kaynaklarından yanıtlar: politikalar, ürün dokümanları, geçmiş destek talepleri, süreç rehberleri. Bu asistanların çoğu, “retrieval-augmented generation” (RAG) denen yaklaşımla kurulur. Sistem her soruda dokümanlarınız içinde en ilgili bölümleri arar ve bunları bir dil modeline verir; model de yanıtı bu bölümlere dayanarak yazar.

İlgiyi en çok dil modeli çeker, ama işin zor kısmı nadiren odur. Asistana güvenilip güvenilmeyeceğini arkasındaki dokümanlar, etrafındaki erişim kuralları ve yanıtlarının nasıl sınandığı belirler. Geliştirmeye başlamadan önce bu listenin üzerinden geçin.

1. Kaynak kalitesi ve sahiplik

Asistan, kaynaklarından daha doğru olamaz. Herhangi bir şeyi indekslemeden önce ona ne vereceğinize yakından bakın.

  • Aday kaynakları listeleyin (wiki, ortak sürücüler, politika dokümanları, destek talebi geçmişi, ürün kılavuzları) ve ilk sürüme hangilerinin gireceğini seçin.
  • Her kaynağa, içeriğin doğruluğunu teyit edebilecek ve yanlış olduğunda düzeltecek bir sahip atayın.
  • Eski sürümleri ve kopyaları kaldırın ya da işaretleyin. İki doküman birbiriyle çelişiyorsa asistan da kendisiyle çelişir.
  • Biçimleri kontrol edin. Taranmış PDF’ler, görsel içindeki tablolar ve sunumlar, içerikleri güvenilir biçimde aranabilmeden önce ek işlem gerektirir.

Tüm bir sürücüyü indekslemek yerine tek bir ekibin düzenli tutulan dokümanlarıyla başlamak çoğu zaman daha iyi sonuç verir.

2. Yetkiler ve erişim kontrolü

Temel kural şu: asistan, kimseye kendi başına açamayacağı bir içeriği göstermemeli. İlk doğru yapılması gereken madde budur; maaş bilgisinin ya da gizli bir sözleşmenin tek bir kez sızması bile projeyi bitirebilir.

  • Her dokümanın yetkilerini arama indeksine taşıyın ve sonuçları yalnızca arayüzde değil, arama anında kullanıcının kimliğine göre filtreleyin.
  • Yetki değişikliklerinin indekse nasıl ve ne kadar hızlı yansıyacağını belirleyin. Bir projeden ayrılan kişinin asistandaki erişimi de kalkmalı.
  • İK dosyaları, maaşlar ya da hukuki konular gibi çok hassas içerikleri, erişim kontrolü test edilene kadar kapsam dışında tutun.
  • Kimin ne sorduğunu ve hangi dokümanların kullanıldığını, gizlilik politikanızla uyumlu bir saklama süresiyle kayıt altına alın.

3. Güncellik

  • Her kaynak ne sıklıkla değişiyor ve ne sıklıkla yeniden indekslenecek?
  • Bir doküman silindiğinde ya da yenisiyle değiştirildiğinde, eski sürüm indeksten de kaldırılıyor mu?
  • Kullanıcılar yanıtın dayandığı kaynağın tarihini görüp hâlâ güncel olup olmadığına karar verebiliyor mu?

4. Kaynak gösterme

Her yanıt nereden geldiğini göstermeli: doküman, bölüm ve bağlantısı. Kaynak göstermek, kullanıcıların bir yanıtı saniyeler içinde kontrol etmesini, kaynak sahiplerinin yanlış içeriği bulup düzeltmesini sağlar ve asistanın “bilmiyorum” demesini kabul edilebilir kılar.

  • 200 sayfalık bir dosyaya değil, ilgili bölüme ya da paragrafa bağlantı verin.
  • İlgili bir kaynak bulunamazsa asistan, modelin genel bilgisinden yanıt üretmek yerine bunu açıkça söylemeli.
  • Yanlış ya da eskimiş bir yanıtı bildirmeyi kolaylaştırın ve bu bildirimi kaynağın sahibine iletin.

5. Bir değerlendirme seti

Geliştirmeye başlamadan önce asistanı kullanacak kişilerden gerçek sorular toplayın: destek taleplerinden, şirket içi yazışma kanallarından, işe alışma oturumlarından. Her biri için beklenen yanıtı ve yanıtın gelmesi gereken dokümanı yazın. Zor vakaları da içerdiği sürece, iyi seçilmiş birkaç düzine soru başlamak için yeterlidir:

  • Yanıtı dokümanlarda olmayan sorular. Doğru tepki tahmin yürütmek değil, “bunu bulamadım” demektir.
  • Yetkilerin önemli olduğu sorular. Bunları farklı kullanıcılar olarak sorun ve herkesin yalnızca görmesi gerekeni gördüğünü kontrol edin.
  • İnsanların gerçekte sorduğu biçimde yazılmış sorular: kısaltmalar, yazım hataları ve şirket içi jargonla birlikte.

Kaynaklarda, komutlarda, arama ayarlarında ya da modellerde yapılan her değişiklikten sonra seti yeniden çalıştırın ve sonuçları karşılaştırın. Bu set olmadan her değişiklik bir tahmindir.

6. Hazırlıklı olunması gereken hata türleri

  • Kendinden emin yanlış yanıtlar. Dil modelleri boşlukları akıcı biçimde doldurur. Yalnızca bulunan kaynaklardan yanıt vermek, kaynak göstermek ve kaynak bulunamadığında yanıt vermemek bu riski azaltır.
  • Bulunamayan kaynaklar. Doğru doküman vardır ama bulunamaz; çoğu zaman farklı ifadeler, uzun dokümanların yanlış yerlerden bölünmesi ya da tablolara hapsolmuş içerik yüzünden.
  • Eskimiş ya da çelişen kaynaklar. Yanıt, artık geçerli olmayan bir dokümana sadıktır.
  • Komut enjeksiyonu (prompt injection). Bir dokümanın ya da mesajın içindeki metin, asistana talimat vermeye çalışır. Doküman içeriğini komut olarak değil veri olarak ele alın ve asistanın yapabileceklerini sınırlayın.
  • Aşırı güven. Yanıtlar çoğunlukla doğru olunca insanlar kontrol etmeyi bırakır. Kaynakları görünür tutun, belirsizliği de görünür kılın.

7. Maliyet

Üç tür maliyet planlayın. Tek seferlik iş: kaynakları hazırlamak, bağlayıcıları geliştirmek, yetkileri eşlemek ve değerlendirme setini oluşturmak. İşletme maliyeti: her soru için model kullanımı, arama indeksini güncel tutmak ve barındırma. Bir de insanların zamanı: içeriği güncel tutan kaynak sahipleri ve geri bildirimi, kaliteyi her hafta gözden geçiren biri.

Model kullanımı genellikle işlenen metin miktarına göre fiyatlandırılır. Bu yüzden tahmininizi günde beklediğiniz soru sayısına ve her soruyla gönderilen bölümlerin uzunluğuna dayandırın. Bütçe uyarılarını en baştan kurun ve gerçek kullanım verisi geldikçe tahmini güncelleyin.

İyi bir ilk sürüm

Yukarıdaki her maddeyi tek bir ekip ve tek bir kaynak seti için yanıtlayabiliyorsanız, insanların güveneceği bir ilk sürümü geliştirmeye hazırsınız. Birkaç madde hâlâ açıksa, herhangi bir teknolojiyi seçmeden önce yapabileceğiniz en değerli iş onları kapatmaktır.

Sonraki adım

Okumak iyidir. Yapmak daha iyi.

Siz sorunu getirin, biz planı getirelim.

Ya da bize yazın: hello@nbmcore.com