Temel Bağımlılık: Veri
Yapay zeka modelleri, veri üzerinde çalışır. Modelin kalitesi, verinin kalitesini aşamaz. Bu temel gerçek, birçok projede göz ardı edilir.
Veri Kalitesi Sorunları
Eksiklik:
Alanlar boş, kayıtlar yarım, dönemler atlanmış. Model, eksik veriyle eğitildiğinde bu eksikliği sonuçlarına yansıtır.
Tutarsızlık:
Aynı kavram farklı şekillerde kaydedilmiş. "İstanbul", "İst.", "İSTANBUL" farklı değerler olarak algılanır. Model bu tutarsızlığı örüntü olarak öğrenemez.
Güncellik:
Eski veri, mevcut gerçekliği yansıtmaz. Beş yıl önceki müşteri davranış verisiyle eğitilen model, bugünün müşterisini yanlış tahmin eder.
Önyargı (Bias):
Tarihsel verideki önyargılar, modele aktarılır. Geçmişte belirli grupların dezavantajlı değerlendirildiği süreçlerin verisi, bu önyargıyı modele öğretir.
Temsiliyet:
Eğitim verisi, gerçek dağılımı yansıtmıyorsa model gerçekliğe uygun çalışmaz. Az görülen durumlar için tahmin gücü düşer.
Sonuçlar
Düşük kaliteli veri üzerinde eğitilen model:
Veri Yönetişimi Gereksinimleri
Kalite Standartları:
Her veri alanı için kabul edilebilir kalite kriterleri tanımlanmalıdır.
Kaynak Güvenilirliği:
Verinin nereden geldiği, nasıl toplandığı, kim tarafından işlendiği bilinmelidir.
Sürekli İzleme:
Veri kalitesi metrikleri düzenli olarak ölçülmeli ve raporlanmalıdır.
Temizleme ve Düzeltme:
Sorunlu veriler tespit edilmeli ve düzeltilmelidir.
Yapay zeka projesine başlamadan önce veri altyapısı değerlendirilmelidir. Veri kalitesi yetersizse, öncelik veri yönetişimidir.
Veri kalitesizliğinin otomasyon tarafındaki benzer karşılığı için Veri Tutarlılığı Olmayan Otomasyonlar Neden Çöker yazısı, analitik verinin karar üretmemesi sorunuyla ilişkisi içinse Analitik Veriler Neden Karar Üretmez? yazısı incelenebilir.
Bu konuda yardıma mı ihtiyacınız var?
Uzman ekibimizle iletişime geçin, projenizi birlikte değerlendirelim.