Doğal Dil İşleme nedir?
Natural Language Processing (NLP)
Bilgisayarların insan dilini (metin ve konuşma) anlaması, işlemesi ve üretmesiyle ilgilenen yapay zekâ ve dilbilim alanı.
Doğal dil işleme (DDİ veya NLP), bilgisayarların Türkçe, İngilizce gibi insan dillerini işleyebilmesini sağlayan yöntemlerin bütünüdür. İnsan dili belirsizliklerle doludur: aynı kelime farklı anlamlara gelebilir, anlam bağlama ve tona göre değişebilir. NLP bu zorluğu aşmak için dilbilim, istatistik ve makine öğrenmesini birleştirir.
Temel NLP görevleri arasında metni parçalara ayırma (tokenizasyon), kök ve ek bulma, sözcük türü etiketleme, varlık ismi tanıma (kişi, yer, kurum), duygu analizi, metin sınıflandırma, özetleme ve makine çevirisi sayılabilir. Türkçe gibi eklemeli dillerde biçimbilimsel (morfolojik) analiz özellikle önemlidir; çünkü tek bir kelime çok sayıda ek alabilir.
Eskiden her görev için ayrı kural tabanlı veya istatistiksel modeller geliştirilirdi. Bugün ise büyük dil modelleri bu görevlerin çoğunu tek bir model üzerinden yapabilmektedir; yine de hızlı ve ucuz olması gereken basit işlerde küçük, göreve özel modeller tercih edilebilir.
E-posta spam filtreleri, arama motorları, sesli asistanlar ve müşteri yorumlarını analiz eden sistemler NLP'nin yaygın uygulamalarıdır.
Örnek: Basit bir kelime frekansı analizi
from collections import Counter
import re
metin = "Kargo hızlı geldi. Ürün güzel ama kargo kutusu ezikti."
kelimeler = re.findall(r"\w+", metin.lower())
print(Counter(kelimeler).most_common(3))
# [('kargo', 2), ('hızlı', 1), ('geldi', 1)]İpuçları
- Türkçe metinlerde küçük harfe çevirirken 'I/ı' ve 'İ/i' dönüşümüne dikkat edin; standart lower() her zaman doğru sonuç vermeyebilir.
- Duygu analizi gibi görevlerde ironi ve alay, modellerin en sık yanıldığı durumlardır.
