ETL nedir?
Extract, Transform, Load (Çıkar, Dönüştür, Yükle)
Verileri farklı kaynaklardan çekip temizleyen, dönüştüren ve analiz için hedef bir sisteme (genellikle veri ambarına) yükleyen süreç.
ETL, veri entegrasyonunun temel süreçlerinden biridir ve üç adımdan oluşur. Extract (çıkarma) adımında veriler veritabanları, API'ler, CSV dosyaları veya log kayıtları gibi kaynaklardan okunur. Transform (dönüştürme) adımında veriler temizlenir, biçimleri birleştirilir, hatalı kayıtlar ayıklanır ve gerekirse hesaplamalar yapılır. Load (yükleme) adımında ise hazır veri hedef sisteme yazılır.
Örneğin bir mağaza zinciri, her şubenin satış sistemindeki verileri gece çekip para birimlerini ve tarih biçimlerini standart hâle getirerek merkezi bir veri ambarına yükleyebilir. Böylece yöneticiler tüm şubelerin raporlarını tek bir yerden görebilir.
Modern bulut veri ambarlarının güçlenmesiyle ELT yaklaşımı da yaygınlaşmıştır: veri önce ham hâliyle yüklenir, dönüşüm daha sonra hedef sistemin içinde SQL ile yapılır. ETL süreçleri genellikle zamanlanmış görevler veya Apache Airflow gibi iş akışı araçlarıyla otomatikleştirilir.
İyi bir ETL hattı, hataları kaydeder, aynı veriyi iki kez yüklemeyi önler ve bir adım başarısız olduğunda güvenle yeniden çalıştırılabilir.
Örnek: Python ile mini bir ETL
import csv, sqlite3
# Extract
with open("satislar.csv", encoding="utf-8") as f:
satirlar = list(csv.DictReader(f))
# Transform
temiz = [(r["sube"].strip().title(), float(r["tutar"].replace(",", ".")))
for r in satirlar if r["tutar"]]
# Load
db = sqlite3.connect("ambar.db")
db.execute("CREATE TABLE IF NOT EXISTS satis (sube TEXT, tutar REAL)")
db.executemany("INSERT INTO satis VALUES (?, ?)", temiz)
db.commit()İpuçları
- Süreci idempotent tasarlayın: aynı işi iki kez çalıştırmak çift kayıt üretmemeli.
- Ham veriyi de saklayın; dönüşüm kuralında hata çıkarsa yeniden işleyebilirsiniz.
