Büyük Veri nedir?
Big Data
Hacmi, hızı veya çeşitliliği nedeniyle geleneksel veritabanı ve araçlarla verimli şekilde saklanıp işlenemeyen veri kümeleri.
Büyük veri, tek bir sunucuda klasik yöntemlerle işlenemeyecek kadar büyük, hızlı akan veya çeşitli yapıdaki verileri ifade eder. Genellikle '3V' ile tanımlanır: hacim (volume), hız (velocity) ve çeşitlilik (variety). Bazı kaynaklar buna doğruluk (veracity) ve değer (value) gibi ek boyutlar da ekler.
Bu tür veriler sosyal medya etkileşimleri, sensörler ve IoT cihazları, web sunucusu kayıtları, finansal işlemler ve konum verileri gibi kaynaklardan gelir. Verinin bir kısmı tablo gibi yapılandırılmış, bir kısmı ise metin, görüntü veya log gibi yapılandırılmamış biçimdedir.
Büyük veriyi işlemenin temel fikri, işi çok sayıda makineye dağıtmaktır. Apache Hadoop dağıtık depolama ve toplu işleme için, Apache Spark bellek içi hızlı dağıtık işleme için, Apache Kafka ise gerçek zamanlı veri akışları için yaygın kullanılan araçlardır. Bulut sağlayıcıların sunduğu veri ambarı ve veri gölü hizmetleri de bu ihtiyaca cevap verir.
Önemli bir uyarı: Veri 'büyük' olduğu için otomatik olarak değerli değildir. Doğru soruyu sormak ve veri kalitesini sağlamak, veri miktarından daha belirleyicidir.
Örnek: PySpark ile dağıtık sayım
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("log-analizi").getOrCreate()
loglar = spark.read.json("s3://ornek-kova/loglar/*.json")
loglar.groupBy("durum_kodu").count().orderBy("count", ascending=False).show()İpuçları
- Verileriniz tek bir makinede birkaç dakikada işlenebiliyorsa dağıtık bir sistem kurmak gereksiz karmaşıklık getirir.
- Kişisel veri içeren büyük veri projelerinde anonimleştirme ve KVKK uyumu baştan planlanmalıdır.
