Sevgili Dostlarım
Big Data üzerinde bütün Cloud servis sağlıyacalarının sahane çözümleri ile karşı karşıyayız. Bu yazımda Amazon AWS nin bir takım önemli ürünlerinden bahsedeceğim. Bu yazımda AWS servislerinin hepsini ele almam mümkün değil onlar hakkında da yakında açıklamalar yapmaya çalışacağım.
Bir sonraki yazı Google ve Oracle üstüne olacak. Kendime göre hangi teknolojiyi neden tercih etmemiz gerektiğini irdeleyeceğim.
Amazon Kinesis : Stream , Firehouse ve analytics olmak üzere üç temel özelliği var. Stream başlı başına inanılmaz önemli akan veri işleri yapabileceğimiz bir alan real time yada near real time data üstüne çalışmalar yapabiliriz.
Kinesis Firehouse ile bir delivery stream oluşturuyoruz bu delivery stream in 2 temel seceneği var 1. kinesis stream 1.direk put veya other sourcelar. Kayıtları direk olarak delivery systeme gelecekse veya Logs , events IOT gib şecenekler olabilir.
Kinesis Firehouseun en büyük özelliklerinden biri gelen source recordları Aws Lambda functionı ile transformasyona tabi tutabilme özelliğidir. Lambda ile hazır veya bizim yazabileceğimiz dil olarak javadan C# node.js python kadar yazabilceğimiz bir çok seçenek var.
Lambdadan sonra bir başka önemli servisde Elasticsearch. Elastic search servisi ile log analytics , full text search, application monitoring,clickstream analizi gibi birçok önemli işlem gerçekleştirebiliriz. Kibana ve Logstash ile çok daha iyi bir görsele kavusturabiliriz.
Kibana ile inanılmaz güzel ekran çıktıları almak mümkün
Büyük resim aşağıdaki gibi gerçekleşebilir.
Bütün bu servislerle ilgili bir use case konuşmamız gerekirse Log analiz operasyonuna bakabiliriz. Bir log analiz işinin birçok faydası var operational takip, servis hatalarını anlama , near real time insightler , alertlar olabilir. Log datası inanılmaz yogun ve büyük ,hızlı ve birçok lokasyondan gelebilir. Yapısı structure olmayabilir. Bir bakmısız terabytelarca log datamız olmuş olabilir. Gelen log datasını alıp birçok alanı sadeleştirip içinden sadece işimize yarayacak olanı almamız gerekecektir. Hatta sadecelestirdiğimiz data içerisinden de sadece belki bir adresi belki bir problemi bulmamız gerekebilir. İşin sonundada oluşan problemleri görsel bir şekilde gerekli kişilerin ulaşmasını sağlayacagız.
Hadoop Teknolojilerinde Yukarıda anlattıklarımın mutlaka ki ciddi rakipleri olan çözümler var. Burada şirketinizin ne çabuklukta nasıl bir yatırımla ne güzellikte bir sonuç almanız isteğine göre alternatiflere bakabiliriz.
Bir sonraki yazımda Lambda yerine Google Cloud Fuction , Kinesis yerine Cloud Pub/sub , Redshift yerine BigQuery kullanabilir miyiz ? Hangi tercih daha doğru ? Neden?
