Hadoop Nedir?

Hadoop nedir?
Hadoop bir frameworktur. Uzerinde buyuk uygulamaları calıstıran cluster mimarisinden olusur.
Hadoop Apachide develop edilmiştir.
Open sourcedur
javada yazılmıştır
Mapreduce sayesinde datayı parçalar.
Hadoop files system kullanarak datamızı makinalar arasında kopyalara dağıtabiliriz.
Hadoop namenode,jobtracker,datanode ve HDFS bileşenlerinden oluşur.
Namenode:Tek makina. Görevi metadatayı ve ulaşım kontrolunu sağlamaktır.
JobTracker:Tasktrackers yaptıgı görevleri takip eder.
Datanodes:Datayı tutan ve işleyen makinalar. Birçok makina arasında data kopyalanır.
HDFS: Data giriş çıkışını tutar.
HDFS özellikleri nelerdir.
Büyümesi kolay hatayı tolere edebilen bir sistemdir. Bir kere yazılır birçok kere okunur. Hiyeraşık bir yapısı vardır.
akıllı clientlardan oluşur.Butun sistem için bir ad alanı vardır.
Raid gibi bir sistem olmadan data kopyalanır.Genelde iki hiyeraşık yapıdan oluşur.
1. namenode(master)
2. datanodes(slave)
Client datası chunklara ayrılıp(genelde 64mb) datanodelara dagıtılır. datanodelar arasındada kopyalanır.
Nameenode dediğimiz sistem metadatayı tutar. İmage fileların (fsimage) durumu,file sistem değişiklikleri
loglar (edits) namenode sorumludur.
Birde checkpoint node kavramı vardır. Bu makina namenodeun yedeğidir. Başka bir makinada çalışır ama namenode memory gibi
özelliklerini barındırır.Direcory yapısı namenode aynısıdır.
Datanodelar ise okuma ve yazma isteklerine cevap verirler. Namenodedan aldıkları komut neticesinde block yaratır,siler yada başka datanode kopyalarlar.
HDFS bir replikasyon factoru vardır.
Örnek vermek gerekirse factorun 3 olduğu durumda
Bir kopya bir makinada lokal rackta
bir kopya farklı remote rackta
bir kopya ise farklı makinada aynı remote rackta durur.
Bir sonraki yazım Mapreduce nedir olacak

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s