Yeni Hadoop 3.1 ve Hortonworks Data Platform 3.0 önemli özellikler

Merhaba Arkadaşlar,

Geçtiğimiz aylarda karşımıza çıkan yeni hadoop 3.1 ve Hortownorks 3.0 data platformunu bir kaç projede kullandıktan sonra kendime göre öenmli özellikleri sizlerle paylaşmak istedim.

Öncelikle Platformun ana odak noktaları Faster-Smarter ve Hybrid. Bunların dışındaki odaklarımız ise her zaman oldugu gibi büyük veri , Real-time database ,Security ve Governance.

Önümüzdeki yıllarda hedeflerimizin  Büyük veri ,IOT ,Streaming , Data science olacağını net bir şekilde görüyoruz bu izlenimi Hortonworks tarafında da bu şekilde olduğu net bir şekilde gözüküyor.

Data platformun çok daha agile olması Containerized Micro-Services sayesinde operational data store , data science , EDW , security ve governance özellikleri olmalı.

Deep learning & GPU desteği ve kullanımı deep learning frameworkleri Tensorflow ve Caffe başta olmak üzere Gpu pooling ve Isolation yapacak şekilde konumlanıyor.

Çok daha iyi security ve Governance barındıran Data swamplardan Data Lake geçiş yine önemli başlıklardan

Real Time EDW başlığında ise Bir SQL katmanı sayesinde Geçmiş ve anlık verilere ulaşmak çok önemli ve tabiki Hadoop Ecosystemi.

HDP3

 

Gelelim biraz daha detaylara

Faster Time to Deployment— Containerization.

-Çok daha esnek bir veri mimarisi

-Çok daha hızlı ,çevik ve esnek bir veri işleme

-Developerlar için hızlı veri uygulamalarını oluşturabilme

-Applicationların , deployment  ortamlarında hızlı, güvenilir ve tutarlı bir şekilde dağıtılması

 

GPU Desteği

Gpu desteği bizim için DL/ML uygulamalarının performansı için son derece önemli bir yer tutuyor.

Veri bilimcilerin günler ve aylar sürebilecek işleri saatler ve dakikalara indirmesini sağlayacak güçlü mimari

 

Spark ve TensorFlow beraber çalışması , tensorflow Yarn entegrasyonu.

Screen Shot 2018-08-10 at 08.43.49

Screen Shot 2018-08-10 at 08.43.57

Sadece on premise HDFS değil de ADLS (azure Data lake storage) , Windows Azure Storage BLOB(WASB) , Amazon S3 , Google Cloud storage kullanabilme. Cloud agnostic bir mimariye sahip olma.

Binlerce Nodenun beraber daha iyi bir şekilde çalışmasını sağlayan NameNode federation özellikleri.

Erasure Coding özelliği sayesinde TCO maliyetleri azaltma.

Real Time Database özelliği

Real time ve historical datayı SQL analitikleri ile kolaylıkla kullanabilme.

Materialized View özellikleri.

Hive query optimizer sayesinde otomatik olarak materialized viewsların ayaga kaldırılması ve hızlanan sorgular.

Workload management ve Default gelen ACID.

Yeni real time Database özellikleri sayesinde çok daha kolay Streaming datasını real time analiz ediyoruz.

Auditten Time-based policilere Tag propagation kadar Güvenlik ve governance özellikleri , harika entegre bir ranger.

Ve tabiki Ambari 2.7 . Bambaşka bir interface . Bence çok daha güzel olmuş . İlk bir iki saatten sonra alışılan ve gerek görsel gerek kullanım olarak daha iyi olulşturulmuş bir ambari yönetim birimi.

Kısacası Hive 3.0 , Compute&GPU platform Yarn in Apache Hadoop 3.1 , Hbase 2.0 , Druid , Spark 2.3 , Atlas 1.0 , Ranger 1.0 , Knox 1.0 , Ambari 2.7 ve HDFS on Hadoop 3.1 en önemli ürünler olarak ortaya çıkıyor.

Büyük veri platformu tercihi konusunda gerek Hortonworks gerek Cloudera ve Mapr arasında benim tercihim Hortonworks oldu. Ben Yeşil Filleri seviyorum. Bu konuda benim tercihimi %100 Open Source olma 1300 üzerinde enterprise müşteri geçtiğimiz sene ABD de en hızlı büyüyen şirketlerden olma ve tabiki data in motion & Data at rest bağlantısı var.

Bir sonraki yazımda ön plana çıkan özellikler ile iligili tek tek detaylar ve örnekler paylaşacağım. Bu konularla ilgilenen şirketlerdeki uzman arkadaşlarım benimle temasa geçebilirsiniz. Şirketinizde sizle daha fazla bilgi paylaşmamız mümkün olabilir.

Üniversitelerdeki arkadaşlarımda takvimim el verdiği fırsatlarda seminerlerde bulusabiliriz

 

Selamlar.

 

 

 

 

 

 

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Google+ photo

You are commenting using your Google+ account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s