Geçtiğimiz günlerde Oracle BDA incelemesi için Oracle'ın organize ettiği Oracle yöneticileri ve blog yazarları etkinliğinde bir araya geldik. Oracle'dan arkadaşlarımız Murat Yeşil, Mehmet Gökmen ve Emrah Uysal sorularımız cevapladı. Öncelikle bu tarz bir etkinlik düzenlenmesi son derece önemli bu etkinliği düzenliyen Deniz Sağçıya ve ITadvisor dergisi ekibine teşekkürlerimi iletiyorum. Oracle Big data appliance ürününü … Continue reading Oracle Big Data Appliance incelemesi
Tag: Bigdata
Data Science Data Formats
Veri ile uğraşıyorsanız her türlü data tipine hazırlıklı olmalısınız. Data artık birçok farklı formattan gelebiliyor. Datanın formatını doğru belirleyebilmek son derece önemli oluyor. Bu formatları incelemek gerekirse LOG Files: log fileları büyük projelerde son derece önemli başlık oluyorlar. Log filelarına örnek vermek gerekirse web serverlar, hadoop , sensorler ve cep telefonlarını verebiliriz. Şirketler bu tarz … Continue reading Data Science Data Formats
Neden Apache Spark ? Apache Spark Nedir?
Öncelikle Neden Apache Spark sorusuna cevap bulalım. IT dünyasında çözüm olarak Büyük bilgisayarlar dönemini geride bıraktık. Yani daha hızlı processor ve daha fazla memory çözümleri bugunun ihtiyaçlarını karşılayamayacağı ortaya çıkmıştır. Günümüzde Distributed sistemler ön plana çıkıyorlar. Distributed Systemlerde birçok makinadan oluşan bir yapı söz konusudur. Bu yapı iyi gibi gözükmekle beraber datanin merkezi bir yerde durması,çalıştırılma … Continue reading Neden Apache Spark ? Apache Spark Nedir?
Apache Spark, Resilent Distributed Dataset RDD.
Apache Spark is a fast, general engine for large scale data processing on a cluster. Advantages of Spark High level programming framework Write applications quickly in Scala, Python or Java. Cluster computing Combine SQL, streaming, and complex analytics Distributed storage Data in memory Easier Development Near real time processing In-Memory Data Storage We can use … Continue reading Apache Spark, Resilent Distributed Dataset RDD.
Hadoop Nedir? Mapreduce Nedir?
Hadoop'un başlangıcı 1990ların sonu 2000lerin başında Google çalışmalarına gidiyor. Google 2003 senesinde Google File Sistemini çıkarıyor. 2004 yılında Map Reduce ortaya çıkıyor. Ana prensipleri Developerlar'ın network programlamasında çok uğraşmamaları, Developerların nodeların birbiri ile konuşmaları için minimum uğraşmaları,Nodeların birbiri ile minimum haberleşmeleri, Datanın kopyalanması sayesinde hem kullanılabilirlik hemde ulaşılabilirlik artacaktır. Hadoopda datayı sisteme yüklediğimizde bloklara ayırarak … Continue reading Hadoop Nedir? Mapreduce Nedir?
What is Yarn?
YARN is a Yet Another Resource Negotiator. Yarn goal is to facilitate applications to achieve 100% utilization of all resources on the physical system while letting every application execute at its maximum potential. YARN multi node cluster has an aggregate pool of computer resources memory and cpu. YARN uses scheduler policy. Compare Hadoop 1 & YARN. … Continue reading What is Yarn?
HDFS Commands Examples
Hi all HDFS commands examples View the usage of hadoop fs # hadoop fs Enter the following -ls command to view the contents of the user’s root directory in HDFS, which is /user/root: # hadoop fs -ls View the contents of the /user directory in HDFS: # hadoop fs -ls /user -ls command again, but this … Continue reading HDFS Commands Examples
Hive
- Designed for batch processing. - Real time query capabilities added to Hive (Tez) - HiveQL query language Allows data stored in HDFS to be accessed from within Hadoop or from databases and datawarehouses Compare Hive & RDBMS Hive Focused on analytics. Supports sequential inserts and appends. Low cost storage using local disks Many Nodes Fast … Continue reading Hive
Introduction to HDP and Hadoop 2.X
What is Big Data? Big data is when the volume, velocity and/or variety of data gets to the point where it is too difficult or expensive for traditional systems to work with. Volume:Data coming in from new sources as well as increased regulation in multiple areas means storing larger sets of data for longer periods … Continue reading Introduction to HDP and Hadoop 2.X