24 Jul 2015

Amatörler için In-Memory Veritabanı…




Haziran sayısında Big Data’ya nereden başlasak demiştim. Yapılan anketlere göre kurum dışı veriler yerine kurum içi verilerle, transaction bilgileri, Sistem Logları gibi, yola çıkmanın genel kabul gördüğü ortadaydı. Bir yandan da insanlık olarak çılgınca veri ve bilgi üretmeye devam ediyoruz. Google CEO’su Eric Schmidt’e göre insanlığın sadece iki gün içinde ürettiği bilgi miktarı, uygarlığın başından 2003’e kadar geçen zamanda üretilen miktara eşit. Bir başka tahminse, her yıl üretilen verilerin toplamı, 2020’de 44 zettabyte olacak. (1 ZettaByte = 1 Milyar Terabyte)

Bu tahminler doğru olsa da olmasa da gerçek olan, geleneksel veri tabanlarının ve araçlarının, bu patlayan hacimlerde ki veriyi saklamak ve işlemek için çok da uygun olmayacağı yönünde. Örneğin Hadoop, açık kaynak veri saklama ve işleme mimarisi, sadece birkaç yılda Web 2.0 şirketlerinin giriş mimarisinden, modern kurumsal veri mimarilerine doğru geçiş döneminde.  Ama hep şunu diyoruz ki, saklamak ve işlemek önemli ama değer üretmedikçe, bu değeri de zamanında son kullanıcıya servis edemedikçe, arkadaki mükemmel teknolojinin de önemi değersizleşiyor. Örneğin bir perakende uygulamasında, müşteriye sunulacak hizmet veya katma değerli ürünün zamanında analiz edilip servis edilmemesi rekabet koşullarında olmazsa olmaz.

Hadoop Teknolojileri, büyük miktar veriyi saklamak ve işlemek için ideal olsa da, Real-Time Operation, Real-Time Analytic, Inline Analytic, InDatabase Scoring gibi yükler için uygun değil hala. Bu tarz yükler için yeni bir model gerekiyor ki o da “In-Memory VeriTabanları”

In-Memory VeriTabanları’nın, Geleneksel veritabanları ve Hadoop sistemlerinden ayrılan en önemli farkı, verileri geleneksel dönen başlıklı diskler yerine, dynamic random-access memory (DRAM) üzerinde saklamalarıdır. DRAM üzerinde yapılan I/O işlermleri, diğer diskler üzerine yapılanlardan ciddi oranda daha hızlıdır ki bu da veri merkezli analiz uygulamalarında yüksek performans beklentisinin gereği olarak önümüze konur.

In-memory veritabanları yeni olmamakla birlikte, ana akım kurumsal uygulamalarda gittikçe daha fazla yer alıyor. Bunun en önemli sebebi, son on yılda memory fiatlarının ciddi oranda ucuzlaması ve bütün verilerin DRAM’da saklanarak, In-Memory Database tabanlı uygulamanın fiat/performansının satın alınabilir, uygulanabilir hale gelmesidir. Bununla beraber, Columnar Mimarisi, Data Skipping Teknolojileri, Yüksek-Oranlı veri sıkıştırmaları gibi yetenekler de In-Memory VeriTabanları’nın uygulanabilirliğini arttırmıştır.

In-Memory Veritabanlarının ilk uygulamaları ad-tech işindedir. Örneğin bir ticari web sitesine logon olduğunuzda, size uygun ürünlerin teklif edilmesi veya size uygun reklamların önünüze çıkması ad-tech olarak adlandırılır. Bütün bunlar ancak ışık hızı ile yapılan analiz uygulamaları yani arka planda In-Memory VeriTabanları ile mümkün.

Veritabanı üreticileri de bu gelişmelere kayıtsız kalamayacakları için geleneksel ürünlerine In-Memory Database özellikleri eklemekte ya da yeni ürünler çıkarmaktadır.
 
Gerçek hayatta In-Memory Veritabanları ve Hadoop Platformları birbirlerinin tamamlayıcı olarak karşımıza çıkarlar. Kurumsal Big Data Mimarilerinde denklemin bu iki yanını bir araya getiren işletmeler diğerlerinden bir adım önde olacak.

No comments: