Haziran
sayısında Big Data’ya nereden başlasak demiştim. Yapılan anketlere göre kurum
dışı veriler yerine kurum içi verilerle, transaction bilgileri, Sistem Logları
gibi, yola çıkmanın genel kabul gördüğü ortadaydı. Bir yandan da insanlık
olarak çılgınca veri ve bilgi üretmeye devam ediyoruz. Google CEO’su Eric
Schmidt’e göre insanlığın sadece iki gün içinde ürettiği bilgi miktarı,
uygarlığın başından 2003’e kadar geçen zamanda üretilen miktara eşit. Bir başka
tahminse, her yıl üretilen verilerin toplamı, 2020’de 44 zettabyte olacak. (1
ZettaByte = 1 Milyar Terabyte)
Bu
tahminler doğru olsa da olmasa da gerçek olan, geleneksel veri tabanlarının ve
araçlarının, bu patlayan hacimlerde ki veriyi saklamak ve işlemek için çok da
uygun olmayacağı yönünde. Örneğin Hadoop, açık kaynak veri saklama ve işleme
mimarisi, sadece birkaç yılda Web 2.0 şirketlerinin giriş mimarisinden, modern
kurumsal veri mimarilerine doğru geçiş döneminde. Ama hep şunu diyoruz ki, saklamak ve işlemek
önemli ama değer üretmedikçe, bu değeri de zamanında son kullanıcıya servis
edemedikçe, arkadaki mükemmel teknolojinin de önemi değersizleşiyor. Örneğin
bir perakende uygulamasında, müşteriye sunulacak hizmet veya katma değerli
ürünün zamanında analiz edilip servis edilmemesi rekabet koşullarında olmazsa
olmaz.
Hadoop
Teknolojileri, büyük miktar veriyi saklamak ve işlemek için ideal olsa da,
Real-Time Operation, Real-Time Analytic, Inline Analytic, InDatabase Scoring
gibi yükler için uygun değil hala. Bu tarz yükler için yeni bir model gerekiyor
ki o da “In-Memory VeriTabanları”
In-Memory
VeriTabanları’nın, Geleneksel veritabanları ve Hadoop sistemlerinden ayrılan en
önemli farkı, verileri geleneksel dönen başlıklı diskler yerine, dynamic
random-access memory (DRAM) üzerinde saklamalarıdır. DRAM üzerinde yapılan I/O
işlermleri, diğer diskler üzerine yapılanlardan ciddi oranda daha hızlıdır ki
bu da veri merkezli analiz uygulamalarında yüksek performans beklentisinin
gereği olarak önümüze konur.
In-memory
veritabanları yeni olmamakla birlikte, ana akım kurumsal uygulamalarda gittikçe
daha fazla yer alıyor. Bunun en önemli sebebi, son on yılda memory fiatlarının
ciddi oranda ucuzlaması ve bütün verilerin DRAM’da saklanarak, In-Memory
Database tabanlı uygulamanın fiat/performansının satın alınabilir,
uygulanabilir hale gelmesidir. Bununla beraber, Columnar Mimarisi, Data Skipping
Teknolojileri, Yüksek-Oranlı veri sıkıştırmaları gibi yetenekler de In-Memory VeriTabanları’nın
uygulanabilirliğini arttırmıştır.
In-Memory
Veritabanlarının ilk uygulamaları ad-tech
işindedir. Örneğin bir ticari web sitesine logon olduğunuzda, size uygun
ürünlerin teklif edilmesi veya size uygun reklamların önünüze çıkması ad-tech olarak adlandırılır. Bütün
bunlar ancak ışık hızı ile yapılan analiz uygulamaları yani arka planda
In-Memory VeriTabanları ile mümkün.
Veritabanı
üreticileri de bu gelişmelere kayıtsız kalamayacakları için geleneksel
ürünlerine In-Memory Database özellikleri eklemekte ya da yeni ürünler
çıkarmaktadır.
Gerçek
hayatta In-Memory Veritabanları ve Hadoop Platformları birbirlerinin
tamamlayıcı olarak karşımıza çıkarlar. Kurumsal Big Data Mimarilerinde
denklemin bu iki yanını bir araya getiren işletmeler diğerlerinden bir adım
önde olacak.