REFERENTIAL INTEGRITY(RI)

DB2 for z/OS açısından RI kullanımı veri kalitesinin, veritabanında güvenli olarak sağlanmasını garanti ediyorsa da, RI her zaman kullanılması desteklenen bir özellik değildir. RI’nin kullanılmasının bazı riskleri vardır.

Availability:
1) Parent (P) Tablo PIT Recovery yapılırsa, Dependent bütün tablolar CHECK Pending’e düşer.
2) Dependent (D) Tablo PIT Recovery yapılırsa tablo CHECK Pending’e düşer.
3) Code Tabloları Parent olarak kabul edilip, sistemdeki bütün tablolardan Foreign Key yaratılırsa ve Code Tablosuna yapılacak bir LOAD REPLACE bütün operasyonel tabloları CHECK PENDING’e düşürür.
4) P ve D, Crash Recovery yapılırsa CHECK Pending oluşmaz.

İlk 3 madde availability riski taşımaktadır. Problem yaşanması durumunda kesinti oluşturur.

Performans:
1) D tablo üzerinde FK için Index tanımlamak gerekir. Bu Indexin cardinality’si çoğunlukla düşük kalır ve Optimizer tarafından performans amaçlı seçilmeyebilir. Sadece P’den yapılan CASCADE DELETE’lerde ve JOIN işlemlerinde Dependent kayıtları bulmak için kullanılır. Dolayısı ile Uygulama SQL’lerin kullanma ihtimalinin az oldugu bir index her FK için tanımlanır. Bu da D tablolarının DELETE/INSERT maaliyetini arttırır.
2) D tabloya bir UOW’de aynı FK için yapılacak birden fazla INSERT olursa, DB2 her bir INSERT’de P tabloya gidip bakar. Eger DB2-RI değil, APP-RI kullanılırsa uygulama mantığı doğru yazıldıgı taktirde P tabloya tek bir lookup ile bu işe gerek kalmaz.
3) Eger Partitioned TS’de FK, DPSI (Data Partitioned Secondary Index) olarak tanımlanırsa, P’den yapılacak DELETE, bütün partition’ları tarar. Application ile yapılırsa WHERE koşulu ile atlanacak bu durum, DB2-RI ile kaçınılmaz olabilir.

DB2 for z/OS Architecture in Nutshell

YTU ve ODTU'de Bilgisayar Muh. Ogrencileri icin hazirladigim sunum
Aşağıdaki linkten indirebilirsiniz.

http://www.slideshare.net/CuneytGoksu/db2-for-zos-architecture-in-nutshell

"Big Data" nedir? Geleneksel "Veri Yönetimi"ne etkisi ne olur?

Teknolojinin yaygınlaşması, herkes tarafından ulaşılabilir olması ve kullanım biçiminin dönüşmesi, üretilen ve işlenen verinin büyüklüğünün de devasa olarak artmasını beraberinde getirdi. Nasıl ki kişisel hayatlarımızda iki üç disket veya birkaç CD'ye sığan bilgilerimiz artık 1TB'lık yüksek kapasiteli disklere zor sığar hale geldiyse, kurumlar da bu devasa hız ve çeşitlilikte artan verilerini nereye sığdıracaklarını bilemiyorlar. Büyük miktarda veri ile uğraşmak BT’nin yabancı olduğu bir konu değil fakat BIG DATA konusu, veri ambarı, ODS, iş analizi ve veri analizi başlıklarından oldukça farklı.

Verinin üretilme hızı ve çeşitliliği o kadar fazla ki, veri saklama cihazlarının teknolojileri ve üretilme hızları, bu hızın gerisinde kalıyorlar. Saklama ve veri işlemenin birim maaliyetleri azalsa da, hızlı üreyen veriyi saklamak ve işlemenin toplam maaliyeti artıyor.

- 2020'lerde toplam sayısal verinin 35ZettaByte olması bekleniyor. 1 ZettaByte = 1Milyar TeraByte. Bloglar, sosyal medya, elektronik sensörler vb cihazlar tamamen yapısal olmayan yepyeni bir dünya sunuyorlar.
- Cep telefonları, Internet'deki yapılan her tık, sayısal fotoğraf makineleri veri üreten birer fabrikaya dönüştü. Geçen on yıldan beri veri tabanı sunucularının sayısı 6 kat artarak, 32 Milyon'a çıktı.
- Mevcut verilerin %80'i yapısal değil; Eposta, fotograf, video, müzik dosyası, XML, vb şeklinde ortaya çıkan, geleneksel ilişkisel veri tabanlarında saklanmayan, “Gri Data” olarak adlandırılan “Ham” veri.
- Özellikle sağlık ve finans sektörü ile hükümetlerin "BIG DATA" konusuna daha çok kafa yormaları gerekecek. Çünkü hukuki olarak geriye dönük bu devasa sayısal bilgilerin saklanması, yedeklenmesi, arşivlenmesi ve gerektiğinde hızlı olarak erişilebilir olması gerekiyor. İlk tahminler, ABD’nin sağlık sektörünün yıllık 300Milyar Dolarlık “BIG DATA” katma değerinde iş hacmine sahip olduğu yönünde.

McKinsey'in bir raporuna göre 2010'da ABD ve Avrupa'daki toplam saklama kapasitesi 30ExaByte ama üretilen veri 1.2ZettaByte. Bu durumda üretilen ama saklanmayan, saklanmadığı için de işlenmeden yok olan veri oldukça fazla. Bu yaklaşımdan yola çıkarsak, "veri işleme" konusunda da ezber bozan çözümler üretilmesi gerekiyor. IBM, Samsung, GE Global saklama ve özellikle veriyi "kaynağında işleyecek" teknolojiler üretme konusunda çalışıyorlar.

"Big Data" olgusunu tarifleyen 5 bileşen var
-Volume (Veri Büyüklüğü): IDC istatistiklerine göre 2020'de ulaşılacak veri miktarı, 2009'un 44 katı olacak. Şu anda kullanılan, "büyük" diye adlandırdığımız kapasiteleri ve "büyük sistemleri" düşünüp, bunların 44 kat büyüklükte verilerle nasıl başa çıkacaklarını hayal etmek gerekiyor! Kurumun veri arşivleme, işleme, entegrasyon, saklama vb teknolojilerinin bu büyüklükte veri hacmi ile nasıl başa çıkacağının kurgulanması gerekli hem de hemen.

- Velocity (Hız): "Big Data"nın üretilme hızı çok yüksek ve gittikçe artıyor. Daha hızlı üreyen veri, o veriye muhtaç olan transaction sayısının ve çeşitliliğinin de aynı hızda artması sonucunu doğuruyor.

- Variety (Çeşitlilik): Üretilen verinin %80'i yapısal değil ve her yeni üretilen teknoloji, farklı formatlarda veri üretebiliyor. Telefonlardan, tabletlerden, entegre devrelerden gelen türlü çeşitlilikte "Veri Tipi" ile uğraşılması gerekiyor. Bir de bu verilerin farklı dillerde, Non-Unicode olabileceğini düşünürseniz, entegre olmaları, birbirlerine dönüşmeleri de gerekli.

- Verification (Doğrulama): Bu bilgi yoğunluğu içinde verinin akışı sırasında "güvenli" olması da bir diğer bileşen. Akış sırasında, doğru katmadan, olması gerektiği güvenlik seviyesinde izlenmesi, doğru kişiler tarafından görünebilir veya gizli kalması gerekiyor.

- Value (Değer): En önemli bileşen ise değer yaratması. Bütün yukarıdaki eforlarla tariflenen BIG DATA'nın veri üretim ve işleme katmanlarınızdan sonra kurum için bir artı değer yaratıyor olması lazım. Karar veriş süreçlerinize anlık olarak etki etmesi, doğru kararı vermenizde hemen elinizin altında olması gerekiyor. Örneğin sağlık konusunda stratejik kararlar alan bir devlet kurumu anlık olarak bölge,il,ilçe vb detaylarda hastalık, ilaç, doktor dağılımlarını görebilmeli. Hava Kuvvetleri, bütün uçucu envanterindeki taşıtlarının anlık yerlerini ve durumlarını görebilmeli, geriye dönük bakım tarihçelerini izleyebilmeli. Bir Banka, kredi vereceği kişinin, sadece demografik bilgilerini değil, yemek yeme, tatil yapma alışkanlıklarını dahi izleyebilmeli, gerekirse sosyal ağlarda ne yaptığını görebilmeli.

BIG DATA’nın temel olgusu aslında yeni birşey de değil; adı değişse de geçmişte de vardı. Internet kullanımının patlama yapması ve sanal olarak da olsa insanlığın daha çok sosyalleşmesi, birçok yeni teknolojinin ulaşılabilir ve ucuz hale gelmesi bizi bu devasa büyüyen veri okyanusunda yeni arayışlara itti. İş yapış biçimi de bizi buralara getirdi; geleneksel yaklaşımda iş sahibinin soru, sorun ve ihtiyaçlarına göre, BT mimariyi çıkartır; ihtiyaca cevap sağlardı. Günümüzde ise BT sunduğu platform ile iş sahibinin özgürce veriyi keşfetmesini sağlayacak altyapılar sunmak zorunda. Geleneksel ilişkisel veri tabanları güncelliğini, OLTP işlevini artarak yerine getirmeye devam edecek olsa da, BIG DATA’nın yeni ihtiyaçlarından dolayı, veriyi kaynağında işleyecek ya da IBM-Netezza, Oracle-Exadata, IBM-DB2 Analytical Machine vb “appliance” olarak anlamlandırılan yazılım, uygulama ve donanımı içinde barındıran çözümler ve NoSQL, Hadoop, Cassandra, JAQL, HBASE vb daha emekleme aşamasındaki çözümler BIG DATA’yı adreslemeye çalışacak.

BIG DATA yeni bir platform ve veri işleme anlayışı getirecek, zaman içinde yazılım firmalarından bu konuda onlarca çözüm çıkacak ve mevcut Bilgi Depolarına entegre edilerek büyümesi ve beraber yaşamaları kaçınılmaz hale gelecek. İlk çıkan ürünlerin çoğunluğu Açık Kaynak kodlu prototip uygulamalar olduğundan, ileri seviye danışmanlık ve küresel destek hizmetlerinden yoksunlar. Ama kurumsal sürümlerinin çıkması ve yine küresel yazılım şirketleri tarafından paylaşılması an meselesi.

BT Haber : http://www.bthaber.com.tr/?p=17464

IDUG DB2 Tech Conference in Prague 13-18 November registration is open

Register Now
http://bit.ly/IDUGEMEA
Early Registration Until 17 October 2011

Join business and technology leaders and experience over four days of in-depth, rich education covering DB2 family of products including Business Analytics,

Conference Highlights
• More than 100 technical sessions
• IBM Key Note with Industry Experts
• Over 38 FREE Certification Tests
• FREE DB2 Pre-Certification Seminars
• DB2 10 Migration Planning Workshop
• FREE CA User Day
• One Day Seminars
• Solution Center

DB2 for z/OS Tracks in IDUG EMEA 2011

DB2 for z/OS Sessions provides you the best technical content about IBM’s flagship database. IBM Distinguished Engineers talk about product updates, V10 Migration experiences and enhancements. Industry experts and Leading Gold Consultants provides you the best practices and tips&tricks from the ground. Top User speakers share their experiences with DB2 for z/OS Migration and performance tuning efforts. Top vendor experts talk about experiences and new functions. What you will learn from those sessions will provide the maximum ROI to your skills and to your enterprise.

For instance;

Terry Purcell's session called "What's new from the optimizer in DB2 10 for z/OS?" will have the latest query optimization enhancements for DB2 10 for z/OS, the world’s most respected cost based optimizer. And as delivery of DB2 10 draws closer, the plan solidifies, and beta customer and internal measurement feedback is more readily available. This presentation will share the insight uncovered in the early usage, provide the motivation for each enhancement, and highlight that actual enhancements


John Campbell's "DB2 10 for z/OS Planning and Very Early Migration Experience" will introduce and discuss very early experiences and lessons to be learned with DB2 10 for z/OS. It will provide quick hits on preparing for and executing the migration, performance expectations and opportunities, virtual storage constraint relief, some instrumentation changes, use of 1MB real storage frame size, use of hash access, value of rebind, etc.


Bryan Paulsen with "DB2 10 for z/OS - John Deere's Beta Experience" will talk about John Deere's participation to the IBM Beta program for DB2 10 for z/OS. This presentation will introduce you to some of the new features available in DB2 10 that we tested at John Deere. You will gain a general understanding of these features along with some items of interest we found while testing. I will also introduce you to some of the equipment John Deere makes during the course of the presentation.


And Last but not the least Frank Petersen with "Experience DB2 10 experiences" will go through the experiences from Bankdata/JN data concerning going to DB2 10. Bankdata took part in the beta program for DB2 10 and there will be some brief information about this process. In the spring 2011 the Bankdata systems are planned to go through a 6 months process to be upgraded to DB2 10. Frank will give experiences from this process, both from a performance related view as from talking about problems met during the way. He will try to make the presentation as up to date as possible as the process is continuing right up to the conference.

This is just a subset of conference grid.

And there some more

1) IBM Pre-Certification & Migration Planning Workshop classes
http://bit.ly/IDUGEMEAMP

2)Registration for DB2 10 Migration Planning Workshop at IDUG
http://bit.ly/MPWIDUG

3) Registration for IDUG EMEA 2011 Conference
http://bit.ly/IDUGEMEA

IBM / 2011 Q2

IBM'in 2011 Q2 raporu açıklandı.

Bu raporda ki bazı başlıklara göre;
1) Mainframe sınıfı (System z) gelirlerinde %61, kapasite artışında %86 artış var. Orta Boy sunucularda ise (System p) %12'lik artış var. Bu eğilim büyük boy sunucuların kullanım eğiliminde azalma yerine ciddi bir artış olduğunu gösteriyor.

2) BRIC (Brazil, Russia, India, China) ülkelerinden sağlanan gelirde %23'lik artış var. Bu da bilişim alanında bu ülkelerde ciddi firsatların hala devam ettiğini gösteriyor.

3) Yazılım ürünlerinin gelirlerinde WebSphere ürün ailesi %55, Information Management ailesi %18, Lotus ailesi %12, Tivoli'ler %9, Rational ailesi ise %4'lük artış göstermiş. Appliance, uygulama entegrasyonu, uygulama sunucusu yazılım teknolojilerinde ciddi bir talep olduğu ortada.

4) "Business analytics" başlığındaki gelir artışı %20. Toplam yazılım gelirlerindeki artış %17'de iken BA konusunda ki artışın daha fazla olması, bu alandaki hareketliliğin ve talebin göstergesi.

Raporun detayları aşağıdaki linkte bulunabilir.
http://www-03.ibm.com/press/us/en/pressrelease/35069.wss

Arama Motorları Akla Zarar mı?

Aşağıdaki satırlarda okuyacağınız makalede vermeye çalıştığım mesajla bilgisayar başında yaşadığım durum çelişiyor olsa da, hedeflediğim bir konuyu araştırırken kendimi başka bir araştırmanın sonuçlarını incelerken buldum: “arama motorlarının insan hafızası üzerindeki etkileri”

İnternet icad olup, kütüphaneler dolusu veri, bilgi, belge sayısal olarak önümüze yığılınca, haliyle bu yığın içindeki aramaları gerçekleştirmek için de “arama motoru” denen teknoloji üretildi. Bir parmak hareketiyle, üstelik aradığımız “şeyi” tam olarak bilemesek bile, birkaç kelime ile başladığımız arama yolculukları, motorun tavsiyeleri ile karşımıza çıkan listeden “İşte! Tam da aradığım buymuş” diyeceğimiz “akıllı motorlara” kadar geldi.

Neler aramıyoruz ki!

Bir top model’in göğüs-kalça oranından, eski sınıf arkadaşlarımız “Ne yapıyormuş acaba?” sorgusuna, Başbakan’ın kahvaltıda ne yediğinden, Avagadro Sayısı’nın Borsa Endeksi üzerindeki etkisine kadar aklımıza gelen her şeyi...

Eskiden “okuyarak ve öğrenerek” hafızamıza depoladığımız bilgiye, ihtiyaç duyduğumuzda, anımsama yoluyla yeniden ulaşabiliyorduk. Okuyorduk, öğreniyorduk ve bu yolla bilginin kendisini hafızada depoluyorduk, gerektiğinde oradan çağırıp kullanıyorduk ve sonra yine saklamaya devam ediyorduk.

Internet teknolojileri ve özellikle bu yazının konusu olan arama motorları ile başlayan bilgiye erişim süreci, bilginin insan hafızasında saklanma ve ulaşma yöntemlerini de etkiliyor. Günümüzde cevabını bilmediğimiz bir soru ile karşılaşırsak, yukarıdaki önce öğrenme sonra depolama ve ardından da anımsama işini artık arama motorlarına havale etmiş durumdayız. Onlar bu işi bizim için belki daha hızlı ve zahmetsiz yapıyor. Aman DİKKAT! Arama motorları bu işi yaparken beynimize düşen görev değişiyor: Artık hafızalarımızda bilgiyi saklamak yerine sadece o bilgiye ulaşabileceğimiz endeksleri saklıyoruz. Ben bu görev değişimini beynin bazı fonksiyonlarını “dış kaynak” kullanarak “taşeronlaştırmak” diye adlandıracağım. Bu süreç, günlük hayatımızda daha çok işi, daha hızlı gerçekleştirmek açısından sanki daha çekiciymiş gibi gözükse de, sürekli yapılan bu doldur-boşalt işleminin etkilerinin bilinmezliğinin bir sonucu olarak her “dış kaynak” kullanımında ortaya çıkan temel sorun burada da karşımıza çıkıyor: Bağımlılık! Yani o arama motoru elinin altında olmazsa ne yapacağını bilmeyen, dımdızlak kalmış bir beyniniz olabilir.

Beyinlerimiz, “Internet’in hafızasına” artık bir aile bireyinin, meslektaşımızın veya bir arkadaşımızın hafızasına güvenirmişcesine güveniyor. Aradığımız bilgiyi hatırlamak yerine, o bilgiye ulaşacağımız yeri, endeksi, bağlantıyı, kısaca bilginin saklandığı yeri hatırlıyoruz ve o bilgiye ulaşınca onu beynimize transfer ederek “öğrenmek” yerine, kullanıyoruz, tüketiyoruz ve ihtiyaç duyduğumuzda yeniden gidip ilgili yerden yeniden “transfer ediyoruz”.

Harvard Üniversitesi’nde bir araştırma yapılmış. Denek olarak seçilen lisans öğrencilerine, “Devekuşunun gözü, beynininden büyüktür” benzeri, cevabı “doğru-yanlış” olan bir dizi soru yöneltilmiş. Sorularla beraber öğrencilere bazı anahtar kelimeler, farklı renk ve fontlarla gösterilmiş. İnternet’i, örneğin Google veya Yahoo’yu, çağrıştıran renk ve fontlar kullanıldığında, öğrencilerden gelen cevapların daha yavaş olduğu ölçülmüş ki bu da cevabı düşünürken akıllarından arama motorunu geçirdikleri olarak yorumlanmış.

Bulgular ve gündelik yaşamdaki kullanım örüntüsü gösteriyor ki, beynimizin öğrenme stratejileri değişim içinde. Birçok insan “Yeniden hatırlamam gerektiğinde bakmam gereken yeri biliyorsam o bilgiyi niye aklımda tutayım ki!” demese de, gündelik koşullar buna zorluyor. Google ve benzeri teknolojiler beynimizin bazı fonksiyonlarının “makineleşmiş dış kaynaklara taşeronlaştırılmasını” hızlandırıyor.

Bir bilimkurgu olan Stanley Kubrick’in “2001: A Space Odyssey” adlı sinema filmindeki HAL adlı bilgisayar bir hayal ürünüydü ama günümüzde IBM’in Watson adını verdiği akıllı bilgisayar bir gerçeğin yansıması.

İnsan beyninin fonksiyonlarını “taşeronlaştırmak”, beynin kullanım kapasitesini artıracak mı, yoksa tembelleştirecek mi bunu zaman ilerledikçe göreceğiz.

Dünyayı değiştirecek dört teknolojik eğilim

IBM ArGE'sinden sorumlu VP John Kelly'nin yaptığı bir sunum geleceği belirleyecek 4 teknolojik eğilim hakkında sinyaller veriyor

1.Nano Sistemler: Bu sistemler kısaca kablolu iletişim değil ışıkla iletişim üzerine olacak. Böylece çok daha az enerji ile çok yüksek iletişim performansları sağlanabilecek. Nano sistemlere geçildiğinde hesaplama hızlarında 1000 kat artışlar bekleniyor.

2.Exascale Sistemler: Günümüzde en hızlı sistemler petaflop seviyesinde. IBM Ar&GE, Blue Waters olarak isimlendirilen, 10 petaflop'luk bir sistem hazırladı ve gelecek 10 yıl içinde exaflop tasarlama peşinde. Petflop'tan exaflop'a geçiş demek performansta 1000 kat artış demek.

3.Çok büyük ve Çok hızlı data: 2020 yılında, dünyada 50Milyar birbiri ile bağlı cihaz olması bekleniyor. Bu yeni dünyada veri üretim hızı makina hızı ile eşdeğer. Bunun üstesinden gelmek için, yüzlerce gigabyte'ı saniyeler içinde işleyen ve microsaniye bazında karar veren sistemlere ihtiyaç var ve bu konuda ki geliştirmeler devam ediyor.

4.Kavramsal hesaplamalar: Dünyadaki neredeyse bütün bilgi sayısallaşmış durumda. Bu yüzden yaratılan sistemlerin bilgiyi işleme metodları daha önce hiç olmadığı kadar farklı. Bunun en güzel örneği Watson. http://www-03.ibm.com/innovation/us/watson/index.html

IBM Interview about IBM Champion Program, DB2 and IDUG

Please refer the following link about the latest interview.

http://t.co/Mx6id04

DBA Activities

I’m working on a presentation about DBA Activities and requesting some statistics from DBAs. Would you please share your thoughts for the following two simple questions?

1) What are the TOP 5 daily routine activites of a DBA?
2) What’s the percentage of those activities in a normal business day?

Please share your thoughts as a comment in blog or send me email to cuneytgoksu@usa.net
Thank you

DB2 & HP-UX Itanium

Oracle kullanan HP Itanium müşterileri'nin dikkatine.

Oracle 12g sürümünden itibaren HP-UX platformundaki desteğini kapatıyor. Bu konuda ki alternatifleriniz için aşağıdaki linke göz atabilirsiniz.

http://smarterquestions.org/2011/05/ibm-committed-to-supporting-hp-ux-for-years-to-come/