هادوب Hadoop الفيل الأصفر الصغير .. ( 4 )

[احمد الجابري]

 

​هادوب .. كما ذكرت هي تقنية تقوم بتبسيط السعات التخزينية لاكثر من سيرفر و جعلها و كانها هاردسك واحد .
هادوب تستخدم من قبل جميع الشركات كاوراكل و مايكروسوفت هذا غير قوقل و فيسبوك و تويتر و يوتيوب .
حتى ان الخدمات السحابية Cloud service لاوراكل و مايكروسوفت و امازون اصبحت تقدمها كخدمة .

هناك قصة سمعتها من احد المتخصصين في هادوب و حدثت قبل سنوات و هي عن جامعة امريكية ارادت عمل ارشفة الكترونية لجميع الكتب في مكتبتها 
طرحت المناقصة فتقدمت شركات مختلفة وطرحت جدول زمني من 5 الى 7 سنوات فقط لعمل تحويل صور الصفحات الى نصوص 
قابلة للقراءة بتقنية OCR .
لكن جاء عرض غريب من شركة ادعت انها تستطيع عمل ذلك خلال 3 اشهر فقط ... و قاموا بارساء المشروع عليها .
قامت الشركة باستأجار 100 سيرفر في امازون كلاود و قامت بتوزيع ملفات صور الصفحات عليها و قامت ايضا بتحميل برامج الOCR 
على هذه السيرفرات المائة .. انجزت المهمة و قامت بحذف تلك السيرفرات حتى لا تحتسب التكلفة عليها .
هنا تظهر فائدة هادوب . 

هادوب يقوم على مبدأ مشهور في هذا عالم الBig Data اسمه Map Reduce ..

 

Map Reduce
الفكرة ببساطة انه بدل ان ترسل الامر او المهمة التي تريد الى سيرفر واحد , فإنك ترسلها الى جميع السيرفرات في نفس اللحظة Map
و كل سيرفر يقوم باعطائك مالديه من بيانات ثم يتم عمل تجميع لهذه البيانات Reduce و ارجاعها لك كحزمة واحدة .

اتوقع انك تفكر الان في كيفية توزيع البيانات على هذه السيرفرات ثم بجملة SQL واحدة تستجمعها ..
هذا ممكن . لكن ليس مع Oracle Database او MySQL او اي من قواعد البيانات العلائقية ..
هنا انت تحتاج الى عائلة اخرى من قواعد البيانات تدعى NoSQL .
و هي عائلة كبيرة جدا من انواع مختلفة من قواعد البيانات لشركات عدة و اشهرها HBase و Cassendra 
و هناك انواع اخرى تعتمد المستندات مثل MongoDB و CouchDB و طرحت مايكروسوفت منتجها Microsoft DocumentDB
اما اوراكل فطورت قاعدة بياناتها Berkeley لتنتج Oracle NoSQL Database و الذي سنتوسع في شرحها .
كما ان هناك نوع اخر يسمى Graph database و هي من افضل قواعد البيانات اذا كانت لديك علاقات كثيرة مثل فيسبوك و تويتر و لينكدن .
و ايضا سنتوسع في منتج اوراكل منها و هي Oracle Spatial and Graph او ما تختصر باسم RDF .









 

[anas.soft]

الله يعطيك الف عافية استاذنا الفاضل احمد الجابري ..

[DBProgrammer]

سلسلة مقالات مفيدة جدا بارك الله فيك .. كان متوقعا ان تكتب عن الهادوب  

 

استاذنا المبدع :

- قبل 10 سنوات تقريبا كان الاهتمام بموضوع (قاعدة البيانات الموزعة - Distributed Database) حتى اذكر كان الطلاب الذين يرغبون باكمال دراسات عليا يُشار عليهم بالاهتمام بهذا الاختصاص كون مؤشر بوصلة التقنية تشير باتجاهه حينها .

ماذا عنه حاليا ؟! وهل تقنيات مثل الـ Map Reduce و منتجات مثل الـ Hadoop وغيره هو الامتداد الطبيعي لهذا الموضوع ؟

 

- قبل سنتين تقريبا كان هناك حدث Event لاوراكل وكان التركيز منصب على الترويج للـ Exadata والـ ExaLogic حينها  وهو ما يعتبر Scale Up.. وكان هناك حدث Event قريب وكان التركيز منصب على الترويج للكلاود Cloud بشكل كبير وهو ما يعتبر تعزيز للـ Scale Out . - بصرف النظر عن الترويج التجاري لاوراكل في الحدثين - هل سنرى في المدى القريب ضعف سوق انتاج التطبيقات المستقلة والتوجه الى الـ Cloud وشراء Service بدلا عن ذلك ؟؟ - رغم نقاط الضعف في الكلاود ابرزها الخصوصية والامان - .

[احمد الجابري]

مشكلة الكلاود ليست الخصوصية و الأمان و لكن الثقة . نحن مثلاً نثق باهم بيانات في حياتنا في كلاود و هي بياناتنا البنكية التي يمكن الدخول عليها من اي مكان في العالم , لكن لأن البنوك تعطينا مقدار اكبر من الثقة فنحن لا نرى في ذلك اشكالية .
مع الوقت ستتجه الكثير من الشركات للكلاود , و بدأت الكثير من الشركات و المؤسسات الحكومية بالتوجه للكلاود بشكل تدريجي و إن كان حذراً لكنها الان بعد سنة او سنتين من التجارب اصبحت تعطي الموضوع ثقة اكبر .

اعود لموضوع ال Distributed Database ..
نعم هذا هو ما كان يتحدث عنه , و اوعدكم بشرح مفصل لاعداد قاعدة بيانات Oracle NoSQL موزعة على ثلاثة سيرفرات مع بعض امثلة الجافا لكيفية التعامل معها .

تحياتي .

[احمد الجابري]

اضيف هنا ان Oracle NoSQL لا علاقة لها بهادوب إلا في جزئية مقدرتها على سحب بيانات من هادوب و تفريغها في قاعدة بيانات على هيئة جداول ليسهل التعامل معها . اي ان Oracle NoSQL لا تقوم على هادوب كما هو الحال مع HBase مثلا .

[hazim salim]

السلام عليكم
كيف حالك استاذ محمد ان شاء الله تكون بخير وصحة وسلامة
مشتاقين
اتمنى تبعثلي رقمك الواتس او اي وسيلة تواصل حتى اتصل بيك
تحياتي لك
اخوك حازم / الموصل
رقمي : 07701106628