إنتقال للمحتوى

  • تسجيل الدخول عبر الفيس بوك تسجيل الدخول عبر تويتر Log In with LinkedIn Log In with Google      تسجيل دخول    
  • إنشاء حساب

صورة
- - - - -

هادوب Hadoop الفيل الأصفر الصغير .. ( 4 )


4 رد (ردود) على هذا الموضوع

#1 احمد الجابري

احمد الجابري

    مشرف سابق وعضو مميز

  • المجموعة الماسية
  • 788 مشاركة
  • الاسم الأول:أحمد
  • اسم العائلة:الجابري
  • البـلـد: Country Flag

تاريخ المشاركة 16 December 2015 - 08:38 PM

ملف مرفق  Hadoop.png   34.98كيلو   6 عدد مرات التحميل
 

​هادوب .. كما ذكرت هي تقنية تقوم بتبسيط السعات التخزينية لاكثر من سيرفر و جعلها و كانها هاردسك واحد .
هادوب تستخدم من قبل جميع الشركات كاوراكل و مايكروسوفت هذا غير قوقل و فيسبوك و تويتر و يوتيوب .
حتى ان الخدمات السحابية Cloud service لاوراكل و مايكروسوفت و امازون اصبحت تقدمها كخدمة .

هناك قصة سمعتها من احد المتخصصين في هادوب و حدثت قبل سنوات و هي عن جامعة امريكية ارادت عمل ارشفة الكترونية لجميع الكتب في مكتبتها 
طرحت المناقصة فتقدمت شركات مختلفة وطرحت جدول زمني من 5 الى 7 سنوات فقط لعمل تحويل صور الصفحات الى نصوص 
قابلة للقراءة بتقنية OCR .
لكن جاء عرض غريب من شركة ادعت انها تستطيع عمل ذلك خلال 3 اشهر فقط ... و قاموا بارساء المشروع عليها .
قامت الشركة باستأجار 100 سيرفر في امازون كلاود و قامت بتوزيع ملفات صور الصفحات عليها و قامت ايضا بتحميل برامج الOCR 
على هذه السيرفرات المائة .. انجزت المهمة و قامت بحذف تلك السيرفرات حتى لا تحتسب التكلفة عليها .
هنا تظهر فائدة هادوب . 

هادوب يقوم على مبدأ مشهور في هذا عالم الBig Data اسمه Map Reduce ..

 

Map Reduce
الفكرة ببساطة انه بدل ان ترسل الامر او المهمة التي تريد الى سيرفر واحد , فإنك ترسلها الى جميع السيرفرات في نفس اللحظة Map
و كل سيرفر يقوم باعطائك مالديه من بيانات ثم يتم عمل تجميع لهذه البيانات Reduce و ارجاعها لك كحزمة واحدة .

اتوقع انك تفكر الان في كيفية توزيع البيانات على هذه السيرفرات ثم بجملة SQL واحدة تستجمعها ..
هذا ممكن . لكن ليس مع Oracle Database او MySQL او اي من قواعد البيانات العلائقية ..
هنا انت تحتاج الى عائلة اخرى من قواعد البيانات تدعى NoSQL .
و هي عائلة كبيرة جدا من انواع مختلفة من قواعد البيانات لشركات عدة و اشهرها HBase و Cassendra 
و هناك انواع اخرى تعتمد المستندات مثل MongoDB و CouchDB و طرحت مايكروسوفت منتجها Microsoft DocumentDB
اما اوراكل فطورت قاعدة بياناتها Berkeley لتنتج Oracle NoSQL Database و الذي سنتوسع في شرحها .
كما ان هناك نوع اخر يسمى Graph database و هي من افضل قواعد البيانات اذا كانت لديك علاقات كثيرة مثل فيسبوك و تويتر و لينكدن .
و ايضا سنتوسع في منتج اوراكل منها و هي Oracle Spatial and Graph او ما تختصر باسم RDF .









 


  • Mr_CoBoL, kherooooo و المـقـدام معجبون بهذا

إن تستلب مني الدنى ملكي .. و تسلمني الجموعُ

فالقلب بين ضلوعه .. لن تُسلم القلبَ الضلوعُ


#2 anas.soft

anas.soft

    عضو مميز

  • الأعضــاء
  • 583 مشاركة
  • الاسم الأول:Anas
  • اسم العائلة:Radman
  • البـلـد: Country Flag
  • الاهتمامات:ORACLE & PHP
  • المنصب الحالي:IT Manager & Oracle Developer

تاريخ المشاركة 17 December 2015 - 10:11 AM

الله يعطيك الف عافية استاذنا الفاضل احمد الجابري ..


  • احمد الجابري معجب بهذا

#3 DBProgrammer

DBProgrammer

    مشترك

  • الأعضــاء
  • 167 مشاركة
  • الاسم الأول:DB
  • اسم العائلة:Programmer
  • البـلـد: Country Flag

تاريخ المشاركة 22 December 2015 - 12:17 PM

سلسلة مقالات مفيدة جدا بارك الله فيك .. كان متوقعا ان تكتب عن الهادوب :) 

 

استاذنا المبدع :

- قبل 10 سنوات تقريبا كان الاهتمام بموضوع (قاعدة البيانات الموزعة - Distributed Database) حتى اذكر كان الطلاب الذين يرغبون باكمال دراسات عليا يُشار عليهم بالاهتمام بهذا الاختصاص كون مؤشر بوصلة التقنية تشير باتجاهه حينها .

ماذا عنه حاليا ؟! وهل تقنيات مثل الـ Map Reduce و منتجات مثل الـ Hadoop وغيره هو الامتداد الطبيعي لهذا الموضوع ؟

 

- قبل سنتين تقريبا كان هناك حدث Event لاوراكل وكان التركيز منصب على الترويج للـ Exadata والـ ExaLogic حينها  وهو ما يعتبر Scale Up.. وكان هناك حدث Event قريب وكان التركيز منصب على الترويج للكلاود Cloud بشكل كبير وهو ما يعتبر تعزيز للـ Scale Out . - بصرف النظر عن الترويج التجاري لاوراكل في الحدثين - هل سنرى في المدى القريب ضعف سوق انتاج التطبيقات المستقلة والتوجه الى الـ Cloud وشراء Service بدلا عن ذلك ؟؟ - رغم نقاط الضعف في الكلاود ابرزها الخصوصية والامان - .


  • احمد الجابري و kherooooo معجبون بهذا

أبشـــر .. واطمئن ..


(( وَمَنْ يَتَّقِ اللَّهَ :

1. يَجْعَلْ لَهُ مَخْرَجًا

2. وَيَرْزُقْهُ مِنْ حَيْثُ لا يَحْتَسِبُ


وَمَنْ يَتَوَكَّلْ عَلَى اللَّهِ :

فَهُوَ حَسْبُهُ


إِنَّ اللَّهَ بَالِغُ أَمْرِهِ قَدْ جَعَلَ اللَّهُ لكل شَيْءٍ قَدْرًا ))

 

________________________________________________________________________________________

 

استهداءاً بقول النبي محمد (ﷺ) : (من لا يشكر الناس لا يشكر الله)


#4 احمد الجابري

احمد الجابري

    مشرف سابق وعضو مميز

  • المجموعة الماسية
  • 788 مشاركة
  • الاسم الأول:أحمد
  • اسم العائلة:الجابري
  • البـلـد: Country Flag

تاريخ المشاركة 04 January 2016 - 11:07 AM

مشكلة الكلاود ليست الخصوصية و الأمان و لكن الثقة . نحن مثلاً نثق باهم بيانات في حياتنا في كلاود و هي بياناتنا البنكية التي يمكن الدخول عليها من اي مكان في العالم , لكن لأن البنوك تعطينا مقدار اكبر من الثقة فنحن لا نرى في ذلك اشكالية .
مع الوقت ستتجه الكثير من الشركات للكلاود , و بدأت الكثير من الشركات و المؤسسات الحكومية بالتوجه للكلاود بشكل تدريجي و إن كان حذراً لكنها الان بعد سنة او سنتين من التجارب اصبحت تعطي الموضوع ثقة اكبر .

اعود لموضوع ال Distributed Database ..
نعم هذا هو ما كان يتحدث عنه , و اوعدكم بشرح مفصل لاعداد قاعدة بيانات Oracle NoSQL موزعة على ثلاثة سيرفرات مع بعض امثلة الجافا لكيفية التعامل معها .

تحياتي .


  • kherooooo و ora.asp معجبون بهذا

إن تستلب مني الدنى ملكي .. و تسلمني الجموعُ

فالقلب بين ضلوعه .. لن تُسلم القلبَ الضلوعُ


#5 احمد الجابري

احمد الجابري

    مشرف سابق وعضو مميز

  • المجموعة الماسية
  • 788 مشاركة
  • الاسم الأول:أحمد
  • اسم العائلة:الجابري
  • البـلـد: Country Flag

تاريخ المشاركة 04 January 2016 - 11:10 AM

اضيف هنا ان Oracle NoSQL لا علاقة لها بهادوب إلا في جزئية مقدرتها على سحب بيانات من هادوب و تفريغها في قاعدة بيانات على هيئة جداول ليسهل التعامل معها . اي ان Oracle NoSQL لا تقوم على هادوب كما هو الحال مع HBase مثلا .


إن تستلب مني الدنى ملكي .. و تسلمني الجموعُ

فالقلب بين ضلوعه .. لن تُسلم القلبَ الضلوعُ