إنتقال للمحتوى

  • تسجيل الدخول عبر الفيس بوك تسجيل الدخول عبر تويتر Log In with LinkedIn Log In with Google      تسجيل دخول    
  • إنشاء حساب

صورة
- - - - -

Big Data .. باختصار ( 1 )


2 رد (ردود) على هذا الموضوع

#1 احمد الجابري

احمد الجابري

    مشرف سابق وعضو مميز

  • المجموعة الماسية
  • 788 مشاركة
  • الاسم الأول:أحمد
  • اسم العائلة:الجابري
  • البـلـد: Country Flag

تاريخ المشاركة 16 December 2015 - 06:52 PM

خلال الثلاثين سنة الماضية بنيت الكثير من التطبيقات و البرامج التي انتجت و تنتج الكثير و الكثير من البيانات ..

بيغ داتا .. من اسمها تعني الباينات الكبيرة او الكثيرة لكن هناك خصائص اخرى غير انها كبيرة و هي
سرعة تضخمها .. اختلاف انواعها ( صور , مستندات , افلام الخ ) , و عدم التناسق و التعقيد .. هذا باختصار .

بالنسبة للحجم نتكلم عن بيتا بايت petabyte و هذا يعني 1000 تيرا بايت .. فامازون مثلا لديها 40 بيتابايت من البيانات ..
المسالة هنا ليست قدرة تخزين فقد .. و لكن الحصول على المعلومة المطلوبة في سرعة اقرب الى الوقت الاني . و هنا يأتي التحدي .

نفترض ان لديك قاعدة بيانات اوراكل , على سيرفر 96 جيجا بايت من الذاكرة RAM  و لديك مساحة تخزينية 10 تيرا بايت ..
افترض مثلا ان البيانات زادت اكثر كم ذاكرة اضافية سيتحمل السيرفر ؟؟ و كم هاردسك اضافي يمكنك اضافته ؟
لاحظ ان المسألة لا تقتصر على الذاكرة و الهاردسك و انما ايضا سرعة المعالج الذي سيتحمل معالجة البيانات و الامر يتعدى الى سرعة الشبكة و سرعة النواقل داخل السيرفر نفسه .

جميع قواعد البيانات العلائقية كاوراكل و سيكول سيرفر ماي سيكول لا يمكن تقسيم بياناتها .. بمعنى لا يمكنك ان تقوم بتقسيم جدول واحد بين اكثر من جهاز .. فقط يمكنك عمل كلستر Cluster لتوزيع العمل 
و لكن هذا الكلستر لن يحل مشكلة البيانات حيث انه يقوم فقط بتقسيم العمل بين الاجهزة و لكن تضل مشكلة البيانات قائمة .. 

 

لاشرح الموضوع , تخيل ان لديك داتابيز كلستر مكون من جهازين A , B .. و لديك ابليكاشن سيرفر يقوم بالاتصال بهما .. في الواقع هو يتصل بسيرفر واحد فقط .. إما A و اما B و ينفذ عليه العملية كاملة .
فالبيانات على كلا السيرفرين متطابقة ( بافتراض ان هناك database mirroring ) .. لكن مشكلتنا تكمن في اننا نريد ان نقسم البيانات بين اكثر من سيرفر .. و ليس تقسيم العمل ..
تخيل ان لديك جدول واحد فيه بليون سجل .. في حالة وجود الكلستر و قيامك بارسال استعلام فانه في كل مرة سوف يتم تنفيذ جملة الاستعلام على جميع البليون سجل .
سواء كان السيرفر A او السيرفر B ... و هذا لن يحل المشكلة ... 

ما نحتاجه هو ان نقوم بتقسيم بيانات الجدول بين السيرفرين .. بحيث يكون 500 مليون سجل على كل سيرفر ..
لكن ماذا لو كانت جملة الاستعلام التي ارسلتها تحتاج ان تقرأ من هذا السيرفر و ذاك و تعيد لك النتيجة دفعة واحدة ؟؟ 
مالعمل اذا ؟؟

للمعلومية فقط .. لدى فيسبوك 1100 سيرفر للاحتفاظ بالLogs و يستطيع الاستعلام في جميها في ثواني ..
اذا كنت تستبعد ان تعمل على حجم بيانات كهذا .. تذكر فقط ان طائرة البوينغ تنتج في الرحلة الوحدة 500 تيرا بايت من البيانات .
هنا تأتي فائدة الBigData .. و توزيع البيانات على اكثر من سيرفر ..

 

للاسف لا يمكنني التعديل على عنوان الموضوع .. لكن سأجعل مواضيعي مرقمة و هذا هو الموضوع رقم 1 .



 

 


  • Mr_CoBoL و ora.asp معجبون بهذا

إن تستلب مني الدنى ملكي .. و تسلمني الجموعُ

فالقلب بين ضلوعه .. لن تُسلم القلبَ الضلوعُ


#2 ميسم الكرام

ميسم الكرام

    مشرفة

  • فريق الإشراف
  • 2,162 مشاركة
  • الاسم الأول:-
  • اسم العائلة:-
  • البـلـد: Country Flag

تاريخ المشاركة 16 December 2015 - 07:13 PM

السلام عليكم 

شكراً على المشاركة جزاك الله خيراً 

تم تغيير العنوان للمشاركة كما رغبت أن يكون بشكل ترقيم 


  • احمد الجابري معجب بهذا

#3 احمد الجابري

احمد الجابري

    مشرف سابق وعضو مميز

  • المجموعة الماسية
  • 788 مشاركة
  • الاسم الأول:أحمد
  • اسم العائلة:الجابري
  • البـلـد: Country Flag

تاريخ المشاركة 16 December 2015 - 07:21 PM

السلام عليكم 

شكراً على المشاركة جزاك الله خيراً 

تم تغيير العنوان للمشاركة كما رغبت أن يكون بشكل ترقيم 

اشكرك سيدتي .


إن تستلب مني الدنى ملكي .. و تسلمني الجموعُ

فالقلب بين ضلوعه .. لن تُسلم القلبَ الضلوعُ