Big Data و التوسع ( 3 ) Scale Out & Scale Up

[احمد الجابري]

قبل هادوب Hadoop كان الخيار الوحيد امام مهندسي الانظمة لحل مشكلة تضخم البيانات ان يقوموا بعملية Scale up و تعني ان يقوموا بترقية السيرفر .. زيادة الرامات و زيادة السعة التخزينية .. او يقومون بنقل البيانات الى سيرفر جديد اكثر كفاءة .

و هذا مادفع اوراكل الى انتاج ال Database appliance و اسموه Exadata هو مجموعة اجهزة في حاوية واحدة بقدرات كبيرة .. لكن بقيت البيانات مخزنة في سيرفر واحد .

و هو جهاز بسعر مرتفع قد يصل الى 500 الف دولار .

بعد ظهور Hadoop اصبح بالامكان عمل Scale out و هو بدل ان يقوم بترقية السيرفر فاننا نقوم باضافة سيرفرات جديدة بنفس مواصفات الاول او مختلفة 

و عندها يمكننا ان نرى السعات التخزينية لجميع السيرفرات كانها هاردسك واحد .. ( هادوب )
و يمكن ان نرى مجموع الذواكر memories لجميع السيرفرات كانها ذاكرة واحدة .. ( سبارك )

لكن التعامل مع هذه السعات الضخمة ليس كالتعامل مع ذاكرة الجهاز الواحد فيلزم استخدام ادوات خاصة من قبل المبرمجين حتى يمكن التعامل معها .

هادوب .. يقوم بمهمة توحيد الهاردسك فقط .. لكن سبارك و الذي يعتمد على نظام ملفات هادوب يقوم بعمل هادوب بالاضافة الى توحيد الذواكر .

ساتكلم عن هادوب في المواضيع القادمة.

 

تم تعديل 16 ديسمبر 2015 بواسطة ميسم الكرام

[anas.soft]

سلمت اناملك أ. احمد الجابري