مثبت اريد معرفه معانى بعض المصطلحات الهامة في الداتابيز

[Muslim82]

الإخوة الأعزاء السلام عليكم ورحمة الله وبركاته

أنا طالب بالفرقة النهائية باحدي كليات الحاسبات والمعلومات بمصر وأستعد الآن لعمل مشروع التخرج الذي أحتاج فيه إلي بناء داتابيز متكاملة .. وقد مررت أثناء دراستي ببعض المصطلحات التي تتعلق ببناء قواعد البيانات مثل : data warehouse , data mining , olap وللأسف ان هذه المصطلحات مازالت غامضه بالنسبة لي فمثلا ما اعرفه عن ال warehouse هو انه مجموعة من الداتبيز في داتابيز واحدة وفي الغالب فهي تعمل علي شبكة داخلية والهدف منها هو تسهيل عملية ترتيب وتحليل الداتا...
وال data mining هي داله او استعلام يعمل علي الداتابيز وتقوم باستخراج نتائج من خلال الداتا..
اما ال olap فهو بديل عن ال data warehouse مع تحسينات في سرعة الاستعلام واداء الداتابيز
ولكني غير متأكد من صحة معلوماتي وفي نفس الوقت لا أعلم كيف أستخدمها بشكل عملي . مثلا انا اسمع عن ال ال oracle olap او ال oracle data mining ولكني لا أعرف هل هي tool معينه ام كود ام ماذا . لذلك أرجو من الإخوة الخبراء في المنتدي أن يشرحوا لي معني هذه المصطلحات وكيفية استخدامها بشكل مفصل ولكم مني جزيل الشكر والسلام عليكم ورحمة الله وبركاته..

أخوكم أحمد

[seif2000]

الاخ/احمد
السلام عليكم ورحمة الله وبركاتة
ان موضوع datawarehoue-OLTP-OLAP تعتبر من المواضيع المتقدمة فى عالم ارواكل حيث توجد لها كتب خاصة بها ولكن لكى ابسط عليك الامور فأن
Data warehouse فهو عبارة عن مجموعة من قواعد البيانات العلائقية والمرتبطة معا وتكون مصصمة لاغراض الاستعلام والتحليل queries&analysis وليس لاغراض معالجة العمليات التشغيلية transaction processing وتحتوى قواعد البيانات على بيانات تاريخية والناتجة عن عمليات التشغيل الدوريه بالاضافة الى تجميع البيانات من مصادر اخرى مختلفة
OLAP فهو عبارة عن engine يمكن استخدامة من داخل Data Warehouse suit مباشرة او استخدامة منفردا وهذه الاداة تقوم بالعمليات التحليلية لقواعد البيانات متعددة الابعاد
OLTP فهو النظام الذى تقوم من خلاله بتنفيذ مايسمى بالعمليات سابقة التعريف predefined operations ولابد للتطبيق الذى سوف يعمل معه هذا النظام يكون معد ومصمم بشكل خاص لقبول هذه العمليات ولزيادة الايضاح ارجو ان تقرأ السطور الاتية لعلها تكون مفيدة لك وهى من احد كتب اوراكل ودعائى لك بالتوفيق والنجاح
Data Warehousing Overview
A data warehouse is a relational database designed for query and analysis rather
than for transaction processing. It usually contains historical data derived from
transaction data, but it can include data from other sources. It separates analysis
workload from transaction workload and enables an organization to consolidate
data from several sources.

In addition to a relational database, a data warehouse environment includes an
extraction, transportation, transformation, and loading (ETL) solution, an online
analytical processing (OLAP) engine, client analysis tools, and other applications
that manage the process of gathering data and delivering it to business users.
Differences Between Data Warehouse and OLTP Systems
Data warehouses and OLTP systems have very different requirements. Here are
some examples of differences between typical data warehouses and OLTP systems:
Workload
Data warehouses are designed to accommodate ad hoc queries. You might not
know the workload of your data warehouse in advance, so a data warehouse
should be optimized to perform well for a wide variety of possible query
operations.
OLTP systems support only predefined operations. Your applications might be
specifically tuned or designed to support only these operations.
Data Modifications
A data warehouse is updated on a regular basis by the ETL process (run nightly or
weekly) using bulk data modification techniques. The end users of a data
warehouse do not directly update the data warehouse.
In OLTP systems, end users routinely issue individual data modification statements
to the database. The OLTP database is always up to date, and reflects the current
state of each business transaction.
Schema Design
Data warehouses often use denormalized or partially denormalized schemas (such
as a star schema) to optimize query performance.
OLTP systems often use fully normalized schemas to optimize
update/insert/delete performance, and to guarantee data consistency.
Typical Operations
A typical data warehouse query scans thousands or millions of rows.For example,
"Find the total sales for all customers last month."
A typical OLTP operation accesses only a handful of records. For example,
"Retrieve the current order for this customer."
Historical Data
Data warehouses usually store many months or years of data. This is to support
historical analysis.
OLTP systems usually store data from only a few weeks or months. The OLTP
system stores only historical data as needed to successfully meet the requirements
of the current transaction.

OLAP Overview
Oracle integrates Online Analytical Processing (OLAP) into the database to support
business intelligence. This integration provides the power of a multidimensional
database while retaining the manageability, scalability, and reliability of the Oracle
database and the accessibility of SQL.

The relational management system and Oracle OLAP provide complementary
functionality to support a full range of reporting and analytic applications.
Applications developers can choose to use SQL OLAP functions for standard and
ad-hoc reporting. When additional analytic functionality is needed, Oracle OLAP
can be used to provide capabilities such as multidimensional calculations,
forecasting, modeling, and what-if scenarios. These calculations enable developers
to build sophisticated analytic and planning applications such as sales and
marketing analysis, enterprise budgeting and financial analysis, and demand
planning systems.
Data can be stored in either relational tables or multidimensional objects, whichever
is more suitable in terms of performance and resources. Regardless of where the
data is stored, it can be manipulated in the OLAP engine using either Java or SQL.
There is no need for data replication between relational and multidimensional data
sources.
Oracle OLAP consists of the following components:
_
Calculation engine that is optimized for rapid calculations
_
Analytic workspace that stores multidimensional data on either a temporary or
persistent basis
_
OLAP data manipulation language for performing mathematical, statistical,
modeling, and other transformations on multidimensional data
_
A SQL interface to Oracle OLAP that makes multidimensional data available to
SQL
_
OLAP API for developing Java applications for business intelligence
_
OLAP metadata repository that defines multidimensional data to the OLAP
API

[Muslim82]

جزاك الله خيرا أخ سيف وزادك علما وخبرة . من خلال هذا الشرح فهمت أن ال data warehouse تستخدم مع تراكم البيانات بشكل كبير وفي هذه الحاله يمكنها استيعاب اكثر من قاعدة بيانات واكثر من مصدر للداتا ومن خلالها يمكن الحصول علي تحليل لآداء النظام عبر السنوات الماضيه علي سبيل المثال . ولكنها ليست قاعدة بيانات تصلح للإستخدام اليومي . اما ال olap فهو ال tool المستخدمه في عملية التحليل داخل ال data warehouse . ولكنك يا اخي ذكرت انه من الممكن استخدام ال olap كآداة تحليل بشكل منفرد . فهل معني ذلك أنه من الممكن أن يقوم بتحليل البيانات او السجلات التي تضاف بشكل يومي إلي اي داتابيز عادية ؟ كما أن هناك نقطة آخري كنت أتمني لو توضحها لي وهي معني واستخدامات وآدوات ال data mining وشكرا جزيلا لك .

اخوك أحمد

[ENG_ORA_DEVS]

ان كل من data mining , data warehousing , OLAP
هي ادوات تستخدم بشكل خاص بهدف decision support
وهذه الادوات جميعا تستخدم لاستخلاص تقارير تقوم على التحليل وتختلف عن النظم العادية بأن الناتج النعائي للاستعلامات في هذه النظم يكون غير معروف مقدما وهذا بعكس OLTP والذي يعمل مع operational DAta base
ايضا data warehousing تستخدم بشكل خاص من اجل عمل archeiving للبياناتcontains historical data
بالنسبة لـ data mining وترجمته الحرفية هي التنقيب عن البيانات وهو يعني استخلاص معلومات مفيدة من قاعدة بيانات تحتوي على كم ضخم من البيانات

ويرتبد علم Data mining ب data ware house and data marts

مرفق ملف يحتوي على معلومات فيها شيئ من التفصيل عن data mining

data_mining_proposal.doc

Data_mining_application_areas.doc

تم تعديل 28 مارس 2006 بواسطة sahar_fawzy

[ENG_ORA_DEVS]

http://www.araboug.org/ib/index.php?showtopic=9311&hl=

تم تعديل 28 مارس 2006 بواسطة sahar_fawzy

[m_almarei]

جزاكم الله خيرا جعله في ميزان اعمالكم

[seif2000]

اخى الكريم/احمد
السلام عليكم ورحمة الله وبركاتة
لا شكر على واجب لاننا كلنا اسرة واحدة فى هذا المنتدى الرائع يساعد بعضنا البعض وارجوا ان تكون الصورة اكتملت لديك وبالاخص بعد المشاركة الرائعه من الاخت الكريمة جزاها الله كل خير ووفقها الى مافية رضاه عنها امين يارب العالمين
وان تكون هذه المعلومات مفيدة لكل رواد هذا المنتدى وجزاكم الله خيرا جميعا وربنا يوفقك فى دراستك وبالنجاح والتفوق لك يااخ احمد ولكل اعزائنا الطلبة فى كل المجالات
سيف

[Muslim82]

جزاك الله خيرا يا اخت سحر . ان مشاركتك القيمة افادتني كثيرا واعتقد ان الصورة الآن صارت واضحة تماما بالنسبه لي ولكن احب ان اذكر السبب في بحثي في هذه المرحلة المتقدمة من بناء قواعد البيانات. كما ذكرت في البدايه انني احاول ان اقوم ببناء داتابيز متكاملة في مشروع التخرج الخاص بي وقد تخيلت داتابيز لشركة هاردوير تستورد اجهزة من الخارج ولها فروع داخل الدوله ولها موزعين ومراكز صيانة وبالطبع هيكل وظيفي واتصالات بالشركات في الخارج وادارة حسابات وادارة تسويق ودعاية ومخازن الخ . وتمنيت لو تشمل الداتابيز جميع التفاصيل التي يمكن ان تكون موجوده في شركة كبري تعمل في هذا المجال وهذا يعني وجود الكثير جدا من الداتا وايضا يعني وجود الكثير من المعلومات التي يمكن ان تصل اليها ادارة مثل هذه الشركة . علي سبيل المثال : ان يرتبط حجم المبيعات بجغرافية المكان وبتغير الحالة المعيشيه للمستهلكين وايضا من المعلومات الوارده من مراكز الصيانه يمكن تحديد جودة القطع المستورده من الخارج واستبعاد بعض الشركات وزيادة حجم الاستيراد من شركات اخري وهكذا . بالطبع فانني لن ارقي لمستوي شركة حقيقيه في تنفيذ النظام الخاص بها ولكني احاول ان اصل الي داتابيز علي مستوي جيد ولذلك فكرت في تلك المصطلحات كوسيلة لعمل مثل هذه الاستنتاجات والتحليلات داخل الداتابيز . وبعد ما قرأته من مشاركتك انت والاخ سيف اعتقد ان افضل وسيلة هي ال OLTP حيث انه يمكنها ان تتعامل مع operational or transaction database وفي الفترة القادمة باذن الله سابدأ البحث عن كتب تتحدث عن استخدام هذه التقنيه بشكل عملي سواء داخل الاوراكل او ال SQL Server . واسألكم المشورة . هل توجد اي كتب او ترجمات عربيه لشرح هذه التقنيه عمليا ؟ واذا لم يوجد فما هي افضل الكتب الانجليزيه في شرح ال OLTP . وشكرا جزيلا

[ENG_ORA_DEVS]

موضوع OLTP بعض الملفات

USING_OLTP_4_DSS.pdf

PRO_SQL_SERVER_DESIGN.pdf

تم تعديل 28 مارس 2006 بواسطة sahar_fawzy

[ENG_ORA_DEVS]

زكاة العلم تبليغه

IDS10vsOracle10g.pdf

OLTP_USING_DATAWAREHOUSE.pdf

OLTP.pdf

تم تعديل 28 مارس 2006 بواسطة sahar_fawzy

[Muslim82]

بارك الله فيكي اخت sahar ولا استطيع ان اوفيكي حقك . ولكن بعد تنزيل الملفات لاحظت ان اثنان منها فقط فيها شرح نظري لموضوع ال OLTP اما الباقي فهي عبارة عن فهرس كتب تتحدث عن هذا الموضوع . لقد حاولت ان ابحث عن كتب الكترونيه علي برنامج تبادل الملفات e-mule ولكن للأسف لم أجد . ارجوا لمن يعلم اي موقع يحتوي علي كتب تقوم بشرح هذا الموضوع عمليا ان يسعفني بها وشكرا جزيلا

تم تعديل 19 يناير 2006 بواسطة Muslim82

[seif2000]

الاخ/ احمد
السلام عليكم ورحمة الله وبركاته
ان مشروعك كما شرحته يحتاج فقط الى استخدام Development tools(forms,repots) مع استخدام الfunctons,procedures,triggers وايضا اعداد جيد للdatabase والعلاقات القائمة بينها ويمكن لهذا المشروع ان يعمل على جهاز واحد او على شبكة داخلية او حتى تنقيذه على intranet وهى الشبكة الخاصة بهذه الشركة او المؤسسة
وذلك لان الانظمة القائمة على استخدام OLTP هى من نوعية التطبيقات التفاعلية والتى تعتمد على قواعد يبيانات ضخمة تكون اما مركزية centerliezd او موزعة distributed ويكون
اداء العمليات transaction processing(insert-update-delete-quires) بشكل تفاعلى اولحظى مثل e-banking/e-commerce/e-trading وفى معظم (وليس فى كل) الحالات تكون هذه التطبيقات مرتبطة بما يسمى intelligent devices مثل انظمة الصرف الالى فى البنوك
وسوف اضرب لك مثلا لزيادة الايضاح
نفترض انك تملك حساب فى البنك برصيد 500 جنيه ثم قمت من خلال احدى ماكينات الصرف الالى بسحب مبلغ 100 جنية فأن هذه العملية سوف تتم على ثلاث مراحل
1- التأكد من ان رصيدك يسمح لك بسحب هذا المبلغ
2-فى حالة ان الرصيد يسمح يتم القيام بعملية السحب وتسجيل هذه الحركة فى table الخاص بها
3-تعديل ال table الخاص بالرصيد ليصبح الرصيد 500-100=400
وهذه العملية البسيطة تتم بشكل تفاعلى ولحظى
تخيل كم المتعاملين مع هذا البنك منهم من يسحب ومنهم من يودع ومهم من يستعلم عن رصيده ....الخ
هذا هو مفهوم OLTP الذى يقوم اداء العمليات تفاعليا ولحظيا
لذلك كما قلت لك سابقا لابد وان تكون التطبيقات القائمة على OLTP ان تكون مصممة طبقا لتقنية هذه الاداة لذلك اذا اردت التبحر اكثر فى OLTP فارجوا قراءة المواد العلمية المقدمة من الاخت الفاضلة سحر لان بها معلومات ممتازة جدا جدا جزاها الله كل خير
والخلاصة ان مشروعك ليس فى حاجة للعمليات التفاعلية واللحظية بل يمكن انجازه بادوات التطوير العادية
ارجوا ان اكون قد وفقت فى شرح الموضوع بشكل جيد فاذا كنت اصبت فهو بفضل الله سبحانه وتعالى واذا كنت اخفقت فأسئلكم الدعاء ان يعيذ نا الله جميعا من الشيطان الرجيم ويوفقنا الى مافيه رضاه عنا امين يارب العالمين
سيف

[haitham_ezzt]

الأخت سحس فوزي

جزاكم الله خيرا على هذا الكم من المعلومات

[Mrsnona]

جزاكم الله خيرا