البيانات الضخمة Big Data ما هي وكيف تؤثّر في اتخاذ القرارات
علم تحليل البيانات ببساطة، كيف ساعد ألمانيا في الفوز بكأس العالم، وكيف تبدأ في ذلك المجال
تذكُرُ كيف تعلّمنا في الرياضيات أن نستخرج نمط التسلسل؟ ببساطة عندما ترى التسلسل 2،4،8،16 تستطيع تخمين أن الرقم التالي في السلسلة سيكون 32. علم البيانات الضخمة Data وتحليل البيانات Data Analysis يركّز أساسًا على تجميع أكبر قَدْر من البيانات وترتيبها في بنية سريعة وسهلة الوصول Models، ثم على فهم الأنماط Patterns ومعالجتها على مقياس أكبر باستخدام تقنيات الذكاء الاصطناعي AI مثلًا.
للتمثيل، إذا استطعنا جمع عدد ضخم من المعلومات ذات الصلة بشخص ما، سجلّاته الجامعية، رصيده البنكي، سجلّ التصفّح على الانترنت، سجلّ المشتريات، الأماكن التي يتردّد عليها، طريقة تفاعله على ال social media، أصدقاءه المقرّبون، ومعلومات عن نظامه الصحي والعقليّ؛ عندها سيكون للشخص ملفّ شخصي يوضح نمط تعامله مع الأمور عمليًا ونفسيًا، وستستطيع خوارزميات الذكاء الاصطناعي التنبّؤ -مثلًا- بارتكابه جريمة معينة وتحليل نتائجها قبل الإقدام عليها. بنفس الفكرة يمكن الاستفادة من علم البيانات الضخمة Big Data في تطبيقاتٍ لحظية؛ كحركة المرور والتسوق، وتوقّع الطقس والتطورات الطبية وتطوّر الأمراض. وهنا بعض التطبيقات للفكرة في السنوات الأخيرة:
ألمانيا تحقق كأس العالم بفضل علم البيانات الضخمة
البديل ماريو جوتسة ينزل أرض الملعب في الدقيقة 88 من المباراة النهائية لكأس العالم، ثم يحرز هدف الانتصار بعدها بدقائق قليلة، هل كان فعلًا قرار المدير الفني وحده أم ساعدته بعض التكنولوجيا؟
في تمرينات المنتخب، ارتدى اللاعبون أدوات Adidas miCoach التي لها القدرة على قراءة ضربات القلب، السرعة، القدرة على التحمّل وبعض المهارات وتخزين تلك المعلومات في اللحظة؛ أي أن المدير الفني للمنتخب امتلك ملفًّا شخصيًّا بالأرقام عن كلّ لاعب، مع تحليلات وضّحت أن ماريو جوتسة هو الأنسب لإحداث الفارق في الوضع الظاهر في الدقيقة 88 لينزل إلى أرض الملعب بديلًا عن كلوزة، ومن هنا استطاعت ألمانيا الفوز باللقب. أندية كثيرة أخرى في الدوري الإنجليزي Premier League تستخدم تقنيات مشابهة في تدريباتها حاليًا.
هل سنرى سيارات مقاومة للسرقة؟
عام 2011، طوّر باحثون من طوكيو مقعد سيارة محاط بمستشعرات من كلّ الزوايا، يكون المقعد قادرًا على تجميع البيانات عن جلسة مالك السيارة الحقيقي، كمقدار الضغط على المقعد، أماكن التلامس بالتحديد، وغيرها الكثير من العوامل المؤثرة في تكوين ملفٍّ يصف جلسة مالك السيارة، وبالتالي إن حاول غيره قيادتها يمكن للسيارة أن تتوقف عن العمل أو الإنذار وتبليغ الشرطة.
إعلان
ويحاول الفريق حاليًّا التوصّل إلى اتفاق مع الشركات المصنِّعة للسيارات لتضمين المقعد “الذكي” في السيارات الحديثة للحدّ من عمليات سرقة السيارات.
نظام محاسبة للمواطنين في الصين
20 مليون كاميرة مراقبة تراقب كلّ شارع في الصين، تقوم بمراقبة المواطنين والسيارات وتجميع البيانات عنهم في كلّ دقيقة، تستطيع الكاميرات تخمين سنّ المواطنين والأماكن التي يتردّدون عليها وحتى ذوقهم في اختيار الملابس. وتتعاون الحكومة أيضًا مع كل الشركات التقنية في الصين، تقريبًا، لتبادل بيانات المستخدمين، وبناءً على ذلك العدد الضخم من البيانات الجاري تجميعها، ستبدأ الصين بعد عامين- في 2020- بتطبيق نظامٍ لتحديد مدى صلاح كلّ مواطن على أساس النقاط.
وقرارات مهمة في الترفيه أيضًا!
بعد 6 سنوات من تجميع البيانات وتحليلها بشكل مبدع، استطاعت شركة الإنتاج الأمريكية Netflix الوصول إلى نتيجة مبهرة. مسلسلات نتفليكس تحقق نجاحًا بمعدّل 80% بالمقارنة مع المسلسلات العادية والتي تتراوح نسبة نجاحها بين 30-40%. في مسلسل House of Cards مثلًا، توصلت نتفليكس عن طريق تحليل البيانات إلى أنّ الجمهور المهتمّ بالأعمال السياسية، مُعجب أيضًا بأعمال الممثل كيفين سبيسي والمخرج ديفيد فينشر، بالتالي كانت الخلطة السريّة هي إنتاج مسلسل يجمع الثلاثة عوامل معًا، وبالفعل حقّق المسلسل نسبة مشاهدة ضخمة فور عرضه وحصل على عدة جوائز منها 3 جوائز إيمي.
الفرق بين البيانات الضخمة Big Data ونظام قواعد البيانات RDBMS
على الرّغم من أنّ حجم البيانات ليس الفرق الجوهري، حيث أنّ قواعد البيانات تستطيع التعامل بسهولة مع البيانات الكبيرة (بالجيجابايت)، لكنّ أنظمة البيانات الضخمة مثل Hadoop تعمل بكفاءة أكبر مع البيانات على مقياس التيرابايت والبيتابايت. ومن تلك الفكرة نرى أنّ قواعد البيانات العادية لا يمكنها التواجد أيضًا على أكثر من سيرفر، على عكس أنظمة Big Data والتي هي مصممة خصيصًا للتواجد على شبكات كبيرة من السيرفرات Distributed environment؛ أي أنّها تقوم بتقسيم المعلومة الواحدة إلى عدة أجزاء وبين أكثر من مكان، ولكن عند الحاجة يمكن إعادة تجميعها مرة أخرى لتكوين المعلومة كاملة. بالإضافة إلى أنّ أنظمة Big Data تستطيع التعامل بسهولة مع البيانات غير المهيكلة Unstructured Data، على عكس قواعد البيانات التي تتطلّب أن تكون كل البيانات مهيكلة بشكل جيد Structured Data.
تريد أن تبدأ في مجال تحليل البيانات؟
أشهر نظام مجاني مفتوح المصدر لإدارة البيانات، حاليًا، هو نظام Hadoop، يستخدم hadoop تطبيقًا لإدارة الملفات يسمى HDFS؛ يتيح التحكّم في كلّ البيانات عبر أجهزة مختلفة وبعيدة. ولكتابة برامج تعمل على شبكة بيانات ضخمة يمكنك استخدام أسلوب يسمى MapReduce. وهناك أيضًا (HQL (Hive query language وهي لغة تحاول محاكاة SQL ولكن على مستوى Hadoop. بالإضافة إلى حاجتك إلى معرفة جيّدة مسبَقة بعلم الإحصاء والبرمجة.
في حال أردتَ التعمق في ذلك المجال، أودّ أن ألفت النظر إلى أهم وجهتين لدراسة تحليل البيانات حاليًا.
- مبادرة المليون مبرمج عربي – Udacity
https://ae.udacity.com/one-million-arab-coders/ - موقع Coursera يقدّم سلسلة من الدورات في مجال البيانات الضخمة باللغة الإنجليزية
https://www.coursera.org/specializations/big-data
في المستقبل القريب، سيتغير مفهومنا عن التكنولوجيا عن طريق تقنيات يستحدثها علم هندسة الحاسب كل يوم، مثل IoT، Blockchain، Cloud، Artifitial Intelligence بجانب Big Data و Data Analysis. في رأيك هل ستقدّم تلك التقنيات أدوات أكثر تطورًا وحياة أسهل كما هو مخطَّط لها؟ أم أنها ستشكل خطرًا على البشرية؟
إعلان
