0:04 هل يمكنك تخمين تكلفة البيانات غير الدقيقة أو الرديئة على الشركات سنويًا؟ آلاف الدولارات، ملايين، مليارات. وفقًا لشركة IBM، تبلغ التكلفة السنوية للبيانات الرديئة 3.1 تريليون دولار في الولايات المتحدة وحدها. هذا رقم هائل! هل يمكنك تخمين السبب الرئيسي لضعف جودة البيانات؟ ليس تطبيق نظام جديد أو خلل تقني في الحاسوب، بل الخطأ البشري هو العامل الأكثر شيوعًا. إليك جدول بيانات من مكتب محاماة، يوضح للعملاء الخدمات القانونية التي اشتروها، ورقم طلب الخدمة، والمبلغ المدفوع،
0:50 وطريقة الدفع. قد تنتج البيانات غير الدقيقة عن إدخال بيانات بشكل خاطئ، أو تنسيق غير متناسق، أو حقول فارغة، أو إدخال نفس البيانات أكثر من مرة، مما يؤدي إلى تكرارها. البيانات غير الدقيقة هي بيانات غير مكتملة، أو غير صحيحة، أو غير ذات صلة بالمشكلة التي تحاول حلها. عند التعامل مع البيانات غير الدقيقة، لا يمكنك التأكد من صحة النتائج، بل يمكنك التأكد منها إلى حد كبير، لكنها لن تكون دقيقة. لقد تعلمت سابقًا أن سلامة البيانات أمر بالغ الأهمية للحصول على نتائج تحليل بيانات موثوقة، وتساعدك
1:36 البيانات النظيفة على تحقيق سلامة البيانات. البيانات النظيفة هي بيانات كاملة. عندما تعمل ببيانات نظيفة، ستجد أن مشاريعك تسير بسلاسة أكبر، فهي صحيحة وذات صلة بالمشكلة التي تحاول حلها. أتذكر أول مرة رأيت فيها بنفسي مدى أهمية البيانات النظيفة، كنت قد بدأت للتو في استخدام SQL، واعتقدت أنها تعمل كالسحر، حيث يمكنني جعل الكمبيوتر يجمع ملايين الأرقام، مما يوفر لي الكثير من الوقت والجهد. لكن سرعان ما اكتشفت أن هذا لا يعمل إلا عندما تكون البيانات نظيفة. إذا كان هناك حرف واحد بالخطأ في عمود من المفترض أن يحتوي على أرقام فقط، فلن يعرف الكمبيوتر ماذا يفعل، وسيُظهر خطأً، وفجأة أجد نفسي عالقًا، ولا يمكنني جمع ملايين الأرقام بنفسي،
2:22 لذلك كان عليّ تنظيف تلك البيانات لجعلها تعمل. الخبر السار هو أن هناك الكثير من العمليات والأدوات الفعالة لمساعدتك في ذلك. ستكتسب المهارات والمعرفة التي تحتاجها للتأكد من أن البيانات التي تعمل بها نظيفة دائمًا. سنتعمق في الفرق بين البيانات النظيفة والبيانات غير النظيفة، ولماذا تُعد البيانات النظيفة مهمة للغاية. سنتحدث أيضًا عن طرق مختلفة لتنظيف بياناتك، والمشاكل الشائعة التي يجب البحث عنها أثناء العملية. هل أنت مستعد للبدء؟ هيا بنا! [موسيقى] تُعدّ البيانات النظيفة بالغة الأهمية لإجراء تحليل فعّال. فإذا أُدخلت البيانات في جداول البيانات أو قواعد البيانات بشكل خاطئ، أو إذا تكررت، أو إذا تُرك حقل فارغًا،
3:09 أو إذا كانت تنسيقات البيانات غير متناسقة، فإن النتيجة هي بيانات غير نظيفة. قد تؤدي الأخطاء الصغيرة إلى عواقب وخيمة على المدى البعيد. سأكون صريحًا معك تمامًا، تنظيف البيانات يشبه تنظيف الأسنان بالفرشاة، فهو أمرٌ يجب عليك القيام به على أكمل وجه، وإلا فقد يُسبب مشاكل خطيرة للأسنان، مثل التسوس أو أمراض اللثة، وللبيانات التي قد تُكلّف شركتك أموالًا أو تُثير غضب مديرك. لكن إليك الخبر السار: إذا واظبت على تنظيف أسنانك مرتين يوميًا، فستصبح عادة، ولن تحتاج حتى إلى التفكير فيها. وينطبق الأمر نفسه على البيانات، صدّقني، سيُظهرك ذلك بمظهرٍ رائع عندما تُخصّص وقتًا لتنظيف تلك البيانات غير النظيفة. للتذكير السريع،
3:55 البيانات غير النظيفة هي بيانات ناقصة أو غير صحيحة أو غير ذات صلة بالمشكلة التي تحاول حلّها، ولا يُمكن استخدامها بطريقة مُجدية، مما يجعل التحليل صعبًا للغاية، إن لم يكن مستحيلًا. من ناحية أخرى، البيانات النظيفة هي بيانات كاملة وصحيحة وذات صلة بالمشكلة التي تحاول حلّها. يُمكّنك حل هذه المشكلة من فهم المعلومات وتحليلها، وتحديد الأنماط المهمة، وربط المعلومات ذات الصلة، واستخلاص استنتاجات مفيدة. بعد ذلك، يمكنك تطبيق ما تعلمته لاتخاذ قرارات فعّالة. في بعض الحالات، لن تحتاج إلى بذل الكثير من الجهد لتنظيف البيانات. على سبيل المثال، عند استخدام بيانات داخلية تم التحقق منها وصيانتها من قِبل مهندسي البيانات وفريق مستودع البيانات في شركتك، فمن
4:41 المرجح أن تكون نظيفة. دعونا نتحدث عن بعض الأشخاص الذين ستعمل معهم كمحلل بيانات. يقوم مهندسو البيانات بتحويل البيانات إلى تنسيق مفيد للتحليل، ويوفرون لها بنية تحتية موثوقة. هذا يعني أنهم يطورون قواعد البيانات ومعالجات البيانات والأنظمة ذات الصلة، ويحافظون عليها ويختبرونها. أما متخصصو مستودعات البيانات، فيطورون العمليات والإجراءات لتخزين البيانات وتنظيمها بشكل فعّال. كما يحرصون على أن تكون البيانات متاحة وآمنة ومُؤمّنة لمنع فقدانها. عندما تصبح محلل بيانات، يمكنك تعلم الكثير من خلال العمل مع الشخص الذي يُدير قواعد البيانات الخاصة بك للتعرف على أنظمته. إذا مرت البيانات عبر
5:27 مهندس بيانات أو متخصص في مستودعات البيانات، فأنت تعلم أنك بدأت بداية جيدة في مشروعك. هناك العديد من الفرص الوظيفية الرائعة كمهندس بيانات أو متخصص في مستودعات البيانات. قد يبدو هذا النوع من العمل مثيرًا للاهتمام بالنسبة لك، وربما يتضمن مسارك المهني مساعدة المؤسسات على توفير الكثير من الوقت والجهد والمال من خلال ضمان دقة بياناتها ونظافتها. ولكن حتى لو اخترت مسارًا مختلفًا في مسيرتك المهنية في تحليل البيانات، وتمتعت بميزة العمل مع مهندسي البيانات ومتخصصي مستودعات البيانات، فمن المرجح أن تظل بحاجة إلى تنظيف بياناتك بنفسك. من المهم أن تتذكر أنه لا توجد مجموعة بيانات مثالية، ومن الأفضل دائمًا فحص البيانات وتنظيفها قبل البدء في التحليل. إليك مثال: لنفترض أنك تعمل على مشروع
6:12 تحتاج فيه إلى معرفة عدد الأشخاص الذين يستخدمون برنامج شركتك. لديك جدول بيانات تم إنشاؤه داخليًا وتم التحقق منه بواسطة مهندس بيانات ومتخصص في مستودعات البيانات. انظر إلى العمود المسمى "اسم المستخدم". قد يبدو من المنطقي الآن أنه يمكنك ببساطة التمرير لأسفل وحساب الصفوف لمعرفة عدد المستخدمين لديك، لكن هذا لن ينجح لأن الشخص الواحد قد يكون لديه أكثر من اسم مستخدم واحد، ربما سجل من عناوين بريد إلكتروني مختلفة، أو ربما لديه حساب عمل وحساب شخصي. في مثل هذه الحالات، ستحتاج إلى تنظيف البيانات عن طريق حذف أي صفوف غير صحيحة.
7:03 بعد إزالة البيانات المكررة، لن يكون هناك أي إدخالات مكررة أخرى، وبذلك يصبح جدول البيانات جاهزًا للاستخدام. حسنًا، لقد ناقشنا حتى الآن العمل مع البيانات الداخلية، ولكن تنظيف البيانات يصبح أكثر أهمية عند العمل مع البيانات الخارجية، خاصةً إذا كانت من مصادر متعددة. لنفترض أن شركة البرمجيات في مثالنا أجرت استطلاعًا لعملائها لمعرفة مدى رضاهم عن منتجها البرمجي، ولكن عند مراجعة بيانات الاستطلاع، ستجد العديد من القيم الفارغة (null). تشير القيمة الفارغة إلى عدم وجود قيمة في مجموعة البيانات. لاحظ أنها ليست نفسها الصفر. في حالة استطلاعنا، تعني القيمة الفارغة أن العميل تخطى هذا السؤال، بينما
7:50 يعني الصفر أنه قدم صفرًا كإجابة. لإجراء التحليل، ستحتاج أولًا إلى تنظيف هذه البيانات. الخطوة الأولى هي تحديد ما يجب فعله بهذه القيم الفارغة. يمكنك إما تصفيتها والإشارة إلى أن لديك الآن حجم عينة أصغر، أو يمكنك الاحتفاظ بها والتعلم من حقيقة أن العملاء لم يقدموا إجابات. هناك العديد من الأسباب التي قد تؤدي إلى ذلك، ربما لم تكن أسئلة الاستطلاع مكتوبة بشكل جيد، أو ربما كانت... مربك أو متحيز، وهو أمر تعلمناه سابقًا. حسنًا، لقد تطرقنا إلى أساسيات تنظيف البيانات الداخلية والخارجية، ولكن هناك المزيد في الطريق. سنتعرف قريبًا على الأخطاء الشائعة التي يجب الانتباه إليها لضمان اكتمال بياناتك وصحتها وملاءمتها. نراكم قريبًا.
8:42 في هذا الفيديو، سنركز على المشكلات الشائعة المرتبطة بالبيانات غير النظيفة. تشمل هذه المشكلات الأخطاء الإملائية وأخطاء النصوص الأخرى، وعدم اتساق تنسيقات التسميات وطول الحقول، والبيانات المفقودة والمكررة. سيساعدك هذا على التعرف على المشكلات بشكل أسرع، وسيوفر لك المعلومات التي تحتاجها لإصلاحها عندما تواجه شيئًا مشابهًا أثناء تحليلك. هذا أمر بالغ الأهمية في تحليل البيانات. حسنًا، دعونا نعود إلى جدول بيانات مكتب المحاماة الخاص بنا. كمراجعة سريعة، سنبدأ بالتحقق من الأنواع المختلفة للبيانات غير النظيفة. يوضح الجدول أنه في بعض الأحيان قد يُدخل شخص ما جزءًا من البيانات بشكل غير صحيح، وفي أحيان أخرى قد لا يحافظ على اتساق تنسيقات البيانات. من
9:27 الشائع أيضًا ترك حقل فارغًا، وهو ما يسمى أيضًا بـ "null"، والذي تعلمناه سابقًا. وإذا أضاف شخص ما نفس جزء البيانات أكثر من مرة، فسيتم إنشاء نسخة مكررة. لذا دعونا نحلل ذلك، ثم سنتعرف على بعض المشكلات الأخرى. أنواع البيانات غير النظيفة واستراتيجيات تنظيفها: الأخطاء الإملائية، والاختلافات الإملائية، والحروف المختلطة، وعلامات الترقيم غير المتناسقة، والأخطاء المطبعية. تحدث هذه الأخطاء عمومًا عندما يُدخل شخص ما بيانات بشكل غير صحيح. بصفتك محلل بيانات، ستتعامل أيضًا مع عملات مختلفة؛ على سبيل المثال، قد تكون إحدى مجموعات البيانات بالدولار الأمريكي والأخرى باليورو، ولا تريد الخلط بينهما.
10:15 نريد العثور على هذه الأنواع من الأخطاء وتصحيحها. ستتعلم المزيد عن هذا قريبًا. تعتمد البيانات النظيفة بشكل كبير على قواعد سلامة البيانات التي تتبعها المؤسسة، مثل إرشادات الإملاء وعلامات الترقيم. على سبيل المثال، قد تطلب شركة مشروبات من جميع العاملين في قاعدة بياناتها إدخال بيانات الحجم بالأونصات السائلة بدلًا من الأكواب. من الرائع أن يكون لدى المؤسسة قواعد كهذه، فهي تساعد حقًا في تقليل كمية تنظيف البيانات المطلوبة، ولكن لا يمكنها القضاء عليها تمامًا. كما ناقشنا سابقًا، هناك دائمًا احتمال الخطأ البشري. النوع التالي من البيانات غير النظيفة الذي يُظهره جدول البيانات لدينا هو التنسيق غير المتناسق.
11:03 في هذا المثال، يتم عرض شيء يجب تنسيقه كعملة كنسبة مئوية حتى يتم تصحيح هذا الخطأ. على سبيل المثال، لن يكون لدى مكتب المحاماة أي فكرة عن مقدار المال. دفع هذا العميل مقابل خدماته. سنتعرف قريبًا على طرق مختلفة لحل هذه المشكلة والعديد من المشاكل الأخرى. ناقشنا القيم الفارغة سابقًا، ولكن للتذكير، القيم الفارغة هي حقول فارغة. يتطلب هذا النوع من البيانات غير الدقيقة جهدًا أكبر من مجرد تصحيح خطأ إملائي أو تغيير تنسيق. في هذا المثال، سيحتاج محللو البيانات إلى البحث عن العميل الذي أجرى استشارة في 4 يوليو 2020.
11:51 وعندما يعثرون على المعلومات الصحيحة، سيتعين عليهم إضافتها إلى جدول البيانات. نوع آخر شائع من البيانات غير الدقيقة هو البيانات المكررة. ربما أضاف شخصان مختلفان هذا الموعد في 13 أغسطس دون أن يدركا أن شخصًا آخر قد أضافه بالفعل، أو ربما ضغط الشخص الذي أدخل البيانات على زر النسخ واللصق عن طريق الخطأ. مهما كان السبب، فإن مهمة محلل البيانات هي تحديد هذا الخطأ وتصحيحه عن طريق حذف أحد النسخ المكررة. حسنًا، لننتقل الآن إلى بعض أنواع البيانات غير الدقيقة الأخرى. يتعلق النوع الأول بالتصنيف.
12:38 لفهم التصنيف، تخيل محاولة جعل جهاز كمبيوتر يتعرف بشكل صحيح على دببة الباندا من بين صور لأنواع مختلفة من الحيوانات. ستحتاج إلى عرض آلاف الصور لدببة الباندا على الكمبيوتر. أي صورة تحمل اسمًا خاطئًا، مثل هذه الصورة التي تظهر فيها عارية، ستسبب مشكلة. النوع التالي من البيانات غير النظيفة هو وجود حقول ذات أطوال غير متناسقة. لقد تعلمت سابقًا أن الحقل هو معلومة واحدة من صف أو عمود في جدول بيانات. طول الحقل هو أداة لتحديد عدد الأحرف التي يمكن إدخالها في حقل معين. يُعدّ تحديد طول معين للحقول في جدول البيانات طريقة رائعة لتجنب الأخطاء. على سبيل المثال، إذا كان لديك عمود لسنة ميلاد شخص ما،
13:24 فأنت تعلم أن طول الحقل هو 4 لأن جميع السنوات تتكون من 4 أرقام. توفر بعض تطبيقات جداول البيانات طريقة بسيطة لتحديد أطوال الحقول والتأكد من أن المستخدمين لا يمكنهم إدخال سوى عدد معين من الأحرف في الحقل. هذا جزء من التحقق من صحة البيانات. التحقق من صحة البيانات هو أداة للتحقق من دقة وجودة البيانات قبل إضافتها أو استيرادها. التحقق من صحة البيانات هو شكل من أشكال تنظيف البيانات، والذي ستتعلم المزيد عنه قريبًا، ولكن أولًا ستتعرف على المزيد من تقنيات تنظيف البيانات. هذا جزء مهم جدًا من وظيفة محلل البيانات، وأتطلع إلى مشاركة استراتيجيات تنظيف البيانات هذه معك الآن بعد أن أصبحت على دراية بها. مع وجود بعض
14:10 أنواع البيانات غير النظيفة الأكثر شيوعًا، فقد حان الوقت لتنظيفها. كما تعلم، البيانات النظيفة ضرورية لسلامة البيانات وللحصول على حلول وقرارات موثوقة. والخبر السار هو أن جداول البيانات تحتوي على جميع أنواع الأدوات التي يمكنك استخدامها لتجهيز بياناتك للتحليل. ستختلف تقنيات تنظيف البيانات اعتمادًا على مجموعة البيانات المحددة التي تعمل عليها، لذلك لن نغطي كل ما قد تصادفه، ولكن هذا سيوفر لك نقطة انطلاق رائعة لإصلاح أنواع البيانات غير النظيفة التي يجدها المحللون في أغلب الأحيان. اعتبر كل ما سيأتي بمثابة عرض تشويقي لأدوات تنظيف البيانات. سأقدم لك نظرة عامة أساسية على بعض الأدوات والتقنيات الشائعة، ثم سنتدرب عليها مرة أخرى لاحقًا. هنا سنناقش كيفية إزالة
14:56 البيانات غير المرغوب فيها، وتنظيف النص لإزالة المسافات الزائدة والفراغات، وتصحيح الأخطاء الإملائية، وجعل التنسيق متسقًا. ومع ذلك، قبل إزالة البيانات غير المرغوب فيها، من الممارسات الجيدة دائمًا إنشاء نسخة من مجموعة البيانات. بهذه الطريقة، إذا قمت بإزالة شيء ما ستحتاج إليه في المستقبل، يمكنك الوصول إليه بسهولة وإعادته إلى مجموعة البيانات. بمجرد الانتهاء من ذلك، يمكنك الانتقال إلى التخلص من البيانات غير المرغوب فيها. البيانات المكررة أو غير ذات الصلة بالمشكلة التي تحاول حلها، تظهر عادةً عند دمج مجموعات بيانات من أكثر من مصدر أو استخدام بيانات من أقسام متعددة داخل نفس الشركة. لقد تعلمتَ بالفعل القليل عن البيانات المكررة، ولكن دعنا نتدرب على إزالتها
15:41 مرة أخرى باستخدام جدول البيانات هذا الذي يسرد أعضاء جمعية لوجستية مهنية. يمكن أن تشكل البيانات المكررة مشكلة كبيرة لمحللي البيانات، لذا من المهم جدًا أن تتمكن من العثور عليها وإزالتها قبل بدء أي تحليل. إليك مثال على ما أتحدث عنه: لنفترض أن هذه الجمعية لديها بيانات مكررة لعضوية شخص واحد بقيمة 500 دولار في قاعدة بياناتها. عند تلخيص البيانات، سيعتقد المحلل أن هذا العضو قد دفع ألف دولار، وسيتخذ قرارات بناءً على هذه البيانات الخاطئة، ولكن في الواقع، دفع هذا العضو 500 دولار فقط.
16:28 يمكن إصلاح هذه المشكلات يدويًا، ولكن معظم تطبيقات جداول البيانات توفر أيضًا العديد من الأدوات لمساعدتك في العثور على البيانات المكررة وإزالتها. الآن، يجب أيضًا إزالة البيانات غير ذات الصلة، وهي البيانات التي لا تتناسب مع المشكلة المحددة التي تحاول حلها. بالعودة إلى مثال قائمة عضوية الجمعية، لنفترض أن محلل بيانات يعمل على مشروع يركز فقط على الأعضاء الحاليين، فلن يرغب في تضمين معلومات عن الأشخاص الذين لم يعودوا أعضاءً أو الذين لم ينضموا أصلًا.
17:18 يتطلب حذف البيانات غير ذات الصلة مزيدًا من الوقت والجهد لأنه عليك تحديد الفرق بين البيانات التي تحتاجها والبيانات التي لا تحتاجها، ولكن صدقني، اتخاذ هذه القرارات سيوفر عليك الكثير من الجهد لاحقًا. الخطوة التالية هي إزالة المسافات الزائدة والفراغات. يمكن أن تتسبب المسافات الزائدة في نتائج غير متوقعة عند فرز البيانات أو تصفيتها أو البحث فيها، ولأن هذه الأحرف يسهل تفويتها، فقد تؤدي إلى نتائج غير متوقعة ومربكة. على سبيل المثال، إذا كانت هناك مسافة زائدة في رقم هوية العضو، فعند فرز العمود من الأدنى إلى الأعلى، لن يكون من المناسب
18:03 إزالة هذه المسافات أو الخلايا الفارغة غير المرغوب فيها. يمكنك حذفها بنفسك، أو يمكنك الاعتماد على جداول البيانات التي توفر العديد من الوظائف الرائعة لإزالة المسافات والفراغات تلقائيًا. تتضمن خطوة تنظيف البيانات التالية تصحيح الأخطاء الإملائية، وعدم اتساق استخدام الأحرف الكبيرة، وعلامات الترقيم غير الصحيحة، والأخطاء المطبعية الأخرى. يمكن أن تؤدي هذه الأنواع من الأخطاء إلى بعض المشاكل الكبيرة. لنفترض أن لديك قاعدة بيانات عناوين البريد الإلكتروني التي تستخدمها للتواصل مع عملائك. إذا احتوت بعض عناوين البريد الإلكتروني على أخطاء إملائية، مثل وضع نقطة في غير موضعها أو أي نوع آخر من الأخطاء المطبعية، فإنك لا تخاطر فقط بإرسال بريد إلكتروني إلى الأشخاص الخطأ، بل
18:49 تخاطر أيضًا بإرسال رسائل غير مرغوب فيها إلى أشخاص عشوائيين. فكر في مثال عضوية الجمعية مرة أخرى؛ قد تتسبب الأخطاء الإملائية في قيام محلل البيانات بحساب عدد الأعضاء المحترفين بشكل خاطئ إذا قام بفرز هذا النوع من العضوية ثم حساب عدد الصفوف. مثل المشكلات الأخرى التي واجهناها، يمكنك أيضًا إصلاح هذه المشكلات يدويًا أو يمكنك استخدام أدوات جداول البيانات مثل التدقيق الإملائي والتصحيح التلقائي والتنسيق الشرطي لتسهيل عملك. هناك أيضًا طرق سهلة لتحويل النص إلى أحرف صغيرة أو كبيرة أو أحرف صحيحة،
19:35 وهو أحد الأشياء التي سنتحقق منها مرة أخرى لاحقًا. حسنًا، نحن نقترب من الهدف. الخطوة التالية هي إزالة التنسيق. هذا مهم بشكل خاص عندما تحصل على بيانات من مصادر مختلفة. كل قاعدة بيانات لها تنسيقها الخاص، مما قد يجعل البيانات تبدو غير متناسقة. سيساعد إنشاء مظهر مرئي نظيف ومتسق لجداول البيانات الخاصة بك على جعلها أداة قيّمة لك ولفريقك عند اتخاذ القرارات الرئيسية. تتضمن تطبيقات جداول البيانات أداةً لتوضيح التنسيقات، مما يوفر الكثير من الوقت. يُعد تنظيف البيانات خطوةً أساسيةً لتحسين جودتها. الآن، تعرفتم على العديد من الطرق المختلفة للقيام بذلك. في الفيديو التالي، ستتعمقون في هذه المعرفة وتتعلمون كيفية تنظيف البيانات الواردة من أكثر من
20:21 مصدر. [موسيقى] حتى الآن، تعلمتم الكثير عن البيانات غير النظيفة وكيفية تنظيف الأخطاء الأكثر شيوعًا في مجموعة البيانات. الآن، سنتعمق أكثر ونتحدث عن تنظيف مجموعات بيانات متعددة. يُعد تنظيف البيانات الواردة من مصدرين أو أكثر أمرًا شائعًا جدًا لمحللي البيانات، ولكنه ينطوي على بعض التحديات الشيقة. مثال جيد على ذلك هو الاندماج، وهو اتفاقية توحد منظمتين في منظمة واحدة جديدة. في مجال الخدمات اللوجستية، شهدنا العديد من التغييرات الكبيرة مؤخرًا، ويرجع ذلك في الغالب إلى ازدهار التجارة الإلكترونية. مع تزايد عدد الأشخاص الذين يتسوقون عبر الإنترنت، فمن المنطقي أن تكون الشركات المسؤولة عن توصيل هذه المنتجات إلى منازلهم في خضم عملية تغيير جذري.
21:10 عندما تحدث تغييرات كبيرة في أي قطاع، من الشائع أن تتعاون منظمتان وتصبحا أقوى من خلال الاندماج. دعونا نتحدث عن كيفية تأثير ذلك على جمعية الخدمات اللوجستية الخاصة بنا. للتذكير السريع، تتضمن هذه الجداول الإلكترونية أرقام هوية أعضاء الجمعيات، وأسمائهم الأولى والأخيرة، وعناوينهم، ومقدار ما يدفعه كل عضو من رسوم واشتراكات، وتاريخ انتهاء العضوية، وأنواعها. والآن، دعونا نفكر فيما سيحدث إذا قررت جمعية الخدمات اللوجستية الدولية التعاون مع جمعية الخدمات اللوجستية العالمية لمساعدة أعضائها على تلبية المتطلبات الهائلة للتجارة الإلكترونية. أولًا، سيتعين دمج جميع البيانات من كلتا المنظمتين
21:57 باستخدام دمج البيانات. دمج البيانات هو عملية دمج مجموعتين أو أكثر من البيانات في مجموعة بيانات واحدة. يمثل هذا تحديًا فريدًا، لأنه عند دمج مجموعتي بيانات مختلفتين تمامًا، يكاد يكون من المؤكد أن تكون المعلومات غير متناسقة وغير متوافقة. على سبيل المثال، يحتوي جدول بيانات جمعية الخدمات اللوجستية العالمية على عمود منفصل لرقم جناح أو شقة أو وحدة الشخص، بينما تجمع جمعية الخدمات اللوجستية الدولية هذه المعلومات مع عنوان الشارع. يجب تصحيح ذلك لجعل عدد أعمدة العنوان متسقًا. بعد ذلك، انظر كيف تستخدم جمعية الخدمات اللوجستية العالمية
22:44 عناوين البريد الإلكتروني للأفراد كمعرفات عضوية، بينما تستخدم جمعية الخدمات اللوجستية الدولية الأرقام. هذه مشكلة كبيرة، لأن الأشخاص في صناعة معينة، مثل الخدمات اللوجستية، ينضمون عادةً إلى جمعيات مهنية متعددة، لذا هناك احتمال كبير أن... تتضمن مجموعات البيانات معلومات عضوية تخص الشخص نفسه تمامًا ولكن بطرق مختلفة، ومن المهم جدًا إزالة هذه البيانات المكررة. كما أن لدى الرابطة العالمية للخدمات اللوجستية أنواعًا أكثر بكثير من الأعضاء مقارنةً بالمنظمة الأخرى، بالإضافة إلى أنها تستخدم مصطلح "المهنيين الشباب".
23:30 بدلاً من مصطلح "الطالب المنتسب"، يستخدم كلا المصطلحين لوصف الأعضاء الذين ما زالوا يدرسون أو بدأوا حياتهم المهنية للتو. إذا كنت بصدد دمج مجموعتي البيانات هاتين، فستحتاج إلى العمل مع فريقك لتصحيح اختلاف وصف العضويات بين الجمعيتين. الآن، أنت تفهم لماذا يتطلب دمج المؤسسات دمج البيانات، وهذا قد يكون معقدًا، ولكن هناك العديد من الأسباب الأخرى التي تدفع محللي البيانات إلى دمج مجموعات البيانات. على سبيل المثال، في إحدى وظائفي السابقة، قمت بدمج كمية كبيرة من البيانات من مصادر متعددة للحصول على رؤى حول مشتريات عملائنا. ساعدتني أنواع الرؤى التي اكتسبتها في تحديد أنماط شراء العملاء. عند دمج مجموعات البيانات، أبدأ دائمًا
24:16 بطرح بعض الأسئلة الرئيسية على نفسي لتجنب التكرار والتأكد من توافق مجموعات البيانات. في تحليلات البيانات، يصف التوافق مدى قدرة مجموعتي بيانات أو أكثر على العمل معًا. لذا، فإن أول سؤال أطرحه هو: هل لدي جميع البيانات التي أحتاجها لجمع رؤى حول مشتريات العملاء؟ أردت التأكد من وجود بيانات عن العملاء ومشترياتهم وأماكن تسوقهم التالية. سأسأل: هل البيانات التي أحتاجها موجودة ضمن مجموعات البيانات هذه؟ كما تعلمت سابقًا في هذا البرنامج، يتضمن ذلك النظر في... يُتيح لي تحليل مجموعة البيانات بالكامل قبل استخدامها فهم محتواها، وشكل هيكلها، ومدى ملاءمتها
25:02 لرؤى مشتريات عملائي، ونظافة البيانات. وهذا يقودني إلى السؤال التالي: هل تحتاج مجموعات البيانات إلى تنظيف، أم أنها جاهزة للاستخدام؟ ولأنني أتعامل مع أكثر من مصدر، سأسأل نفسي أيضًا: هل تم تنظيف مجموعات البيانات وفقًا لمعايير موحدة؟ على سبيل المثال، ما هي الحقول المتكررة؟ كيف يتم التعامل مع القيم المفقودة؟ متى تم تحديث البيانات مؤخرًا؟ يُعدّ إيجاد إجابات لهذه الأسئلة، وفهم ما إذا كنت بحاجة إلى إصلاح أي مشاكل في بداية المشروع، خطوة بالغة الأهمية في دمج البيانات. في كلا المثالين اللذين استعرضناهما هنا، يمكن لمحلل البيانات استخدام أدوات جداول البيانات أو استعلامات SQL لتنظيف مجموعات البيانات ودمجها وإعدادها
25:48 للتحليل. اعتمادًا على الأداة التي تختارها، قد تكون عملية التنظيف بسيطة أو معقدة للغاية. ستتعلم قريبًا كيفية اختيار الأنسب لحالتك. أخيرًا، تُعدّ لغات البرمجة مثل R مفيدة جدًا لتنظيف البيانات. ستتعلم المزيد حول كيفية استخدام R و المفاهيم الأخرى التي تناولناها قريبًا [موسيقى] كما تعلمتم سابقًا، هناك العديد من الطرق المختلفة لتنظيف البيانات. لقد عرضتُ لكم بعض الأمثلة على كيفية تنظيف البيانات يدويًا، مثل البحث عن الأخطاء الإملائية وتصحيحها، أو إزالة المسافات الفارغة والتكرارات. تعلمنا أيضًا أن العديد من تطبيقات جداول البيانات تحتوي على أدوات تساعد في تبسيط عملية تنظيف البيانات وتسريعها.
26:34 هناك العديد من أدوات الكفاءة الرائعة التي يستخدمها محللو البيانات باستمرار، مثل التنسيق الشرطي، وإزالة التكرارات، وتنسيق التواريخ، وتصحيح سلاسل النصوص والسلاسل الفرعية، وتقسيم النص إلى أعمدة. سنستكشف هذه الأدوات بمزيد من التفصيل الآن. أولها هو ما يُسمى بالتنسيق الشرطي. التنسيق الشرطي هو أداة في جداول البيانات تُغير طريقة ظهور الخلايا عندما تستوفي القيم شروطًا محددة. وبالمثل، يُمكنه إعلامكم عندما لا تستوفي خلية ما الشروط التي حددتموها. تُعد الإشارات المرئية كهذه مفيدة جدًا لمحللي البيانات، خاصةً عند العمل في جدول بيانات كبير يحتوي على الكثير من البيانات. إن إبراز نقاط بيانات معينة يجعل المعلومات أسهل في الفهم والتحليل، وبالنسبة لتنظيف البيانات، فإن
27:20 معرفة متى لا تتبع البيانات الشرط أمرٌ مفيد للغاية. لنعد إلى جدول بيانات جمعية الخدمات اللوجستية لنرى التنسيق الشرطي عمليًا. سنستخدم التنسيق الشرطي لتمييز الخلايا الفارغة، وبذلك نعرف أين توجد معلومات مفقودة، فنضيفها إلى جدول البيانات. للقيام بذلك، سنبدأ بتحديد النطاق الذي نريد البحث فيه. في هذا المثال، لا نركز على العنوانين 3 و5، لذا ستشمل الحقول جميع الأعمدة في جداول البيانات باستثناء العمودين f وh. بعد ذلك، سننتقل إلى "تنسيق" ونختار "
28:07 تنسيق شرطي". ممتاز! تم تحديد نطاقنا تلقائيًا في الحقل. ستكون قاعدة التنسيق هي تنسيق الخلايا إذا كانت فارغة. أخيرًا، سنختار نمط التنسيق. سأختار درجة من اللون الوردي الفاتح حتى تبرز الخلايا الفارغة بوضوح. ثم انقر فوق "تم"، وسيتم تمييز الخلايا الفارغة على الفور. حسنًا، الأداة التالية في جدول البيانات هي إزالة التكرارات. كما تعلمت سابقًا، من الأفضل دائمًا إنشاء نسخة من
28:53 مجموعة البيانات قبل إزالة أي شيء، فلنفعل ذلك الآن. ممتاز! الآن يمكننا المتابعة. قد تتذكر أن جدول البيانات في مثالنا يحتوي على عضو واحد في الجمعية مدرج مرتين. لإصلاح ذلك، انتقل إلى "بيانات" وحدد "إزالة التكرارات". أداة "إزالة التكرارات" تبحث تلقائيًا عن الإدخالات المكررة في جدول البيانات وتزيلها. اختر "بيانات تحتوي على صف عناوين" لأن جدول البيانات يحتوي على صف في الأعلى يصف محتويات كل عمود.
29:39 حدد "تحديد الكل" لأننا نريد فحص جدول البيانات بالكامل. أخيرًا، قم بإزالة التكرارات. ستلاحظ أنه تم العثور على الصف المكرر وإزالته فورًا. أداة أخرى مفيدة في جداول البيانات تُمكّنك من توحيد التنسيقات. على سبيل المثال، بعض التواريخ في جدول البيانات ليست بتنسيق تاريخ قياسي، وهذا قد يكون مُربكًا إذا أردت تحليل تاريخ انضمام أعضاء الجمعية، أو عدد مرات تجديد عضوياتهم، أو مدة بقائهم في الجمعية. لتوحيد جميع التواريخ،
30:26 حدد أولًا العمود J، ثم انتقل إلى "تنسيق"، ثم حدد "رقم"، ثم "تاريخ". الآن، جميع التواريخ لدينا بتنسيق موحد. قبل أن ننتقل إلى الأداة التالية، أود أن أشرح ما هي السلسلة النصية في تحليل البيانات. السلسلة النصية هي مجموعة من الأحرف داخل خلية، وغالبًا ما تتكون من أحرف. من أهم خصائص السلسلة النصية طولها، وهو عدد الأحرف فيها. ستتعلم المزيد عن ذلك قريبًا. من المفيد أيضًا معرفة أن السلسلة الفرعية هي مجموعة فرعية أصغر من سلسلة نصية. حسنًا، لنتحدث الآن عن أداة التقسيم. التقسيم أداة تقسم
31:11 سلسلة نصية حول حرف محدد وتضع كل جزء في خلية جديدة ومنفصلة. تُعد أداة التقسيم مفيدة عندما يكون لديك أكثر من جزء من البيانات في خلية وتريد فصلها. قد يكون هذا اسم شخص ما الأول والأخير مدرجين معًا، أو قد تكون خلية تحتوي على مدينة شخص ما وولايته وبلده ورمزه البريدي، ولكنك تريد في الواقع وضع كل منها في عمود خاص به. لنفترض أن هذه الجمعية أرادت تحليل جميع الشهادات المهنية المختلفة التي حصل عليها أعضاؤها. للقيام بذلك، تريد فصل كل شهادة في عمود خاص بها. الآن، يتم فصل الشهادات بفاصلة،
31:57 وهي النص المحدد الذي يفصل كل عنصر، ويسمى أيضًا المحدد. لنفصلها. حدد العمود، ثم حدد البيانات، ثم قسم النص إلى أعمدة. عرف تطبيق جداول البيانات هذا تلقائيًا أن الفاصلة هي المحدد وفصل كل شهادة. ولكن في بعض الأحيان قد تحتاج إلى تحديد المحدد الذي يجب أن يكون عليه. يمكنك القيام بذلك هنا. تُعد أداة تقسيم النص إلى أعمدة مفيدة أيضًا لإصلاح حالات الأرقام المخزنة كنص، وأحيانًا القيم في قد تبدو جداول البيانات وكأنها أرقام، لكنها في الواقع مُنسقة كنصوص.
32:43 يحدث هذا عند النسخ واللصق من مكان لآخر، أو إذا كان التنسيق خاطئًا. لنفترض في هذا المثال جدول بيانات جديدًا من شركة مستحضرات تجميل. إذا أراد محلل بيانات تحديد إجمالي الأرباح، فبإمكانه جمع كل شيء في العمود F، ولكن هناك مشكلة: إحدى الخلايا بها خطأ. عند التدقيق، ستجد أن الرقم 707 في هذه الخلية نص ولا يمكن تحويله إلى رقم. لذا، عندما يحاول جدول البيانات ضرب تكلفة المنتج في عدد الوحدات المباعة، فإنه يعجز عن إجراء العملية الحسابية.
33:30 ولكن إذا حددنا عمود الطلبات واخترنا "تقسيم النص إلى أعمدة"، فسيتم حل المشكلة لأنه يمكن الآن التعامل مع الرقم كرقم. سنتعرف لاحقًا على أداة تقوم بالعكس تمامًا: دالة "الدمج" ( Concatenate)، وهي دالة تجمع سلاسل نصية متعددة في سلسلة واحدة. تُعد جداول البيانات جزءًا مهمًا جدًا من تحليل البيانات، فهي توفر على محللي البيانات الوقت والجهد، وتساعدنا على التخلص من الأخطاء يوميًا. هنا ستتعرف على بعض الأدوات الأكثر شيوعًا التي نستخدمها، ولكن هناك المزيد. سنتعلم المزيد عن تنظيف البيانات باستخدام أدوات جداول البيانات لاحقًا. إلى اللقاء الآن
34:19 [موسيقى]. لقد تعرفتم على بعض أدوات تنظيف البيانات المفيدة جدًا والمدمجة في تطبيقات جداول البيانات. الآن، سنستكشف كيف يمكن للدوال تحسين جهودكم لضمان سلامة البيانات. للتذكير، الدالة هي مجموعة من التعليمات التي تُجري عملية حسابية محددة باستخدام البيانات في جدول البيانات. أول دالة سنناقشها هي دالة COUNTIF. تُعيد دالة COUNTIF عدد الخلايا التي تُطابق قيمة مُحددة. ببساطة، تحسب عدد مرات ظهور قيمة معينة في نطاق من الخلايا. لنعد إلى جدول بيانات جمعيتنا المهنية. في هذا المثال، نريد التأكد من دقة أسعار عضوية الجمعية.
35:06 سنستخدم دالة COUNTIF للتحقق من بعض المشاكل الشائعة مثل الأرقام السالبة أو القيم الأقل أو الأكبر بكثير من المتوقع. لنبدأ بإيجاد أقل عضوية تكلفة، وهي 100 دولار للطلاب المنتسبين. سيكون هذا هو أقل رقم موجود في هذا العمود. إذا كانت أي خلية تحتوي على قيمة أقل من 100، فستنبهنا دالة COUNTIF. سنضيف بضعة صفوف أخرى في أسفل جدول البيانات. ثم أسفل العمود h، اكتب "رسوم العضوية أقل من مائة دولار". بعد ذلك، اكتب الدالة في الخلية المجاورة. لكل دالة
35:52 صيغة محددة يجب اتباعها لكي تعمل. الصيغة هي بنية محددة مسبقًا تتضمن جميع المعلومات المطلوبة وموضعها الصحيح. يجب أن تكون صيغة دالة IF في الحسابات كالتالي: يساوي، ثم COUNTIF، ثم قوس مفتوح، ثم نطاق، ثم فاصلة، ثم القيمة المحددة بين علامتي اقتباس، ثم قوس مغلق. ستظهر هكذا: حيث i2 إلى i72 هو النطاق، والقيمة أقل من 100.
36:37 هذا يُخبر الدالة بالمرور على العمود i وإرجاع عدد جميع الخلايا التي تحتوي على رقم أقل من مائة. اتضح أن هناك قيمة واحدة. أثناء تصفح بياناتنا، وجدنا أن إحدى البيانات أُدخلت خطأً كرقم سالب. لنُصلح ذلك الآن. الآن، سنستخدم COUNTIF للبحث عن أي قيم أكبر مما نتوقع. أغلى نوع عضوية هو 500 للأعضاء المؤسسيين. اكتب الدالة في الخلية.
37:24 هذه المرة ستظهر هكذا: لا يزال النطاق من i2 إلى i72، لكن القيمة أكبر. أكثر من 500، يوجد واحد هنا أيضًا، تحقق منه. هذا الإدخال يحتوي على صفر إضافي، يجب أن يكون مائة دولار. حسنًا، الدالة التالية التي سنتناولها تسمى len. دالة len تُخبرك بطول سلسلة نصية عن طريق عدّ عدد الأحرف التي تحتويها. هذا مفيد عند تنظيف البيانات، إذا كان لديك معلومة معينة في
38:09 جدول البيانات الخاص بك تعلم أنها يجب أن تحتوي على رابط معين. على سبيل المثال، تستخدم هذه الجمعية رموز تعريف أعضاء مكونة من ستة أرقام. لذلك، إذا قمنا باستيراد هذه البيانات وأردنا التأكد من أن جميع رموزنا تحتوي على العدد الصحيح من الأرقام، فسنستخدم len. صيغة len هي: يساوي len، ثم قوسان مفتوحان، ثم النطاق، ثم قوسان مغلقان. لذلك، سنُدرج عمودًا جديدًا بعد member id، ثم نكتب علامة يساوي وlen عند قوس مفتوح. النطاق هو أول رقم member id في الخلية A2.
38:55 نُنهي الدالة بإغلاق القوسين. هذا يُخبرنا أن هناك ستة أحرف في الخلية A2. لنُكمل الدالة عبر العمود بأكمله ونكتشف ما إذا كانت أي نتائج ليست 6، ولكن بدلًا من البحث يدويًا في جدول البيانات الخاص بنا للعثور على هذه النتائج، في بعض الحالات، سنستخدم التنسيق الشرطي. تحدثنا عن التنسيق الشرطي سابقًا، وهو أداة في جداول البيانات تُغير مظهر الخلايا عندما تستوفي القيم شروطًا محددة. لنُجرّب ذلك الآن. حدد جميع خلايا العمود B باستثناء رأس العمود، ثم انتقل إلى "تنسيق" واختر "تنسيق شرطي".
39:43 قاعدة التنسيق هي تنسيق الخلايا إذا كانت قيمتها لا تساوي 6. انقر فوق "تم"، وسيتم تمييز الخلية التي تحتوي على الرقم 7. حسنًا، الآن سنتحدث عن " يسار" و"يمين". "يسار" دالة تُعطيك عددًا محددًا من الأحرف من الجانب الأيسر لسلسلة نصية. " يمين" دالة تُعطيك عددًا محددًا من الأحرف من الجانب الأيمن لسلسلة نصية. للتذكير، السلسلة النصية هي مجموعة من الأحرف داخل خلية، تتكون عادةً من أحرف أو أرقام أو
40:28 كليهما. لرؤية هذه الدوال عمليًا، لنعد إلى جدول بيانات شركة مستحضرات التجميل الذي ذكرناه سابقًا. يحتوي هذا الجدول على رموز المنتجات، كل رمز يتكون من خمسة أرقام، ثم مُعرّف نصي من أربعة أحرف. لنفترض أننا نريد العمل مع جانب واحد فقط، يمكنك استخدام "يسار" أو "يمين" للحصول على مجموعة الأحرف أو الأرقام التي تحتاجها. سنتدرب على تنظيف بياناتنا باستخدام دالة `left`. صيغة `left` هي: يساوي `left`، ثم قوس مفتوح، ثم النطاق، ثم فاصلة، ثم
41:15 عدد الأحرف من الجانب الأيسر للسلسلة النصية التي نريدها، ثم ننهيها بقوس مغلق. هنا، يتطلب مشروعنا فقط الرموز الرقمية المكونة من خمسة أرقام، لذا في عمود منفصل، اكتب ` left`، ثم قوس مفتوح، ثم أضف النطاق ( نطاقنا هو a2)، ثم أضف فاصلة، ثم الرقم 5 لرمز المنتج المكون من خمسة أرقام. أخيرًا، أنهِ الدالة بقوس مغلق. يجب أن تظهر دالتنا بهذا الشكل. اضغط على مفتاح الإدخال (Enter).
42:00 الآن لدينا سلسلة فرعية تمثل الجزء الرقمي فقط من رمز المنتج. انقر واسحب هذه الدالة عبر العمود بأكمله لفصل باقي رموز المنتج حسب الرقم فقط. حسنًا، لنفترض الآن أن مشروعك يحتاج فقط إلى مُعرّف نصي مكون من 4 أحرف. لذلك، سنستخدم دالة `write`. في العمود التالي، سنبدأ الدالة. صيغتها هي: يساوي `right`، ثم قوس مفتوح، ثم النطاق، ثم فاصلة، ثم عدد الأحرف التي نريدها، ثم ننهيها بقوس مغلق. لنكتبها الآن.
42:47 الآن، استخدم الأقواس المفتوحة لتحديد النطاق، مع إضافة فاصلة. هذه المرة، سنحدد الأحرف الأربعة الأولى من اليمين. أغلق الأقواس واضغط على مفتاح الإدخال، ثم اسحب الدالة عبر العمود بأكمله. الآن، يمكننا تحليل المنتجات في جدول البيانات بناءً على السلسلة الفرعية، أو الرمز الرقمي المكون من خمسة أرقام، أو مُعرّف النص المكون من أربعة أحرف. نأمل أن يكون هذا قد أوضح كيفية استخدام دالتي left و right لاستخراج
43:33 سلاسل فرعية من جانبي السلسلة. الآن، دعونا نتعلم كيفية استخراج جزء من المنتصف. هنا سنستخدم دالة mid. دالة mid تُعطيك جزءًا من منتصف سلسلة نصية. على سبيل المثال، تُدرج شركة مستحضرات التجميل هذه جميع عملائها باستخدام رمز العميل، وهو يتكون من الأحرف الثلاثة الأولى من اسم المدينة التي يقع فيها العميل، واختصار الولاية، ثم مُعرّف مكون من ثلاثة أرقام. لنفترض أن محلل بيانات يحتاج إلى العمل مع الولايات فقط في المنتصف. صيغة دالة mid هي: يساوي mid، ثم الأقواس المفتوحة، ثم النطاق، ثم الفاصلة. عند استخدام دالة mid، ستحتاج دائمًا إلى لتحديد
44:20 نقطة مرجعية، أي عليك تحديد مكان بدء الدالة. بعد ذلك، ضع فاصلة أخرى وعدد الأحرف الوسطى التي تريدها. في هذه الحالة، نطاقنا هو d2. لنبدأ الدالة في عمود جديد، اكتب: `= ` mid` ثم `d2`. تمثل الأحرف الثلاثة الأولى اسم مدينة، مما يعني أن نقطة البداية هي الحرف الرابع. أضف فاصلة ثم `4`. نحتاج أيضًا إلى إخبار الدالة بعدد الأحرف الوسطى التي نريدها. أضف فاصلة أخرى ثم ` 2` لأن اختصارات الولايات تتكون من
45:05 حرفين. اضغط على مفتاح الإدخال (Enter) وستحصل على اختصار الولاية. استمر في استخدام الدالة `mid` لبقية العمود. لقد تعلمنا بعض الدوال التي تساعد في فصل سلاسل نصية محددة، ولكن ماذا لو أردنا دمجها؟ لهذا، سنستخدم دالة `concatenate`، وهي دالة تجمع سلسلتين نصيتين أو أكثر. صيغتها هي: `= `concatenate` ثم قوس مفتوح داخله يشير إلى كل سلسلة نصية تريد دمجها مفصولة بفواصل. ثم أنهِ الدالة بقوس مغلق. لنفترض، على سبيل المثال،
45:51 أننا نحتاج إلى إعادة دمج السلسلة اليسرى و... لنقم بإعادة كتابة سلاسل النصوص الصحيحة إلى رموز المنتجات الكاملة في عمود جديد. لنبدأ دالتنا: اكتب == ثم concatenate ثم قوس مفتوح. سلسلة النص الأولى التي نريد دمجها موجودة في h2، ثم أضف فاصلة. الجزء الثاني هو i2، ثم أضف قوسًا مغلقًا واضغط على
46:41 موافق. الدالة الأخيرة التي سنتعلمها هنا هي trim. trim هي دالة تزيل المسافات الزائدة في بداية ونهاية البيانات والمسافات المتكررة. أحيانًا عند استيراد البيانات، تحتوي خلاياك على مسافات زائدة قد تعيق تحليلك. على سبيل المثال، إذا أرادت شركة مستحضرات تجميل البحث عن اسم عميل معين، فلن يظهر في نتائج البحث إذا كان يحتوي على مسافات زائدة. يمكنك استخدام trim لحل هذه المشكلة. صيغة trim هي: == trim ثم قوس مفتوح ثم نطاقك ثم قوس مغلق. لذا، في عمود منفصل، اكتب ==
47:29 trim ثم قوس مفتوح. النطاق هو c2 لأنك تريد التحقق من أسماء العملاء. أغلق الأقواس واضغط على إدخال. أخيرًا، تابع الدالة لأسفل العمود، ثم trim لإزالة المسافات الزائدة. الآن، تعرفنا على بعض الدوال المفيدة جدًا التي يمكن أن تجعل تنظيف بياناتك أكثر نجاحًا. كانت هذه معلومات كثيرة، لذا كما هو الحال دائمًا، لا تتردد في للمراجعة، شاهد الفيديو ثم تدرب بنفسك. سنواصل تطوير هذه الأدوات
48:14 قريبًا، وستتاح لك فرصة التدرب عليها أيضًا. ستصبح خطوات تنظيف البيانات هذه بديهية، تمامًا كغسل أسنانك. هيا بنا نبدأ! قال المتحدث التحفيزي واين داير ذات مرة: "إذا غيرت نظرتك للأشياء، ستتغير الأشياء التي تنظر إليها". هذا صحيح تمامًا في تحليل البيانات. لا يوجد مشروعان تحليليان متطابقان تمامًا، لذا من المنطقي أن تتطلب المشاريع المختلفة التركيز على معلومات مختلفة بطرق مختلفة. في هذا الفيديو، سنستكشف طرقًا مختلفة يستخدمها محللو البيانات للنظر إلى البيانات بشكل مختلف، وكيف يؤدي ذلك إلى تنظيف بيانات أكثر كفاءة وفعالية.
49:02 تتضمن بعض هذه الطرق فرز وتصفية الجداول المحورية، ودالة VLOOKUP، ورسم البيانات للعثور على القيم الشاذة. لنبدأ بالفرز والتصفية. كما تعلمت سابقًا، يساعد فرز وتصفية البيانات محللي البيانات على تخصيص المعلومات وتنظيمها بالطريقة التي يحتاجونها لمشروع معين. لكن هذه الأدوات مفيدة جدًا أيضًا لتنظيف البيانات. قد تتذكر أن الفرز يتضمن ترتيب البيانات بترتيب منطقي لتسهيل فهمها وتحليلها وعرضها. عند تنظيف البيانات، يمكنك استخدام الفرز لترتيب البيانات أبجديًا أو رقميًا، مما يسهل عليك العثور على أي معلومة.
49:48 كما يُمكن للفرز تقريب الإدخالات المكررة من بعضها لتسريع عملية التعرف عليها. من ناحية أخرى، تُعدّ عوامل التصفية مفيدة جدًا في تنظيف البيانات عندما تريد العثور على معلومة محددة. كما تعلمنا سابقًا، تعني التصفية عرض البيانات التي تُطابق معايير مُحددة فقط، مع إخفاء الباقي. هذا يُتيح لك عرض المعلومات التي تحتاجها فقط. عند تنظيف البيانات، يُمكنك استخدام عامل تصفية للعثور على القيم التي تزيد عن رقم مُعين، أو القيم الزوجية أو الفردية فقط. هذا يُساعدك أيضًا في العثور على ما تحتاجه بسرعة، ويفصل المعلومات التي تُريدها عن البقية، مما يُحسّن كفاءة عملية تنظيف البيانات. هناك
50:35 طريقة أخرى لتغيير طريقة عرض البيانات، وهي استخدام الجداول المحورية. كما تعلمنا، الجدول المحوري هو أداة لتلخيص البيانات تُستخدم في معالجة البيانات. تُستخدم الجداول المحورية في تنظيف البيانات لعرض البيانات بسرعة وبشكل منظم. يمكنك اختيار عرض أجزاء محددة من مجموعة البيانات التي تحتاجها والحصول على تمثيل مرئي لها في شكل جدول محوري. لننشئ واحدًا الآن باستخدام جدول بيانات شركة مستحضرات التجميل. للبدء، حدد البيانات التي تريد استخدامها. هنا، سنختار جدول البيانات بأكمله، ثم
51:24 نحدد "بيانات"، ثم "جدول محوري"، ثم نختار "ورقة جديدة"، ثم " إنشاء". لنفترض أننا نعمل على مشروع يتطلب منا النظر فقط إلى المنتجات الأكثر ربحية - وهي المنتجات التي تُدرّ على شركة مستحضرات التجميل ما لا يقل عن 10000 طلب. لذلك، سنُدرج صف "الإجمالي" لعرض إجمالي الأرباح. سنرتب البيانات تنازليًا لوضع المنتجات الأكثر ربحية في الأعلى، وسنعرض الإجماليات. بعد ذلك، سنضيف صفًا آخر للمنتجات
52:14 حتى نعرف قيمة هذه الأرقام. يمكننا تحديد أن المنتجات الأكثر ربحية تحمل رموز المنتجات 15143ex fo و 32729 masc. يمكننا تجاهل باقي المنتجات في هذا المشروع تحديدًا لأنها تقل عن 10000. لدينا الآن 000 طلبًا، وقد نتمكن من استخدام القرائن السياقية التي تفترض أننا نتحدث عن مقشرات البشرة والماسكارا، لكننا لا نعرف أيها، أو حتى ما إذا كان هذا الافتراض صحيحًا. لذلك، نحتاج إلى تأكيد ما تشير إليه رموز المنتجات،
53:00 وهذا يقودنا إلى الأداة التالية، وهي دالة VLOOKUP. VLOOKUP اختصار لـ "البحث العمودي"، وهي دالة تبحث عن قيمة معينة في عمود ما لإرجاع معلومة مقابلة. عندما يبحث محللو البيانات عن معلومات لمشروع ما، نادرًا ما تكون جميع البيانات التي يحتاجونها في نفس المكان. عادةً ما يتعين عليهم البحث في عدة جداول بيانات أو حتى قواعد بيانات مختلفة. صيغة دالة VLOOKUP هي: يساوي VLOOKUP، ثم قوسان مفتوحان، ثم البيانات التي تريد البحث عنها، ثم فاصلة، ثم مكان البحث عن تلك البيانات. في مثالنا،
53:46 سيكون هذا اسم جدول البيانات متبوعًا بعلامة تعجب. تشير علامة التعجب إلى أننا نشير إلى خلية في جدول بيانات مختلف عن الجدول الذي نعمل عليه حاليًا. وهذا شائع جدًا في تحليل البيانات. حسنًا، الخطوة التالية هي تحديد النطاق في المكان الذي تبحث فيه عن البيانات، وذلك باستخدام الخلية الأولى والأخيرة مفصولتين بنقطتين رأسيتين. بعد ذلك، تأتي فاصلة أخرى، ثم العمود في النطاق الذي يحتوي على القيمة المراد إرجاعها. بعد ذلك، تأتي فاصلة أخرى، ثم كلمة "false" التي تعني أننا نبحث عن تطابق تام. أخيرًا، أكمل الدالة بإغلاق الأقواس. ببساطة، تبحث دالة VLOOKUP عن القيمة في
54:32 الوسيط الأول في العمود الأيسر من الموقع المحدد. ثم تخبر قيمة الوسيط الثالث دالة VLOOKUP بإرجاع القيمة في نفس الصف من العمود المحدد. تشير كلمة "false" إلى أننا نريد تطابقًا تامًا. ستتعلم قريبًا الفرق بين التطابق التام والتطابق التقريبي، ولكن يكفي أن تعرف الآن أن دالة VLOOKUP تأخذ قيمة في خلية واحدة وتبحث عن تطابق في مكان آخر. لنبدأ، سنكتب equals vlookup، ثم نضيف البيانات التي نريد البحث عنها،
55:17 وهي رمز المنتج وعلامات الدولار. تأكد من أن الجزء المقابل من المرجع يبقى دون تغيير أو مقفلًا. يمكنك قفل العمود فقط، أو الصف فقط، أو كليهما في نفس الوقت. بعد ذلك، سنخبرها بالبحث في الورقة الثانية، نضيف الرقم 2 في كلا العمودين لتمثيل العمود الثاني. يشير
56:02 الخيار الأخير "خطأ" إلى أننا نريد تطابقًا تامًا مع هذه المعلومات. يمكننا الآن تحليل البيانات لأكثر المنتجات ربحية فقط. بالعودة إلى أكثر منتجين ربحية، يمكننا البحث عن 15143ex fo و32729 masc. انتقل إلى "تحرير" ثم "بحث"، واكتب رموز المنتجات
56:49 وابحث عنها. الآن يمكننا معرفة المنتجات التي سنستخدمها في هذا المشروع. الأداة الأخيرة التي سنتحدث عنها هي " الرسم البياني". عند رسم البيانات، يتم وضعها في رسم بياني أو جدول أو أي شكل مرئي آخر لمساعدتك في معرفة شكلها بسرعة. يُعد الرسم البياني مفيدًا جدًا عند محاولة تحديد أي بيانات منحرفة أو قيم متطرفة. على سبيل المثال، إذا أردنا التأكد من صحة سعر كل منتج، يمكننا إنشاء مخطط بياني. سيوفر لنا هذا وسيلة بصرية تساعدنا على معرفة ما إذا كان هناك أي خطأ.
57:36 لنحدد العمود الذي يحتوي على أسعارنا، ثم ننتقل إلى "إدراج" ونختار "مخطط"، ونختار "مخطط عمودي" كنوع. يبدو أحد هذه الأسعار منخفضًا للغاية. إذا نظرنا إليه، نكتشف أن هذا المنتج يحتوي على عدد عشري. النقطة في المكان الخطأ، يجب أن تكون سبعة دولارات و30 سنتًا وليس 73 سنتًا، وهذا سيؤثر بشكل كبير على إجمالي أرباحنا، لذا من الجيد أننا
58:21 اكتشفنا ذلك أثناء تنظيف البيانات. إن النظر إلى البيانات بطرق جديدة ومبتكرة يساعد محللي البيانات على تحديد جميع أنواع البيانات غير النظيفة. ستواصل ممارسة هذه المفاهيم الجديدة حتى تعتاد عليها أكثر، وستتعلم أيضًا استراتيجيات إضافية لضمان نظافة بياناتك، مما سيوفر لك رؤى فعالة. عمل رائع حتى الآن! [موسيقى] حتى الآن، تعلمت عن العديد من الأدوات والوظائف المختلفة التي يستخدمها المحللون لتنظيف البيانات للتحليل. الآن سنعود خطوة إلى الوراء ونتحدث عن بعض جوانب الصورة الكبيرة للبيانات النظيفة. إن معرفة كيفية إصلاح مشكلات محددة، سواء يدويًا باستخدام أدوات جداول البيانات
59:07 أو باستخدام الوظائف، أمر قيّم للغاية، ولكن من المهم أيضًا التفكير في كيفية انتقال بياناتك بين الأنظمة وكيف تطورت على طول رحلتها إلى مشروع تحليل البيانات الخاص بك. للقيام بذلك، يستخدم محللو البيانات شيئًا يسمى تعيين البيانات. تعيين البيانات هو عملية مطابقة الحقول من قاعدة بيانات إلى أخرى. هذا مهم جدًا لنجاح ترحيل البيانات وتكامل البيانات والعديد من البيانات الأخرى. كما تعلمت سابقًا، تخزن الأنظمة المختلفة البيانات بطرق مختلفة في إدارة الأنشطة. على سبيل المثال، قد يُظهر حقل الولاية في أحد جداول البيانات كلمة " ماريلاند" مكتوبة بالكامل، بينما قد يُخزن في جدول بيانات آخر على شكل "md".
59:55 يساعدنا تخطيط البيانات على ملاحظة هذه الاختلافات، حتى نضمن توافق البيانات عند نقلها ودمجها. للتذكير، يُشير التوافق إلى مدى قدرة مجموعتين أو أكثر من مجموعات البيانات على العمل معًا. لذا، فإن الخطوة الأولى في تخطيط البيانات هي تحديد البيانات التي يجب نقلها، وهذا يشمل الجداول والحقول الموجودة فيها. نحتاج أيضًا إلى تحديد التنسيق المطلوب للبيانات بمجرد وصولها إلى وجهتها. لفهم كيفية عمل ذلك، دعونا نعود إلى عملية الدمج بين جمعيتي الخدمات اللوجستية لدينا. بدءًا من حقل البيانات الأول، سنحدد أننا بحاجة إلى نقل مجموعتي
1:00:40 معرفات الأعضاء، ولتحديد التنسيق المطلوب، سنختار ما إذا كنا سنستخدم الأرقام كما في جدول البيانات هذا، أو عناوين البريد الإلكتروني كما في جدول البيانات الآخر. بعد ذلك، يأتي تخطيط البيانات، اعتمادًا على المخطط وعدد المفاتيح الأساسية والأجنبية في مصدر البيانات. يمكن أن يكون تخطيط البيانات بسيطًا أو معقدًا للغاية. للتذكير، المخطط هو طريقة لوصف كيفية تنظيم شيء ما، ويشير المفتاح الأساسي إلى عمود في حيث تكون كل قيمة فريدة، والمفتاح الخارجي هو حقل داخل جدول يُستخدم كمفتاح أساسي في جدول آخر. بالنسبة للمشاريع الأكثر تعقيدًا، تتوفر
1:01:26 أنواع عديدة من برامج رسم خرائط البيانات. تقوم هذه الأدوات بتحليل البيانات حقلًا حقلًا، وكيفية نقلها من مكان إلى آخر، ثم تقوم تلقائيًا بتنظيفها ومطابقتها وفحصها والتحقق من صحتها. كما أنها تُنشئ اصطلاحات تسمية متسقة لضمان التوافق عند نقل البيانات من مصدر إلى آخر. عند اختيار برنامج لرسم خرائط بياناتك، تأكد من أنه يدعم أنواع الملفات التي تعمل بها، مثل Excel وSQL وTableau وغيرها. ستتعلم لاحقًا المزيد حول اختيار الأداة المناسبة لمهمة معينة. الآن، دعنا نتدرب على رسم خرائط البيانات
1:02:12 يدويًا. أولًا، نحتاج إلى تحديد محتوى كل قسم للتأكد من وصول البيانات إلى المكان الصحيح. على سبيل المثال، سيتم دمج بيانات تاريخ انتهاء العضويات في عمود واحد. تضمن هذه الخطوة وصول كل معلومة إلى المكان الأنسب في مصدر البيانات المدمج. قد تتذكر أن بعض البيانات كانت غير متسقة بين المنظمتين، مثل استخدام إحداهما عمودًا منفصلًا للشقق الفندقية أو رقم الوحدة، لكن الآخر لا يملكه.
1:02:59 هذا يقودنا إلى الخطوة التالية: تحويل البيانات إلى تنسيق متسق. هذا وقت مناسب لاستخدام دالة الربط (concatenate). كما تعلمت سابقًا، دالة الربط هي دالة تجمع سلسلتين نصيتين أو أكثر، وهو ما فعلناه سابقًا مع مثال شركة مستحضرات التجميل. لذا، سنُدرج عمودًا جديدًا، ثم نكتب "يساوي" ثم "ربط" ثم السلسلتين النصيتين اللتين نريد دمجهما في سلسلة واحدة.
1:03:45 نسحب هذه السلسلة عبر العمود بأكمله، والآن لدينا التناسق في قوائم عناوين الأعضاء المدمجة الجديدة. حسنًا، الآن بعد أن أصبح كل شيء متوافقًا، حان وقت نقل البيانات إلى وجهتها. هناك العديد من الطرق المختلفة لنقل البيانات من مكان إلى آخر، بما في ذلك الاستعلام ومعالجات الاستيراد وحتى السحب والإفلات البسيط. هنا ستتعلم المزيد حول اختيار الطريقة المناسبة لمختلف المواقف. حسنًا، إليك جدول بيانات الدمج الخاص بنا.
1:04:34 يبدو جيدًا، لكننا ما زلنا نريد التأكد من نقل كل شيء بشكل صحيح. لذلك سننتقل إلى مرحلة اختبار تعيين البيانات. لهذا، تفحص عينة من البيانات للتأكد من أنها نظيفة ومنسقة بشكل صحيح. من الممارسات الذكية أيضًا إجراء فحوصات عشوائية على أشياء مثل بناءً على عدد القيم الفارغة في الاختبار، يمكنك استخدام العديد من أدوات تنظيف البيانات التي ناقشناها سابقًا، مثل التحقق من صحة البيانات، والتنسيق الشرطي، ودالة COUNTIF، والفرز، والتصفية. أخيرًا، بمجرد التأكد من أن البيانات نظيفة ومتوافقة، يمكنك البدء في استخدامها للتحليل. يُعدّ تخطيط البيانات بالغ الأهمية، لأن أي
1:05:21 خطأ أثناء دمج البيانات قد ينتشر في جميع أنحاء المؤسسة، مما يؤدي إلى تكرار نفس الخطأ مرارًا وتكرارًا، وهذا بدوره يؤدي إلى نتائج ضعيفة. من ناحية أخرى، يُمكن لتخطيط البيانات أن يُنقذ الموقف من خلال توفير خارطة طريق واضحة يمكنك اتباعها لضمان وصول بياناتك بأمان إلى وجهتها. ولهذا السبب ستتعلم كيفية القيام بذلك. تهانينا على إتمام هذا الفيديو من شهادة جوجل لتحليلات البيانات. يمكنك الوصول إلى التجربة الكاملة، بما في ذلك المساعدة في البحث عن وظائف، والبدء في الحصول على الشهادة الرسمية بالنقر على الأيقونة أو الرابط الموجود في الوصف. شاهد الفيديو التالي في الدورة بالنقر هنا، واشترك في قناتنا للمزيد من شهادات جوجل المهنية القادمة.
