أدى الاستخدام الواسع لتطبيقات التكنولوجيا والذكاء الاصطناعي والتوجهات الحثيثة نحو اقتصاد المعرفة عموماً إلى إنشاء مستودعات بيانات واسعة النطاق، وهذه المستودعات الضخمة للبيانات ستسهم إسهاماً كبيراً في اتخاذ القرارات في المستقبل، حيث يتم تطبيق آليات اكتشاف المعرفة المناسبة لاستخراج المعلومات الخفية من تلك البيانات، والتي يمكن أن تكون مفيدة ويشترط في ذلك العثور على أنماط واتجاهات مفيدة خفية وإنتاج ملاحظات جديدة من البيانات.
ومن البديهي أن الكمية الهائلة من البيانات المتاحة في صناعة المعلومات، ستظل بلا فائدة حتى يتم تحويلها إلى معلومات مفيدة، وهو ما أطلق عليه لاحقاً تعدين المعرفة، وهذه التقنية تؤكد أن الهدف العام هو استخراج الأنماط والمعرفة من كميات كبيرة من البيانات، وليس تعدين من البيانات نفسها.
الجذور الأولى لمصطلح التعدين المعرفي كانت في الستينات، وتم استخدامه من قبل الاقتصادي مايكل لوفيل في مقالة له منشورة في مراجعة الدراسات الاقتصادية 1983.
ثم تجلى المصطلح بوضوح أكبر عام 1990 في مجتمع قاعدة البيانات، بدلالات إيجابية، وفي المجتمع الأكاديمي، بدأت المحافل الرئيسية للبحوث في مجال التعدين المعرفي عام 1995 عندما تأسس المؤتمر الدولي الأول لتعدين البيانات واكتشاف المعرفة (كد-95) في مونتريال، ثم أطلقت بعد عام من المؤتمر مجلة استخراج البيانات واكتشاف المعرفة (التعدين المعرفي).
وفي وقت لاحق صارت هذه المجلة الأولى في هذا المجال. بعد تطور تقنية التعدين المعرفي تم استخدامها للكشف عن المعلومات الخفية وصناعة القرار والتنبؤ بالاتجاهات المستقبلية في الأسواق المالية، وتشمل المزايا التنافسية التي حققتها هذه التقنية في الأعمال التجارية والمالية زيادة الإيرادات، وانخفاض التكلفة، وتحسين السوق ووضع الاستجابة والوعي.
مصطلح التعدين المعرفي ينطوي على خطوات أساسية ولا بد منها في أي عملية تعدين معرفي لتحقيق اكتشاف المعرفة وأولها تنظيف البيانات، إذ تتم إزالة الضوضاء والبيانات غير المتناسقة، ثم يليها تكامل البيانات فيتم الجمع بين مصادر بيانات متعددة، إذ ذلك تأتي مرحلة اختيار البيانات فيتم استرداد البيانات ذات الصلة بمهمة التحليل من قاعدة البيانات، ثم تحويل البيانات وفي هذه الخطوة، يتم تحويل البيانات أو دمجها في أشكال مناسبة للتعدين من خلال تنفيذ عمليات الملخص أو التجميع، ثم استخراج البيانات حيث يتم تطبيق أساليب ذكية من أجل استخراج أنماط البيانات، بعدها خطوة تقييم أنماط البيانات، ثم خطوة عرض المعرفة وفيها يتم تمثيل المعرفة وبمجرد انتهاء كل هذه العمليات، سنكون قادرين على استخدام هذه المعلومات في العديد من التطبيقات مثل كشف الاحتيال، وتحليل السوق، ومراقبة الإنتاج، واستكشاف العلوم، وكذلك أي تطبيق نظام مدعم وله ارتباط باستخدامات الكمبيوتر، بما في ذلك الذكاء الاصطناعي، والتعلم الآلي، والاستخبارات التجارية وما إلى ذلك.
بعبارة أخرى، يمكننا أن نقول إن استخراج البيانات هو الإجراء الذي تقوم به عملية تعدين البيانات.
فالمعلومات أو المعرفة المستخرجة منه لاحقاً يمكن استخدامها لعدد من التطبيقات منها تحليل السوق، الكشف عن الغش، المحافظة على العملاء، مراقبة الإنتاج، استكشاف العلوم، كذلك فإن استخراج البيانات مفيد للغاية في مجالات تحليل السوق والإدارة، وتحليل الشركات وإدارة المخاطر، والكشف عن الغش.
إن مهمة استخراج البيانات الفعلية هي التحليل شبه التلقائي أو التلقائي لكميات كبيرة من البيانات لاستخراج أنماط غير معروفة سابقاً، مثيرة للاهتمام مثل مجموعات من سجلات البيانات والسجلات غير العادية، والاعتمادية، وهذا ينطوي عادة على استخدام تقنيات قواعد البيانات مثل المؤشرات المكانية، ويمكن بعد ذلك أن ينظر إلى هذه الأنماط كنوع من ملخص بيانات المدخلات، ويمكن استخدامها في مزيد من التحليل أو، على سبيل المثال، في التعلم الآلي والتحليلات التنبئية.
التعدين المعرفي تقنية متعددة التخصصات يتم التركيز فيها على منهجيات استخراج المعرفة المفيدة من البيانات، وقد خلق النمو السريع المستمر للبيانات على شبكة الإنترنت والاستخدام الواسع النطاق لقواعد البيانات حاجة هائلة المنهجيات، ويتمثل التحدي الأكبر في استخراج المعرفة من البيانات أولاً ثم البحوث في الإحصاءات وقواعد البيانات، والتعرف على الأنماط، والتعلم الآلي، وتصور البيانات، والتحسين، والحوسبة عالية الأداء، لتقديم حلول ذكاء الأعمال المتقدمة واكتشاف الويب.
أخيراً يمكن القول بأن النمو الهائل للبيانات على الإنترنت جعل للحلول القائمة على تقنية التعدين المعرفي أهمية قصوى لدى شركات الخدمات والاستشارات بشكل متزايد، وبناء على ذلك، أصبح التطوير المنهجي لذكاء الأعمال، فضلاً عن نظام تكنولوجيا المعلومات ومراقبة العمليات التجارية، نقطة محورية للإحصاءات وبحوث الشركات الكبرى المتخصصة في التعدين المعرفي، فيتم استخدام بيانات الرصد التي تم جمعها مع مرور الوقت لجعل العمليات أكثر كفاءة وفعالية وقابلية للتنبؤ ومربحة في آن.
وتشمل الجوانب الصعبة في عملية التعدين المعرفي التعامل مع البيانات الكبيرة المعتمدة على الوقت بخصائص متنوعة، وإنتاج أساليب دقيقة وعملية للتنبؤ، ووضع تحليلات ذات صلة بصنع القرار في مجال الأعمال. وللحديث بقية.