مقدمه
از هنگامی که رایانه در تحلیل و ذخیره سازی داده ها بکار رفت (1950) پس از حدود 20 سال، حجم داده ها در پایگاه داده ها دو برابر شد. ولی پس از گذشت دو دهه و همزمان با پیشرفت فن آوری اطلاعات(IT) هر دو سال یکبار حجم داده ها، دو برابر شده و همچنین تعداد پایگاه داده ها با سرعت بیشتری رشد نمود. این در حالی است که تعداد متخصصین تحلیل داده ها با این سرعت رشد نکرد. حتی اگر چنین امری اتفاق می افتاد، بسیاری از پایگاه داده ها چنان گسترش یافتهاند که شامل چندصد میلیون یا چندصد میلیارد رکورد ثبت شده هستند.امکان تحلیل و استخراج اطلاعات با روش های معمول آماری از دل انبوه داده ها مستلزم چند روز کار با رایانه های موجود است.[3]
حال با وجود سیستم های یکپارچه اطلاعاتی، سیستم های یکپارچه بانکی و تجارت الکترونیک، لحظه به لحظه به حجم داده ها در پایگاه داده های مربوط اضافه شده و باعث به وجود آمدن انبارهای عظیمی از داده ها شده است.
این واقعیت، ضرورت کشف و استخراج سریع و دقیق دانش از این پایگاه داده ها را بیش از پیش نمایان کرده است، چنان که در عصر حاضر گفته می شود اطلاعات طلاست.
هم اکنون در هر کشور، سازمان، شرکت و غیره برای امور بازرگانی، پرسنلی، آموزشی، آماری و غیره پایگاه داده ها ایجاد یا خریداری شده است. به طوری که این پایگاه داده ها برای مدیران، برنامه ریزان، پژوهشگران جهت، تصمیم گیری های راهبردی، تهیه گزارش های مختلف، توصیف وضعیت جاری خود و سایر اهداف می تواند مفید باشد. بسیاری از این داده ها از نرم افزارهای تجاری، مثل کاربردهای مالی، ERPها، CRMها و web log ها، می آیند. نتیجه این جمع آوری داده ها این میشود که در سازمانها، داده ها غنی ولی دانش ضعیف، است. جمع آوری داده ها، بسیار انبوه میشود و بسرعت اندازه آن افزایش می یابد و استفاده عملی از داده ها را محدود می سازد.[2]
دادهکاوی استخراج و تحلیل مقدار زیادی داده بمنظور کشف قوانین و الگوهای معنی دار در آنهاست. هدف اصلی داده کاوی، استخراج الگوهایی از داده ها، افزایش ارزش اصلی آنها و انتقال داده ها بصورت دانش است.
دادهکاوی، بهمراه OLAP، گزارشگری تشکیلات اقتصادی(Enterprise reporting) و ETL، یک عضو کلیدی در خانواده محصول Business Intelligence(BI)، است.[2]
حوزههای مختلفی وجود دارد که در آنها حجم بسیاری از داده در پایگاهدادههای متمرکز یا توزیع شده ذخیره میشود. برخی از آنها به قرار زیر هستند: [6]
- کتابخانه دیجیتال: یک مجموعه سازماندهی شده از اطلاعات دیجیتال که بصورت متن در پایگاهدادههای بزرگی ذخیره می شوند.
- آرشیو تصویر: شامل پایگاهداده بزرگی از تصاویر به شکل خام یا فشرده.
- اطلاعات زیستی: بدن هر انسانی از 50 تا 100 هزار نوع ژن یا پروتئین مختلف ساخته شده است. اطلاعات زیستی شامل تحلیل و تفسیر این حجم عظیم داده ذخیره شده در پایگاهداده بزرگی از ژنهاست.
- تصاویر پزشکی: روزانه حجم وسیعی از دادههای پزشکی به شکل تصاویر دیجیتال تولید میشوند، مانند EKG، MRI، ACT، SCAN و غیره. اینها در پایگاهدادههای بزرگی در سیستمهای مدیریت پزشکی ذخیره می شوند.
- مراقبتهای پزشکی: بجز اطلاعات بالا، یکسری اطلاعات پزشکی دیگری نیز روزانه ذخیره میشود مانند سوابق پزشکی بیماران، اطلاعات بیمه درمانی، اطلاعات بیماران خاص و غیره.
- اطلاعات مالی و سرمایهگذاری: این اطلاعات دامنه بزرگی از دادهها هستند که برای دادهکاوی بسیار مطلوب میباشند. از این قبیل دادهها میتوان از دادههای مربوط به سهام، امور بانکی، اطلاعات وامها، کارتهای اعتباری، اطلاعات کارتهای ATM، و کشف کلاهبرداریها می باشد.
- ساخت و تولید: حجم زیادی از این دادهها روزانه به اشکال مختلفی در کارخانهها تولید میشود. ذخیره و دسترسی کارا به این دادهها و تحلیل آنها برای صنعت تولید بسیار بااهمیت است.
- کسب و کار و بازاریابی: داده لازم است برای پیشبینی فروش، طراحی کسب و کار، رفتار بازرایابی، و غیره.
- شبکه راهدور: انواع مختلفی از دادهها در این صنعت تولید و ذخیره می شوند. آنها برای تحلیل الگوهای مکالمات، دنبال کردن تماسها، مدیریت شبکه، کنترل تراکم، کنترل خطا و غیره، استفاده میشوند.
- حوزه علوم: این حوزه شامل مشاهدات نجومی، داده زیستی، داده ژنومیک، و غیره است.
- WWW: یک حجم وسیع از انواع مختلف داده که در هر جایی از اینترنت پخش شدهاند.
در بیشتر این حوزهها، تحلیل دادهها یک روال دستی بود. یک تحلیلگر کسی بود که با دادهها بسیار آشنا بود و با کمک روشهای آماری، خلاصههایی تهیه و گزارشاتی را تولید میکرد. در یک حالت پیشرفتهتر، از یک پردازنده پیچیده پرسش استفاده میشد. اما این روشها با افزایش حجم دادهها کاملا بلااستفاده شدند.
مقدمه 4
عناصر داده کاوی 10
پردازش تحلیلی پیوسته: 11
قوانین وابستگی: 12
شبکه های عصبی : 12
الگوریتم ژنتیکی: 12
نرم افزار 13
کاربردهای داده کاوی 13
داده کاوی و کاربرد آن در کسب و کار هوشمند بانک 15
داده کاوی درمدیریت ارتباط بامشتری 16
کاربردهای داده کاوی در کتابخانه ها و محیط های دانشگاهی 17
مدیریت موسسات دانشگاهی 19
داده کاوی آماری و مدیریت بهینه وب سایت ها 21
داده کاوی در مقابل پایگاه داده Data Mining vs database 22
ابزارهای تجاری داده کاوی 23
منابع اطلاعاتی مورد استفاده 24
انبار داده 24
مسائل کسب و کار برای دادهکاوی 26
چرخه تعالی داده کاوی چیست؟ 27
متدلوژی دادهکاوی و بهترین تمرینهای آن 31
یادگیری چیزهایی که درست نیستند 32
الگوهایی که ممکن است هیچ قانون اصولی را ارائه نکنند 33
چیدمان مدل ممکن است بازتاب دهنده جمعیت وابسته نباشد 34
ممکن است داده در سطح اشتباهی از جزئیات باشد 35
یادگیری چیزهایی که درست ولی بلااستفادهاند 37
مدلها، پروفایلسازی، و پیشبینی 38
پیش بینی 41
متدلوژی 42
مرحله 1: تبدیل مسئله کسب و کار به مسئله دادهکاوی 43
مرحله 2: انتخاب داده مناسب 45
مرحله سوم: پیش به سوی شناخت داده 48
مرحله چهارم: ساختن یک مجموعه مدل 49
مرحله پنجم: تثبیت مسئله با دادهها 52
مرحله ششم: تبدیل داده برای آوردن اطلاعات به سطح 54
مرحله هفتم: ساختن مدلها 56
مرحله هشتم: ارزیابی مدل ها 57
مرحله نهم: استقرار مدل ها 61
مرحله 10: ارزیابی نتایج 61
مرحله یازدهم: شروع دوباره 61
وظایف دادهکاوی 62
1- دستهبندی 62
2- خوشهبندی 62
3- تخمین 63
4- وابستگی 65
5- رگرسیون 66
6- پیشگویی 67
7- تحلیل توالی 67
8- تحلیل انحراف 68
9- نمایهسازی 69
منابع 70
دانلود پایان نامه تکنیکهای داده کاوی و متدلوژی آن
