عنوان :

مقاله داده کاوی (Data mining)

تعداد صفحات : ۴۸

نوع فایل : ورد و قابل ویرایش

چکیده

داده کاوی (Data mining) یک فرایند تحلیلی است که جهت کاوش داده ها (معمولاً حجم بالای داده ها و یا داده های تجاری و مربوط به  بازار) و جستجوی الگوهای پایدار یا روابط سیستماتیک مابین متغیرها بکار میرود وسپس با اعمال الکو های شناسایی شده به زیر مجمو عه های جدید صحت  داده های بدست آمده بررسی میگردد. هدف نهایی داده کاوی پیشگویی است.

داده کاوی یکی از عناصر مدیریت ارتباط با مشتری است و می تواند به حرکت شرکتها به سمت مشتری محوری کمک کند. فرایند داده کاوی در مدیریت ارتباط با مشتری به صورت زیر است .

داده های خام از منابع مختلفی جمع آوری می شوند و از طریق استخراج، ترجمه و فرایندهای فراخوانی به انبار داده این مدیریت وارد می شوند. در بخش مهیـــاسازی داده، داده ها از انبار خارج شده و به صورت

یک فرمت مناسب برای داده کاوی در می آیند.بخش کشف الگو شامل چهار لایه است:
۱ – سوالهای تجاری مانند توصیف مشتری،۲ – کاربردها مانند امتیازدهی، پیش گویی،۳ – روشها مانند سری های زمانی، طبقه بندی،۴ – الگوریتم ها. در این بخش روشهای داده کاوی با کاربرد مخصوص خود برای پاسخ به سوالهای تجاری که به ذهن می رسند، الگوریتم هایی را استخراج می کنند و از این الگوریتم ها برای ساخت الگو استفاده می شود. در بخش تجزیه و تحلیل الگو، الگوها به یک دانش مفید و قابل استفاده تبدیل می شوند و پس از بهبود آنها، الگوهایی که کارا محسوب می شوند در یک سیستم اجرایی به کار گرفته خواهند شد.

داده کاوی در پیاده سازی قابلیت های خود از الگوریتمهای هوش مصنوعی، مثل شبکه های عصبی، بهره

می گیرد، که می کوشند تقلیدی از عملکرد مغز انسان برای محاسبات موازی ارائه کنند. داده کاوی توانسته است با استفاده از شبکه های عصبی و دیگر مفاهیم بر گرفته از هوش مصنوعی به نتایجی دست پیدا کند که حتی متخصصین این زمینه به آنها دست نیافته اند. این تکنیکها امکان تحلیل مقادیر بسیار بزرگتری از داده را در مقایسه با رو شهای سنتی فراهم می آورد. به علاوه داده کاوی کشف دانش ازاطلاعات را در پی خواهد داشت و باعث پدید آمدن پیش بینی هایی می شود که فراتر از عملکرد متخصصین این حوزه است.

 کلمات کلیدی : داده کاوی، هم پیوندی، طبقه بندی، الگوهای ترتیبی، خوشه بندی، آنالیز، فراگیری ماشین  ، فراگیری غیر نمادین، مدل های داده کاوی، داده کاوی پیشگویانه  ، تعمیم پشته ای، متن کاوی  ، انبار داده ها،

فهرست مطالب

چکیده :    ۱
مقدمه :    ۲
داده کاوی (Data mining)    :    ۳
۱- مرحله کاوش(Exploration)  :    ۵
مرحله ۲- ساختن مدل و معتبر سازی (model building and validation):    ۶
مرحله۳- مرحلهُ گسترش Deployment):( :    ۶
مفاهیم تعیین کننده در داده کاوی:    ۸
۱-هم پیوندی (Bagging) :    ۸
۲-طبقه بندی) Boosting  (  :    ۱۰
٣.الگوهای ترتیبی :    ۱۲
۴.خوشه بندی(clustering) :    ۱۳
تهیه مقدمات جهت داده کاوی :    ۱۴
کاهش داده ها در داده کاوی:    ۱۵
گسترش داده کاوی Deployment :    ۱۵
آنالیز (Drill – down analysis)  :    ۱۶
انتخاب خصیصه ها (Feature selection) :    ۱۷
فراگیری ماشین  (Machine learning):    ۱۸
Meta-learning (فراگیری غیر نمادین) :    ۱۹
مدل های داده کاوی:    ۲۰
فرایند داده کاوی در مدیریت ارتباط با مشتری :    ۲۳
داده کاوی پیشگویانه   (Predictive data mining) :    ۲۴
تعمیم پشته ای (stacked generalization) .:    ۲۵
متن کاوی  (text mining)  :    ۲۶
انبار داده ها (Data Warehousing )    :    ۲۷
مشخصات انبار داده ها :    ۲۸
سیستم های انبار داده :    ۳۰
معماری های انبار داده :    ۳۱
معماری دولایه:    ۳۱
معماری سه لایه دولین :    ۳۳
OLAP (فرآیند آنالیز  آن لاین) Online analytic processing:    ۳۴
تحلیل کاوشگرایانه داده‌ها:    ۳۵
تکنیک‌های  محاسباتی EDA:  :    ۳۶
روشهای کاوشگرایانه پایه:    ۳۶
تکنیک‌های گرافیکی EDA:    ۳۷
Brushing:    ۳۷
تفکیک‌های گرافیکی دیگر EDA:  :    ۳۸
بررسی صحت نتایج EDA:    ۳۹
شبکه‌های عصبی:    ۳۹
نتیجه گیری :    ۴۳
مراجع :    ۴۴

 مراجع :

[۱] L. English: Improving Data Warehouse and Business Information Quality. Wiley,

New York et al.1999.

[۲] Jiawei han , micheline Kamber “Data Mining :concepts And Techniques “ simon Fraser university 2000

مقدمه :

امروزه با حجم عظیمی از داده ها روبرو هستیم. برای استفاده از آنها به ابزارهای کشف دانش نیاز داریم. داده کاوی به عنوان یک توانایی پیشرفته در تحلیل داده و کشف دانش مورد استفاده قرار می گیرد. داده کاوی در علوم (ستاره شناسی،…)‌در تجارت (تبلیغات، مدیریت ارتباط با مشتری،…) در وب (موتورهای جستجو،…) در مسایل دولتی (فعالیتهای ضد تروریستی،…) کاربرد دارد.  عبارت داده کاوی شباهت به استخراج زغال سنگ و طلا دارد. داده کاوی نیز اطلاعات را که در انبارهای داده مدفون شده است، استخراج می کند.

در واقع هـــــدف از داده کاوی ایجاد مدل هایی برای تصمیم گیری است. این مدلها رفتارهای آینده را براساس تحلیلهای گذشته پیش بینی می کنند. به کاربردن داده کاوی به عنوان اهرمی برای آماده سازی داده ها و تکمیل قابلیتهای انباره داده ، بهترین موقعیت را برای به دست آوردن برتریهای رقابتی ایجاد می کند.

  داده کاوی (Data mining)    :

داده کاوی (Data mining) یک فرایند تحلیلی است که جهت کاوش داده ها (معمولاً حجم بالای داده ها و یا داده های تجاری و مربوط به  بازار) و جستجوی الگوهای پایدار یا روابط سیستماتیک مابین متغیرها بکار میرود وسپس با اعمال الکو های شناسایی شده به زیر مجمو عه های جدید صحت  داده های بدست آمده بررسی میگردد. هدف نهایی داده کاوی پیشگویی است.

سازما نها معمو ً لا روزانه مقدار زیادی داده را در انجام عملیات تجاری خود تولید و جمع آوری می کنند.

امروزه برای این پایگاه های داده شرکتی عجیب نیست که مقدار داده های آن در حد ترابایت باشد. با این حال علی رغم ثروت اطلاعاتی عظیم ذخیره شده حدس زده می شود که فقط ٪ ٧کل داد ه هایی که جمع آوری  می شود مورد استفاده قرار می گیرد. بدین ترتیب مقدار قابل توجهی داده که بدون شک حاوی اطلاعات ارزشمند سازمانی است تا حد زیادی دست نخورده باقی می ماند. در محیط تجاری عصر اطلاعات، که هر روز رقابتی تر می شود  می توان با استخراج اطلاعات از داد ه های استفاده نشده به تصمیم گیری های استراتژیک دست یافت. در طول تاریخ تحلیل داده ها از طریق رگرسیون و دیگر تکنیک های آماری انجام شده است.  برای استفاده از این تکنیکها ، لازم است که تحلیل گر مدلی خلق کند و فرآیند گر دآوری دانش را سازمان دهد.

اما امروزه این روش ها به تنهایی کافی نیستند و باید از روش ها ی خود کار استفاده کرد.

داده کاوی عبارت است از فرآیند خودکار کشف دانش و اطلاعات از پایگاه های داد ه ای.

این فرآیند تکنیک ها یی از هوش مصنوعی را بر روی مقادیر زیادی داده اعمال می کند تا روندها ، الگوها و روابط مخفی را کشف کند. ابزار های داده کاوی برای کشف دانش یا اطلاعات از داده ها به کاربر اتکا نمی کنند، بلکه فرآیند پیشگویی واقعیت ها را خود کار می سازند. این تکنولوژی نوظهور، اخیرًا به طور

فرایند های در تحلیل ها مورد استفاده قرار می گیرد

داده کاوی پیشگویانه رایج ترین نوع داده کاوی است و با برنامه های کاربردی تجاری در ارتباط مستقیم است . فرایند داده کاوی از سه مرحله تشکیل شده است.

ا- کاوش اولیه (initial exploration )

۲-ساختن مدل یا شناسایی الگو بوسیله سنجیدن اعتبار وصحت داده ها

۳-گسترش

۱- مرحله کاوش(Exploration)  :

این مرحله معمولاً با آماده سازی داده ها آغاز می شود که تشکیل شده است از پاکسازی داده ها (cleaning data) ،تغیر شکل داده ها، انتخاب زیر مجموعه ای از رکورد ها (در زمانی که مجموعه ای از داده ها با حجم بالایی از فیلد ها  موجود است) و انجام دادن برخی عملیات اولیه جهت قرار دادن  متغیر ها در یک بازه قابل مدیریت،که بستگی به روش آماری ای که مورد نظراست دارد و پس ازآن به طبیعت مسئله تحت بررسی مربوط می شود.

مرحلهُ اول فرآیند داده کاوی می تواند در هر جایی از گستره ، انتحاب یک روش مستقیم پیشگویی   تا یک روش تجزیه و تحلیل با جزئیات وزحمت بالا قرار داشته باشد .(جهت کسب اطلاعات وسیع تر به قسمت EDA مراجعه کنید).

این مدل جهت شناسایی متغییر هایی که بیشتر از همه با موضوع مرتبط هستند و جهت مشخص کردن پیچیدگی و طبیعت کلی مسئله در مراحل بعدی مورد استفاده قرار میگیرد .

مرحله ۲- ساختن مدل و معتبر سازی (model building and validation):

این مرحله در گیر در نظر گرفتن مدل های مختلف،و انتخاب بهترین آنها بر اساس کارایی در پیشگویی ، می باشد.(برای مثال تعییرات سوُالات را تشریح کندونتایج ثابتی در مقابل نمونه ها تولید کند.) شاید این به نظر عملیات ساده ای بیاید. ولی در واقع بعضی از مواقع در گیر یکسری فرآیند های پیچیده می شود.روشهای مختلفی جهت رسیدن به این هدف وجود دارد که آنها را روشهای ارزیابی رقابتی مدل ها (competitive evaluation of models ) می نامند که مدلهای مختلفی را بر روی یک دادهُ ثابت اعمال می کند و سپس کارایی آنها بررسی می شود تا بهترین آنها انتخاب گردد. این روش ها که در خیلی از مواقع به عنوان هستهُ داده کاوی پیشگویانه تلقی می گردند و شامل    طبقه بندی کردن(bagging،)، ترقی دادن (boosting ) ،انباشتن (stacking )و یادگیری غیر نمادین(meta learning  )میباشند.

جهت دریافت و خرید متن کامل مقاله و تحقیق و پایان نامه مربوطه بر روی گزینه خرید انتهای هر تحقیق و پروژه کلیک نمائید و پس از وارد نمودن مشخصات خود به درگاه بانک متصل شده که از طریق کلیه کارت های عضو شتاب قادر به پرداخت می باشید و بلافاصله بعد از پرداخت آنلاین به صورت خودکار  لینک دنلود مقاله و پایان نامه مربوطه فعال گردیده که قادر به دنلود فایل کامل آن می باشد .