رگرسیون و درخت تصمیم

رگرسیون

پیش بینی مقدار یک متغیر پیوسته بر اساس مقادیر سایر متغیرها بر مبنای یک مدل وابسته خطی یا غیر خطی رگرسیون نامیده می شود. رگرسیون در علوم آمار و شبکه های عصبی به صورت وسیع مورد مطالعه و بررسی قرار می گیرد. در واقع یک بردار X به عنوان ورودی داریم که به متغیر خروجی Y نگاشت شده است. هدف محاسبه Y یا همان (X)F است که از روی تخمین تابع مقدار آن محاسبه می شود. در اینجا می بایست به ازای یک بردار X ، مقدار دقیق Y قابل محاسبه باشد. این کاربرد نیز مانند دسته بندی یک کاربرد از نوع پیش بینی یا با ناظر است. دلیل آن هم کاملا روشن است ، چرا که باید مقدار یک متغیر که در اینجا با Y نشان داده شده ، از روی مقادیر متغیرهای دیگر که آن را با بردار X مشخص می کنیم ، پیش بینی شود. بنابراین در رگرسیون هم دو مرحله آموزش و ارزیابی وجود خواهد داشت که طی آنها از مجموعه داده های آموزشی و مجموعه داده های آزمایشی استفاده می شود. روش های موجود در رگرسیون بیشتر مبتنی بر ریاضیات آماری هستند. یک نوع خاصی از رگرسیون ، پیش بینی سری های زمانی است. در مسائل پیش بینی سری های زمانی یکی از متغیرهای اصلی زمان می باشد. در این مسائل یک مجموعه از X ها و Y ها به صورت یک تابع ریاضی وجود دارند. به عبارت دیگر به ازای هر X فقط و فقط یک Y موجود می باشد. هدف این است که به ازای یک X جدید مقدار Y آن را پیش بینی کنیم (صنیعی, محمودی, & طاهرپور, 1394).

انواع رگرسیون :

· روش همزمان ( Enter Method ) : در این روش کلیه متغیرهای مستقل به طور همزمان وارد مدل می شوند.

· روش گام به گام ( Stepwise Method ) : در این روش متغیرها را یک به یک وارد مدل می کنیم.

· روش حذف ( Remove Method ) : با این روش می توان متغیرهای یک بلوک را از مدل رگرسیون حذف کرد.

· روش پس رونده ( Backward Method )

· روش پیش رونده ( Forward Method ) : ابتدا هم بستگی ساده بین هر یک از متغیرهای مستقل را با متغیرهای وابسته محاسبه می کنیم.

· رگرسیون خطی ساده / دو متغیره ( Simple Liner Regression ) : زمانی مورد استفاده قرار می گیرد که یک متغیر وابسته و مستقل داشته باشیم (اسماعیلی, 1391).

هدف :

تحلیل رگرسیونی فن و تکنیکی آماری برای بررسی و مدل سازی ارتباط بین متغیر وابسته و متغیر مستقل بوده و هدف آن پیش بینی متغیر وابسته از روی متغیر و یا متغیرهای مستقل می باشد. مهمترین تفاوت رگرسیون و هم بستگی در این است که رگرسیون ماهیت پیش بینی میزان متغیر وابسته از روی مدلی که متغیر مستقل یکی از مؤلفه های آن است را دارد. در حالی که هم بستگی صرفا نشان دهنده شدت رابطه متغیر ( متغیرهای ) مستقل و وابسته می باشد (شیرازی, 1389).

مثال هایی از رگرسیون عبارتند از :

- پیش بینی میزان فروش یک محصول جدید بر اساس میزان فروش محصولات گذشته، مشخصات محصولات گذشته و میزان تبلیغات انجام شده برای آنها .

- پیش بینی سرعت باد به عنوان تابعی از دما، رطوبت و فشار هوا .

- مسائل مربوط به پیش بینی سری های زمانی از قبیل : بورس اوراق بهادار، تغییرات جوی آب و هوا و ...

درخت تصمیم :

درخت تصمیم یکی از مشهورترین و قدیمی ترین روش های ساخت مدل دسته بندی است. در الگوریتم های دسته بندی مبتنی بر درخت تصمیم دانش خروجی به صورت یک درخت از حالات مختلف مقادیر ویژگی ها ارائه می شود. نمایش دانش به شکل درخت سبب شده است که دسته بندهای مبتنی بر درخت تصمیم کاملا قابل تفسیر باشند. در حالت کلی درخت تصمیم رسم شده برای یک مجموعه داده آموزشی، واحد و یکتا نیست. بر اساس یک مجموعه داده، درخت های تصمیم مختلفی می توان به دست آورد. به طور کلی الگوریتم های تولید درخت تصمیم مختلفی از جمله SPRINT , SLIQ , C4.5 , ID3 , CART , HUNT وجود دارند. برای درک هر الگوریتم درخت تصمیم می بایست ابتدا پایه ای ترین الگوریتم تولید درخت تصمیم یعنی الگوریتم HUNT را به خوبی بشناسیم (شهرابی & شکورنیاز, 1386).

یک استراتژی حریصانه برای ساخت در خت تصمیم وجود دارد. بر اساس این استراتژی، رکوردها همیشه بر اساس یک ویژگی کاندید که یک معیار خاص را بهینه می کند، شکسته می شوند. بنابراین اولین ویژگی ها برای انتخاب شدن، بستگی به همین معیار خواهد داشت. ویژگی که با توجه به بهترین بهبود را برای درخت به ارمغان می آورد، شایسته ترین ویژگی خواهد بود. قبل از معرفی انواع انواع مختلف معیارهای انتخاب بهترین ویژگی لازم است که روش های متنوع شکست ویژگی ها به چند حالت مختلف تشریح شود. روش های گوناگون شکست ویژگی ها به انواع مختلف ویژگی ها وابستگی کاملی دارد.

انواع روش های شکست برای ویژگی های اسمی :

دو روش شکست « چند انشعابی » و شکست « دو انشعابی » برای ویژگی های اسمی وجود دارد.

انواع روش های شکست برای ویژگی های ترتیبی :

برای ویژگی های ترتیبی نیز همانند ویژگی های اسمی، دو روش شکست « چند انشعاب » و شکست « دو انشعابی » وجود دارند.

انواع روش های شکست برای ویژگی های بازه ای و نرخی :

روش های مختلفی برای مدیریت ویژگی های بازه ای و نرخی وجود دارد. این روش ها برای هر نوع ویژگی مشابه هستند. به همین دلیل انواع روش های شکست را برای این دو نوع ویژگی در کنار یکدیگر تشریح می کنیم. دو روش مطرح در این زمینه، روش های « گسسته سازی » و « تصمیم گیری دودویی » هستند (صنیعی, محمودی, & طاهرپور, 1394).

مسائل مناسب برای یادگیری درخت تصمیم :

· مسائلی که در آنها نمونه هایی به شکل جفت های صفت – مقدار بازنمایی می شوند. مثال صفت دما – مقدار : ( گرم ، معتدل ، خنک )

· مسائلی که در آنها تابع هدف ، مقادیر خروجی گسسته دارد. مثال : خروجی یک تابع هدف فرضی : ( بلی ، خیر )

هدف اصلی دسته بندهای مبتنی بر درخت تصمیم چیست؟

· دسته بندی صحیح نمونه های آموزشی تا حد امکان .

· عام سازی نمونه های آموزشی به شکلی که نمونه های دیده نشده بتوانند با دقت هر چه بیشتر دسته بندی شوند .

· به روز رسانی آسان درخت، در صورت فراهم شدن نمونه های آموزشی جدید .

· داشتن یک ساختار تا سر حد امکان ساده .

معایب درخت تصمیم نسبت به روش های داده کاوی چیست؟

1. در مواردی که هدف از یادگیری، تخمین تابعی با مقادیر پیوسته است مناسب نیستند .

2. در مواردی با تعداد دسته های زیاد و نمونه های آموزشی کم، احتمال خطا بالاست .

3. تولید درخت تصمیم گیری، هزینه محاسباتی بالایی دارد .

4. هرس کردن درخت هزینه بالایی دارد .

5. در مسائلی که دسته های ورودی با نواحی مکعبی به خوبی جدا نشوند و دسته ها هم پوشانی داشته باشند، خوب عمل نمی کنند .

6. در صورت هم پوشانی گره ها تعداد گره های پایانی زیاد می شود .

7. در صورتی که درخت بزرگ باشد امکان دارد خطاها از سطحی به سطح دیگر جمع شوند . ( انباشته شدن خطای لایه ها بر روی یکدیگر ) .

8. طراحی درخت تصمیم گیری بهینه دشوار است. کارایی یک درخت دسته بندی کننده به چگونگی طراحی خوب آن بستگی دارد .

9. احتمال تولید روابط نادرست وجود دارد .

10. بازنمایی درخت تصمیم دشوار است .

11. هنگامی که تعداد دسته ها زیاد است، می تواند باعث شود که تعداد گره های پایانی بیشتر از تعداد دسته های واقعی شده و بنابراین زمان جستجو و فضای حافظه افزایش یابد .

چرا از دسته بند درخت تصمیم استفاده می کنیم؟

· نواحی تصمیم پیچیده سراسری ( خصوصا در فضاهای با ابعاد زیاد ) می توانند با اجتماع نواحی تصمیم محلی ساده تر، در سطوح مختلف درخت تقریب زده شوند .

· بر خلاف دسته بندی کننده های تک مرحله ای رایج، که هر نمونه داده ای روی تمام دسته ها امتحان می شود، در یک دسته بند مبتنی بر درخت تصمیم، یک نمونه فقط روی زیر مجموعه های خاصی از دسته ها امتحان شده و محاسبات غیر ضروری حذف خواهد شد .

· در دسته بندهای تک مرحله ای، فقط از زیر مجموعه ای از صفات، برای تفکیک بین دسته ها استفاده می شود که معمولا با یک معیار بهینه سراسری انتخاب خواهد شد. در دسته بندهای مبتنی بر درخت، انعطاف پذیری انتخاب زیر مجموعه های مختلفی از صفات در گره های داخلی مختلف درخت وجود دارد. به گونه ای که زیر مجموعه انتخاب شده به شکل بهینه، دسته های این گره را تفکیک می کند. این انعطاف پذیری ممکن است نسبت به دسته بندهای تک مرحله ای در کارایی بهبودی ایجاد کند .

مزایای درخت تصمیم :

1. درخت تصمیم توانایی کار با داده های پیوسته و گسسته را دارد .

2. درخت تصمیم از نواحی تصمیم گیری ساده استفاده می کند .

3. مقایسه های غیر ضروری در این ساختار حذف می شوند .

4. از ویژگی های متفاوت برای نمونه های مختلف استفاده می شود .

5. نیازی به تخمین تابع توزیع نیست .

6. آماده سازی داده ها برای یک درخت تصمیم ، ساده یا غیر ضروری است .

7. درخت تصمیم یک مدل جعبه سفید است. توصیف شرایط در درختان تصمیم به آسانی و با منطق بولی امکان پذیر است. در حالی که شبکه های عصبی به دلیل پیچیدگی در توصیف نتایج آنها، مدل جعبه سیاه می باشد .

8. تایید یک مدل در درخت های تصمیم با استفاده از ارزیابی های آماری امکان پذیر است .

9. ساختارهای درخت تصمیم برای تحلیل داده های بزرگ در زمان کوتاه قدرتمند می باشند .

10. روابط غیر منتظره یا نا معلوم را می یابند .

11. درخت های تصمیم قادر به شناسایی تفاوت های زیر گروه ها می باشند .

12. درخت های تصمیم قادر به سازگار کردن داده ها فاقد مقدار هستند .

13. روش های درخت تصمیم به ویژه در آشکار کردن تراکنش های پیچیده بین متغیرها، بسیار توانمند هستند. هر شاخه ای از درخت می تواند شامل ترکیبات مختلفی از متغیرها باشد و متغیرهای یکسان می توانند بیش از یک بار در قسمت های مختلف درخت ظاهر شوند. این امر می تواند مشخص کند که چگونه یک متغیر می تواند وابسته به متغیری دیگر باشد (صنیعی, محمودی, & طاهرپور, 1394) .

منابع

اسماعیلی, م. (1391). انبار داده ها و داده کاوی. تهران: انتشارات سافت گذر.

شهرابی, & شکورنیاز. (1386). مرور بر مفاهیم، وظایف و فرآیند داده کاوی سازمانی. تهران: دانشگاه امیر کبیر - 5 .

شیرازی, م. (1389). داده کاوی : مفاهیم، روش ها و کاربردها. تهران: انتشارات دانشگاه خواجه نصیرالدین طوسی.

صنیعی, م., محمودی, س., & طاهرپور, م. (1394). داده کاوی کاربردی. تهران: انتشارات نیاز دانش.