یک بهینه سازی بهسازی شدة هجوم ذره برای انتخاب ویژگی
خلاصه- بهینه سازی هجوم ذره(PSO) یک الگوریتم محبوب و قدرتمند بر مبنای رفتار اجتماعی مربوط به ازدحام پرندگان برای مسائل بهینه سازی است. برای حفظ کردن تنوع هجوم ها، یک تعداد مطالعات استراتژی چند گله ای گزارش شده اند، بهرحال، رقابت درمیان گله ها، محافظت یا تخریب یک گله، بیشتر بررسی نشده است. در این مقاله، ما چهار قاعدة را با معرفی کردن مکانیزمی برای بقای سالم ترین تدوین می کنیم، که رقابت را در میان گله ها شبیه سازی می کند. بر مبنای این مکانیزم، ما یک PSO چند گله ای اصلاح شده(MSPSO) را برای حل کردن مسائل مجزا طراحی می کنیم که شامل یک تعداد گله های فرعی و یک برنامه ریز چند گله ای است که می تواند هر گله فرعی(یا زیر- گله) را با استفاده از قواعدنظارت و کنترل کند. برای حل و فصل بیشتر مسائل انتخاب ویژگی، ما یک روش بهسازی شدة انتخاب ویژگی (IFS) را با ادغام کردن MSPSO، ماشین های بردار حمایت (SVM) با روش امتیاز-F پیشنهاد می کنیم. روش IFS هدفش رسیدن به قابلیت عمومیت دهی بالاتر از طریق اجرا کرئن بهینه سازی پارامتر کرنل و انتخاب ویژگی بطور همزمان است. عملکرد روش پیشنهاد شده با عملکرد روشهای استاندارد بر مبنای PSO، الگوریتم ژنتیکی(GA) و بر مبنای تحقیق شبکه روی ده پایگاه داده های معیارگرفته شده از پایگاههای داده های یادگیری ماشینUCI و Stat log مقایسه می شوند نتایج عددی و تحلیل آماری نشان می دهند که روش IFS پیشنهادشده بطور قابل توجهی بهتر از سه روش از لحاظ دقت پیش گویی با زیرمجموعه های کوچکتر ویژگی است.
کلمات کلیدی: بهینه سازی هجوم ذره، انتخاب ویژگی، استخراج داده ها، ماشین های بردار حمایت
۱-مقدمه :
انتخاب ویژگی یکی از مهمترین فاکتورهایی است که می تواند روی میزان دقت طبقه بندی تاثیر بگذارد. اگر مجموعة داده ها شامل یک تعداد از ویژگیها باشد، بعد فضا بزرگ و غیرپاک، خواهد بود و میزان دقت دسته بندی را از بین می برد. یک روش انتخاب ویژگی کارآمد و قوی می تواند داده های نونیزدار، نامربوط و مازاد را حذف نماید.
الگوریتم های انتخاب زیرمجموعة ویژگی می توانند به دو نوع دسته بندی شوند: الگوریتم های فیلتر و الگوریتم های پوششی . الگوریتم های فیلتر، زیرمجموعة ویژگی را قبل از بکارگیری هرگونه الگوریتم دسته بندی انتخاب می کند و ویژگیهای کمتر مهم از زیرمجموعه را حذف می کند. روشهای پوششی الگوریتم یادگیری معیارهای عملکرد و استراتژی تحقیق را تعریف می کنند الگوریتم یادگیری زیر مجموعه را با استفاده از داده های آموزشی و عملکرد زیر مجموعة کنونی جستجو می کند.
بهینه سازی هجوم ذره(PSO) از شبیه سازی رفتار اجتماعی ساده شدة تجمع پرنده الهام می گیرد که اول توسط Eberhart , Kennedy بوجود آمد. بکارگیری آن با پارامترهای اندک آسان است و آن بطور وسیعی برای حل کردن مسائل بهینه سازی و همچنین مسئله انتخاب ویژگی مورد استفاده قرار می گیرد. تلاشهای متنوعی برای بهسازی کردن عملکرد PSO استاندارد در سالهای اخیر انجام شده است. بهرحال، مطالعات کمی تأکید در مورد تحقیق کردن را روی استراتژی چند گله ای قرار داده اند. معمولاً، الگوریتم های برمبنای PSO تنها یک گله دارند که حاوی یک تعداد از ذرات است. الگوریتم های برمبنای PSO با استفاده از استراتژی چند گله ای قابلیت های آتشفشانی و بهره برداری بیشتری بدلیل این حقیقت دارند که گله های مختلف امکان برای کشف کردن بخشهای مختلف فضای راه حل را دارند. از طرف دیگر، PSO استاندارد در طول زمان همگرایی می کند و به موجب آن تنوع را از دست می دهد . بنابراین توانایی برای واکنش دادن سریع به حرکت یک پیک از دست می رود. PSO چند گله ای می تواند تنوع گله ها را حفظ کند و تطبیق پذیری آن را تضمین کند و بموجب آن عملکرد PSO را بهسازی نماید.
Blackwell وBralso جمعیت ذرات را به یک مجموعه از گله های برهم کنش کننده تقسیم بندی می کنند. آنها از یک مکانیزم رقابت ساده در میان گله ها استفاده کردند که نزدیک به یکدیگر هستند برندة گلة با بهترین ارزش عملکرد برای جذب کنندة گله اش است. با زنده خارج شده و در فضای تحقیق مجدداً آغاز می شود، در غیر اینصورت برندة باقی می ماندParott و Li جمعیت گله را به جمعیت های فرعی گونه های بر مبنای مشابهت شان تقسیم بندی کردند. ذرات همانند سازی شدة اضافی زدوده می شوند وقتی که ذرات دارندة سلامتی یکسان با بذر گونه ها درون همان گونه ما جذب می شوند. بعد از تخریب کردن موارد همانند سازی شدة ذرات جدید بطور تصادفی اضافه می شوند تا اندازة آن به اندازة اولیه اش برگردد.Niu و دیگران بهینه ساز و هجوم ذرة همکارانه چندگله ای(MCPSO) را بر مبنای یک مدل ارباب –برده پیشنهاد کردند، که در آن یک جمعیت شامل یک گلة ارباب و چندین گلة برده است.MCPSO برمبنای یک سناریوی رقابت آمیز است، که هجوم ارباب ذرات آنرا توسط یک مجموعه از رقابت ها با گله های برده تقویت می کند. گلة ارباب ذرات خودش را برمبنای رقابت مستقیم با گله های برده تقویت می کند و مناسب ترین ذره ها در تمام گله ها فرصت برای راهنمایی کردن جهت جنگیدن ذرات در کلة ارباب را دارد .
An Improved Particle Swarm Optimization for Feature Selection
Abstract
Particle Swarm Optimization (PSO) is a popular and bionic algorithm based on the social behavior associated with bird flocking for optimization problems. To maintain the diversity of swarms, a few studies of multi-swarm strategy have been reported. However, the competition among swarms, reservation or destruction of a swarm, has not been considered further. In this paper, we formulate four rules by introducing the mechanism for survival of the fittest, which simulates the competition among the swarms. Based on the mechanism, we design a modified Multi-Swarm PSO (MSPSO) to solve discrete problems, which consists of a number of sub-swarms and a multi-swarm scheduler that can monitor and control each sub-swarm using the rules. To further settle the feature selection problems, we propose an Improved Feature Selection (IFS) method by integrating MSPSO, Support Vector Machines (SVM) with F-score method. The IFS method aims to achieve higher generalization capability through performing kernel parameter optimization and feature selection simultaneously. The performance of the proposed method is compared with that of the standard PSO based, Genetic Algorithm (GA) based and the grid search based methods on 10 benchmark datasets, taken from UCI machine learning and StatLog databases. The numerical results and statistical analysis show that the proposed IFS method performs significantly better than the other three methods in terms of prediction accuracy with smaller subset of features.
لینک مقاله اصلی:
https://www.sciencedirect.com/science/article/pii/S1672652911600206
لطفاً براي ارسال دیدگاه، ابتدا وارد حساب كاربري خود بشويد