رفع قرمزی چشم به کمک پردازش تصویر

رفع قرمزی چشم به کمک پردازش تصویر

مقدمه

تبدیل ویژگی[۱] اصل مهمی در شناسائی الگو[۲]ست. هدف اصلی آن انتقال دادگان با ابعاد زیاد به فضای جدید با ابعاد کمتر می­باشد، که در این فضا توصیف ساختار داده­ها بهتر انجام گیرد. به عنوان مثال اگر ساختار کلاسهایی که تفکیک­پذیری غیرخطی­اند با تبدیلی به خطی تبدیل شود، عملاً کلاس­بندی آسانتر می­شود و تفکیک­پذیری خطی کلاسها افزایش می­یابد. تبدیل ویژگی خود می­تواند مراحل استخراج ویژگی[۳]، کاهش ویژگی[۴] و تبدیل ویژگی را در برداشته باشد، که برای هر بخش روشهای مختلفی ارائه شده است. از سویی تبدیل ویژگی می تواند بصورت تبدیل خطی مانند آنالیز تفکیک­پذیری خطی[۵] (LDA)یا تبدیل غیرخطی مانند آنالیز تفکیک­پذیری مبتنی بر هسته[۶] انجام گیرد.

تبديل ويژگي فرايندي است كه در طي آن مجموعه ويژگي جديدي ايجاد مي­شود. از ديدگاهي مي­توان تولید ويژگي[۷] و استخراج ويژگي را از انواع تبديل ويژگي دانست. كه معمولاً به هر دو روش كشف ويژگي[۸] گفته مي­شود. در ايجاد ويژگي فرايند با توليد ويژگي­هاي جديد همراه است كه به اين ترتيب علاوه بر ويژگي­هاي اوليه، ويژگي­هاي توليد شده نيز به مجموعه ويژگي­ها اضافه مي­شود. فرايند استخراج ويژگي به صورت يك تابع نگاشت از فضاي ويژگي­هاي اصلي به فضاي ويژگي­هاي جديد مي­باشد. ايجاد ويژگي تعداد ويژگي­ها را زياد مي­كند، در مقابل استخراج ويژگي تعداد ويژگي­ها را كاهش مي­دهد. انتخاب ويژگي[۹] زيرمجموعه­اي از ويژگي­هاي اصلي را بدون تغيير آن­ها انتخاب مي­كند و به نوعي كاهش ويژگي را نيز در بردارد.

مطالعات زیادی در زمینه روشهای تبدیل داده و ویژگی انجام شده است. روش آنالیز مولفه­ اصلی[۱۰](PCA) بر اساس مقادیر ویژه[۱۱] و بردارهای ویژه[۱۲] عمل می­کند و بردارهای ویژه­ای را بر می­گرداند که دارای مقدار ویژه­ بزرگتری باشند. روش PCA بر اساس وابستگی داده­ها عمل می­کند. این تبدیل خطی و بدون ناظر بوده و تضمین می­کند که داده­های تبدیل یافته دارای وابستگی نباشند.

از روشهای خطی دیگر می­توان به روش MDS[13] اشاره کرد که در آن از ماتریس ضرب داخلی داده­ها استفاده می­شود و نشان داده شده است که هم­ارز PCA می­باشد.

روش آنالیز تفکیک­پذیری خطی بر اساس معیار Fisher عمل می­کند. این روش باناظر سعی در بدست آوردن تبدیلی دارد که فاصله درون کلاسی را کاهش و فاصله برون کلاسی را افزایش دهد. عدم همبستگی دادگان در کلاسبندی مطلوب بوده، از اینرو روش آنالیز تفکیک­پذیری خطی غیر همبسته[۱۴] مطرح گردیده است. روش ULDA تبدیلی بدست می­آورد که علاوه بر افزایش معیار Fisher، مولفه­های ویژگی تبدیل یافته  بطور آماری همبستگی کمتری داشته باشند. روش LDA برای مسائلی که فاصله کلاسها در آن کم می­باشد عملکرد ضعیفی دارد که به همین جهت روش آنالیز تفکیک­پذیری خطی وزن­دهی[۱۵] (WLDA) شده مطرح گردیده است. عملکرد روش WLDA به نحوه انتخاب تابع وزن­دهی کلاس­ها وابسته است که Loog و همکارانش در  روش [۱۶]aPAC را برای حل این مشکل پیشنهاد کردند. فرض یکسان بودن واریانس کلاس­ها در روش LDA، عملکرد این روش را زمانی که واریانس کلاسها مشابه نیست، ضعیف می­­کند. روشهای HDA[17] ، HLDA[18] ، [۱۹]UHLDA و PLDA[20]  این فرض را از LDA حذف کرده­اند.

از دیگر روشهای تبدیل می­توان به آنالیز مولفه­های مستقل[۲۱] اشاره نمود. در ICA وابستگی آماری مولفه­های مختلف را کاهش می­دهد. از این تبدیل برای تفکیک­پذیری کور منابع[۲۲] استفاده می­شود. عملکرد ICA متناسب با درستی فرض مستقل بودن منابع می­باشد. روش خطی آنالیز تفکیک­پذیری ارتجاعی[۲۳] با ایجاد نیروی کشش بین نمونه­های یک کلاس و نیروی رانش بین نمونه­های دو کلاس متفاوت سعی در تمایز نمونه­ها دارد [۱۱]. تکنیک­های گفته شده با بهینه­سازی معیاری سعی در بدست آوردن تبدیل دارند. که اصولاً با معیار کلاس­بندی متفاوت است. روش خطای کلاس­بند کمینه[۲۴] بر اساس کاهش خطای کلاس­بندی عمل می­کند. کاهش خطای کلاس­بندی می­تواند از طریق تغییر مدلها کلاس­بند در مرحله یادگیری یا تبدیل ویژگی­ها صورت پذیرد. روش تبدیل ویژگی MCE به صورت یک الگوریتم تکرار شونده است که در آن ماتریس تبدیل ویژگی با توجه به خطای کلاس­بند بدست آمده که این بهینه­سازی می­تواند گرادیان کاهشی  یا الگوریتم­های تکاملی مانند استراتژی تکاملی[۲۵]  باشد.

دسته دیگری از روشهای تبدیل ویژگی، روشهای غیرخطی می­باشند. تبدیلات خطی در متمایزسازی دادگانی که کلاسهای آن ذاتاً جداسازی خطی نمی­شوند، عملکرد ضعیفی دارند. روش غیرخطی آنالیز مولفه­های اصلی(NLPCA)[26] مشابه با PCA برای تعیین و کاهش همبستگی داده­ها به کار می رود. روش PCA همبستگی خطی بین ویژگیها را مشخص می­کند اما NLPCA همبستگی خطی و غیرخطی بین ویژگیها را بدون توجه به ماهیت غیرخطی داده­ها مشخص می­کند. در روش NLPCA یک شبکه عصبی برای تعیین نگاشت غیرخطی آموزش داده می­شود.

دیدگاه غیرخطی دیگر استفاده از تابع هسته می­باشد، به این معنی که ابتدا با تابع هسته داده­ها به فضای غیرخطی نگاشت داده می­شوند و در این فضا نگاشت خطی اعمال می­گردد. این ایده در ماشین بردار پشتیبان (SVM) غیرخطی بکار می­رود. روش آنالیز تفکیک­پذیری ارتجاعی مبتنی بر هسته[۲۷] ، آنالیز مولفه­های اصلی مبتنی بر هسته[۲۸] ، آنالیز تفکیک­پذیری مبتنی بر هسته[۲۹]  نمونه­هایی از روشهای مبتنی بر هسته می­باشند. Mika و همکارانش الگوریتم تفکیک­پذیری Fisher مبتنی بر هسته را بهمراه منظم­سازی ماتریس پراکندگی درون کلاسی ارائه کردند. Xiong و همکارانش الگوریتم KDA موثری پیشنهاد کردند که از آنالیز دو مرحله­ای و تجزیه QR استفاده می­کند. Yang و همکارانش روش KPCA بهمراه LDA را پیشنهاد کردند که متمایزسازی را دو چندان می­کند. Xiong و همکارانش دو روش آنالیز تفکیک­پذیری غیرهمبسته مبتنی بر هسته[۳۰] و آنالیز تفکیک­پذیری متعامد مبتنی بر هسته[۳۱] ارائه داده­اند که سعی در ناهمبستگی بیشتر دادگان و تعامد آنها دارند.  در روش­های مبتنی بر هسته تعیین نوع هسته در عملکرد روش تبدیل ویژگی موثر است، در این راستا بررسی­هایی روی عملکرد توابع هسته مختلف در SVM صورت گرفته است. انتخاب تابع هسته به روش­ تبدیل ویژگی مبتنی بر هسته و ماهیت دادگان بستگی دارد.

از منظر ديگري مي­توان روشهاي تبديل ويژگي را به دو دسته باناظر و بدون ناظر طبقه نمود. در روش­هاي باناظر اطلاعاتي از قبيل برچسب كلاس نمونه­هاي آموزشي در اختيار الگوريتم قرار دارد، اما در روش­هاي بدون ناظر هيج اطلاعاتي از كلاس دادگان در اختيار الگوريتم نمي­باشد. از روشهاي باناظر مي­توان به LDA، MCE و از روشهاي بدون ناظر مي­توان به PCA و KPCA اشاره نمود.

در عکس هاي داراي فلاش قرمزي چشم بخاطر انعکاس نور از شبکيه که بخاطر رگهاي خوني قرمز رنگ مي باشد ايجاد مي شود. وضعیت این موضوع به خوبی در شکل زیر نشان داده شده است.

برخی از سيستم کاهش قرمزي چشم ک هبه صورت یشفرض در دوربین های جدید وجود دارد، براي حل اين مشکل، يک ثانيه قبل از عکس گرفتن نوري را به صورت فرد مي تاباند تا مردمک چشم تنگ شده و نور منعکس شده از شبکيه در عکس به حداقل ممکن برسد. خطای این روش در شرایط مختلف موجب شده است تا روش های دیگری نیز برای حل این مشکل و اصلاح خودکار آن بعد از گرفتن عکس درون مراحل پردازش دوربین ها و یا خارج از آن توسعه یابد.

موضوع مورد بحث در کار حاضر به طور خاص به تشخیص و اصلاح خودکار قرمزی چشم  برمیگردد و سعی خواهد شد بر مهمترین الگوریتم های پیشنهاد شده توسط محققین مروری علمی داشته باشیم.

عنبیه یک مجموعه پیچیده از ماهیچه ها هستند که در جلوی چشم انسان قرار گرفته بنابراین مشاهده و اندازه گیری آن آسان است ازین رو همه روش با این تشخیص آغاز می شوند. الگوریتم کلی برای رفع قرمزی چشم شامل مراحل زیر است.

مراحل پردازش تصویر شامل دریافت تصویر ،جداسازی عنبیه،نرمال سازی، استخراج ویژگی ،تطبیق ، بهبود کیفیت تصویر است

تصاویر گرفته شده از عنبیه فقط شامل ناحیه عنبیه نبوده و در آن ها مردمک ،پلک ها،مژه ها و انعکاسات نیزدیده می شوند برای پردازش های بعدی ابتدا باید تصاویر اولیه عنبیه که در پایگاه UBIRIS وCASIA برگرفته شده قطعه بندی شوند برای تشخیص هویت با استفاده از تصاویر عنبیه تشخیص نویزها و قطعه بندی دقیق تصویر عنبیه از اهمیت ویژه ای برخوردار است .

مرور روش های قطعه بندی :

در اولین مرحله پیش پردازش جداسازی مرزهای عنبیه از قسمتهای باقیمانده از تصویر چشم ورودی انجام می گیرد در این جداسازی مرز داخلی عنبیه با مردمک و مرز خارجی آن با صلبیه با استفاده از لبه یاب canny مشخصات این دوایر درونی وبیرونی تعیین می شود وبعد به وسیله تبدیل هاف نقاط روی مرزهای دایروی یا اشکال با معادله پارامتری مشخص تعیین می شودو مشخص کردن پلک ها و همچنین جداکردن مژه ها انجام می شود تکنیکهای گوناگونی توسط محققان در مرحله قطعه بندی استفاده شده مثل عملگر انتگرال دیفرانسیل ،تبدیل هاف،روش کانتور فعال.

برخی از روشهای موجود این مرحله:

داگمن ( Daugman) در روش خود از عملگر انتگرال دیفرانسیل برای تشخیص مرزهای عنبیه استفاده کرد و پلک های بالا و پایینرا توسط دو کمان جدا می کند .روش انتگرال- دیفرانسیل را می توان به صورت تغیرات تبدیل هاف در نظر گرفت زیرا از مشتق اول تصویر برای جستجو استفاده می کند این روش در صورتی که تصویر اولیه دارای نویز باشد مانند نویز ناشی از انعکاسات ممکن است جواب نادرستی بدهد چون به صورت محلی کار می کند به علاوه زمان زیادی برای پیدا کردن مرزها لازم دارد.

وایلدز (Wildes) عمل قطعه بندی را با استفاده از هیستوگرام و فیلتر کردن انجام داده و برای پیدا کردن لبه های پلک ها آن ها را با سهمی های افقی مدل سازی می کند .نویزهای ناشی از مردمک و مژه ها در این روش در نظر گرفته نشده اند.

تیسه (Tisse) روشی را برای قطعه بندی تصویر چشم بر مبنای عملگرهای انتگرال دیفرانسیل و تبدیل هاف ارائه کرده و با این کار زمان محاسباتی روش داگمن را کاهش داده و احتمال قرار گرفتن مرکز خارج از تصویر چشم را از بیین برده است در این روش نویزهای ناشی از مردمک و مژه ها در این روش نویزهای ناشی از مردمک و مژه ها در نظر گرفته نشده اند.

ما (Ma) از فیلتر کردن و پیدا کردن نقاط لبه و تبدیل هاف برای قطعه بندی استفاده کرده است در این روش نویز ناشی از مردمک و مژه ها در نظر گرفته نشده اند.

کنگ و ژانگ ( Kong and Zang) روشی برای شناسایی مژه ها ارائه کرده اند در این روش مژه ها قابل جدا سازی با استفاده از فیلتر های گابور یک بعدی و مژه های به هم چسبیده با استفاده از واریانس شدت نور شناسایی می شوند سپس ناحیه حلقوی عنبیه با تبدیل مختصات دایروی به کارتزین به یک نوار نگاشته شده و با استفاده از لبه یاب canny و تبدیل هاف مرزها بدست می آیند

اسمولکا و همکارات در سال ۲۰۰۳ روشی خودکار یا نیمه خودکار را ارائه کردند که ضمن تشخیص محل نقاط قرمز چشم با کمک تشخیص پوست و ناحیه چشم عملکرد بهتری نسبت به سیستم های داخلی دوربین های دیجیتال از خود نشان داده است. به طور کل می‌توان هر تصویر رنگی را با سه مولفه رنگی اصلی قرمز، آبی و سبز نمایش داد. البته فضاهای رنگی دیگری نیز برای نمایش مولفه‌های رنگی وجود دارد که از آن جمله می‌توان به YIQ، YCrCb و HSV اشاره کرد. مولفه های سیستم HSV عبارتند از Hue،Saturation و Intensity Value. در این مقاله از مولفه‌های Hue و Saturation به عنوان ویژگی مورد نظر برای پیکسل‌های پوست و غیرپوست استفاده شده است.

الگوریتم یشنهادی آن ها از ۵  مرحله زیر تشکیل شده است:

• تشخیص ترشولدرنگ و مشخص کردن المان های صورت
• پردازش تصویر باینری برای معین کردن نواحی مشابه پوست[۳۲] از طریق روش های ریاضی بر مبنای مرفولوژی
• تبدیل تصویر به سیاه و سفید
• جدا کرد بخش قرمز مشخص شده در چشم از کل تصویر
• تغییر رنگ بخش مشخص شده

 در سال ۲۰۱۴، رواتی و همکاران الگوریتم دیگری را پیشنهاد دادند که  همانند سایر الگوریتم ها از دو بخش پایه تشخیص قرمزی چشم[۳۳] و سپس اصلاح قرمزی چشم[۳۴] تشکیل شده است. مرحله اول با استفاده از تشخیص شکل، میزان قرمزی و سایر اطلاعات رنگ بدست می آید و در نهایت با استفاده از اصلاح زمینه آیریس[۳۵] اصلاح نهایی صورت می گیرد. بخش اول یعنی تشخیص ناحیه چشم شامل مراحل زیر است. یک الگوریتم مقاوم برای تشخیص ناحیه چشم در صویر در این مقاله ارائه شده است. الگوریتم پیشنهادی یک الگوریتم ترکیبی بر مبنای غلبه بر نقوص الگوریتم های پیشین می باشد. بعد از تشخیص ناحیه چشم، استخراج ویژگی ناحیه مشخص شده انجام می شود تا به طور دقیق تر چشم مشخص گردد. بر مبنای الگوریتم الگو برداری این روش مقاومت خود را در شناسایی مکان چشم بروز می دهد و کاملا در مشخص کردن ناحیه چشم از کل صورت موفق ظاهر شده است. در این قسمت با توجه به مقدار بی نظمی در نواحی مختلف ناحیه مردمک چشم تشخیص داده می شود.

در این میان میزان قرمزی چشم به صورت زیر تعریف می شود.

که در آن R،G،B، به ترتیب میزان المان قرمز، سبز و آبی هستند. ثابت K برای جلوگیری از تشکیل مخرج صفر و خطای عددی در نظر گرفته شده است.

موارد آماری مانند سایز مردمک چشم در شرایط نوری مختلف (شامل سه شرایط متفاوت) موجب بهبود پاسخ الگوریتم پیشنهادی در این کار شده است و در نهایت می توان برای شناسایی نقطه وسط مردمک و نقطه وسط چشم از سایز دقیق چشم استفاده کرد.

جدول سایز مردمک چشم بر اساس دیتابیس IRIS و پاسخ بدست آمده در الگوریتم پیشنهادی

در پژوهش دیگری ژانگ و همکاران از یک روش شناسایی الگو برای تشخیص ناحیه چشم و سپس رفع قرمزی استفاده کرده اند. بر این اساس ابتدا تقسیم بندی نواحی صورت انجام می شود. طبقه بندی به شرح زیر است:

در این روش ابتدا نواحی مختلفی که احتمال قرار گرفتن به عنوان ناحیه قرمز چشم را دارند انتخاب می شوند سپس با استفاده از یک کلاسه بندی منطقه نهایی برگزیده و سایر نواحی حذف می شوند.سپس عملایت رفع قرمزی روی ناحیه نهایی دنبال می شود.

ناحیه نهایی برگزیده برای رفع قرمزی چشم

در پژوهش سال ۲۰۱۳ که توسط کویی و همکاران انجام شد، روش خودکاری بر مبنای الگوریتم آدابوست پیشنهاد شد. کلیت الگوریتم پیشنهادی در چارت زیر آمده است.

الگوریتم تشخیص مردمک یک روش پنج مرحله ای است که اساسا یک نقطه عمل به عنوان مرکز از دایره که مردمک را نمایش می دهد و شعاع مربوطه اش را محاسبه می کند و به تنظیم کردن آن در میان یک سری از حرکت های ازچپ -راست و بالا- پایین ادامه می دهد. الگوریتم ابتدا تقریبی برای مرکز و شعاع از مردمک ارائه میکند.الگوریتم عکس را به ظور عمودی اسکن میکند و دنباله بلند تر از حداقل ۲۵ پیکسل پیوسته که مقداری زیر یک آستانه مشخص است را پیدا میکند .الگوریتم یک حلقه را تا وقتیکه یک دنباله معتبر پیدا شود تکرار می کندر که در هر تکرار از مقدار حد متفاوت( با شروع از ۵ و افزایش ۵ واحد در هر حلقه) استفاده می کند و سپس نقطه وسط از دنباله در دامنه از تصویر را شناسایی می کند.

میزان قرمزی در این کار به صورت زیر محاسبه شده است

اصلاح رنگ قرمز بر اساس اعمال روابط زیر روی ناحیه مشخص شده برای چشم صورت می گیرد.

سپس برای رفع هرگونه لبه و توسط توزیع گوسین فیلتر روی آن اعمال می شود تا طبیعی به نظر برسد.

[۱] Feature Transformation

[۲] Pattern Recognition

[۳] Feature Extraction

[۴] Feature Reduction

[۵] Linear Discriminant Analysis (LDA)

[۶] Kernel Discriminant Analysis (KDA)

[۷] Feature construction

[۸] Feature discovery

[۹] Feature Selection

[۱۰] Principal Component analysis (PCA)

[۱۱] Eigen value

[۱۲] Eigenvector

[۱۳] Metric Multi-Dimensional Scaling (MDS)

[۱۴] Uncorrelated LDA (ULDA)

[۱۵] Weighted LDA (WLDA)

[۱۶] Approximate Pairwise Accuracy Criteria (aPAC)

[۱۷] Heteroscedastic Discriminant Analysis (HDA)

[۱۸] Heteroscedastic Linear Discriminant Analysis (HLDA)

[۱۹] Uncorrelated Heteroscedastic LDA (UHLDA)

[۲۰] Power Linear Discriminant Analysis (PLDA)

[۲۱] Independent Component Analysis (ICA)

[۲۲] Blind Source Separation (BSS)

[۲۳] Springy Discriminant Analysis (SDA)

[۲۴] Minimum Classification Error (MCE)

[۲۵] Evolution Strategy (ES)

[۲۶] Nonlinear Principal Component Analysis (NLPCA)

[۲۷] Kernel Springy Discriminant Analysis (KSDA)

[۲۸] Kernel Principal Component Analysis (KPCA)

[۲۹] Kernel Discriminant Analysis (KDA)

[۳۰] kernel uncorrelated discriminant analysis (KUDA)

[۳۱] Kernel orthogonal discriminant analysis (KODA)

[۳۲] skin-like region

[۳۳] red-eye detection

[۳۴] red-eye correction

[۳۵] iris texture