عنوان :

پایان نامه بیناییش سه بعدی با استفاده از نور ساختار یافته با الگوی رنگی

تعداد صفحات : ۱۳۵

نوع فایل : ورد و قابل ویرایش

چکیده :

هدف از این پروژه استخراج پروفایل سه بعدی اجسام به استفاده از روش نور ساختار یافته ااست.

مقاله حاضر در ۵ فصل ، در فصل اول روشهای مختلفی برای استخراج پروفایل سه بعدی اجسام وجود دارند . این روشها را می توان از لحاظ نحوه کار به دو دسته کلی غیرفعال و فعال تقسیم بندی کرد .بر خلاف روشهای غیرفعال که بر هم کنش و تغییری روی شکل انجام نمی دهند ، روشهای فعال یا با موضوع ارتباط تماسی بر قرار می کنند و یا بعضی از انواع خاص نور را روی آن تصویر می کنند ( روش نور ساختار یافته).

بینایی سه بعدی همواره از موضوعات اساسی و مهم در بینایی ماشین  بوده است . این اهمیت به دلیل کاربردهای بسیار مهم و متنوع آن است . کاربردهای مختلف این شاخه بینایی ماشین در اندازه گیری ابعاد یک جسم ، مهندسی معکوس ، کنترل کیفیت محصولات خروجی کارخانه ، شناسایی اشیاء ، تهیه  نقشه سه بعدی ، انیمیشن کامپیوتری ، کاربردهای پزشکی و بسیاری کاربردهای دیگر است .

با توجه به کاربردهای مختلف اندازه گیری سه بعدی ، همواره سیستمهای مختلفی با توجه به نیازهای گوناگون پیاده سازی شده اند . اما در این میان استریو فتو گرامتری از مهمترین و عمده ترین روشها بوده است که در بسیاری از اوقات در بینایی سه بعدی به کار گرفته شده است . اما در دهه های اخیر استفاده از نور ساختار یافته رواج پیدا کرده است . در این فصل به مروری بر روشهای اسکن سه بعدی و کاربردها و اهمیت بازسازی شکل سه بعدی جسم می پردازیم ،

در فصل دوم از روشهای مختلف در نور ساختاریافته ، نور ساختار یافته کد شده بررسی شد . این روش در حقیقت نشان دهنده مزیتهای اصلی روش نور ساختاریافته است . این روش خاصیتی مانند رنگ یا شکل الگو را کد بندی می کند و از آن برای عمل تناظر یابی استفاده می کند . این کد گذاری برای دقیق انجام شدن تناظر یابی انجام می شود .

اما کدینگهای انجام شده نیز دارای تنوع هستند و به همین دلیل به دسته بندی آنها پرداختیم و این روشها را از نظر منطق کدینک طبقه بندی کردیم . از این میان کدینگ مکانی با توجه به مزایای آن انتخاب شد و در ادامه و در فصل بعدی به طراحی و ایجاد الگویی از این نوع می پردازیم . مهمترین مزیت این روش نسبت به سایر روشهای نور ساختار یافته کد شده استفاده از یک الگوی نوری برای بازسازی سطح بدون وجود خطا و کم شدن دقت کار است . و تنها هزینه ای که برای این مزیت وجود دارد ، پیچیده تر شدن الگوریتم  کدینگ در نقاط الگو است . به این ترتیب در ادامه به چگونگی طراحی و شناسایی این الگو می پردازیم .

در فصل سوم طی بحثهای انجام شده در مورد انواع کدینگ در این فصل طراحی روی یک الگو به انجام رسید . کدینگ انجام شده در این الگو بر اساس دنباله De_Bruijn انجام شد . کدینگ انجام شده بر روی خطوط رنگی پیاده سازی شد و مراجع کد دار همان نقاط تقاطع خطوط هستند . پس از طراحی الگو موارد مورد نیاز پردازش تصویر مطرح شد .

در مرحله پردازش تصویر از همان ابتدا برای شناسایی خطوط ، تصویر را به یک تصویر سیاه و سفید (دو سطحی)  تبدیل کردیم تا با این کار علاوه بر ساده کردن کار حجم محاسبات لازمه نیز کم گردد .در ادامه برای تشخیص لبه ها از یک الگوریتم به نام الگوریتم اسکلت بندی استفاده شد که در آن پس از اعمال ماسکهای خاص مشکل نا پیوستگی خطوط نیز تا حد بالایی حل شد . پس از تشخیص خطوط عملیات نازک سازی صورت گرفت تا به هدف اصلی در این فصل که همان نقاط تقاطع است دست پیدا کنیم .

پس از اطمینان از ضخامت خطوط ( ۱ پیکسل) با طراحی چندین ماسک به شناسایی نقاط تقاطع پرداختیم و این شناسایی اولیه نیز به سهم خود اصلاح شد تا جواب قابل قبول حاصل شود .

پس از شناسایی نقاط تقاطع برای بدست آوردن کد این نقاط لازم به شناسایی خطوط همسایه و رنگ آنها می باشد تا کدینگ لازم برای حل مسئله تطابق وجود داشته باشد . برای این کار الگوریتم مورد نظر از روش بر چسب گذاری روی اسکلت بندی تصویر  استفاده می کند .حال با دارا بودن این کد رنگها ابزار لازم برای تناظر یابی را دارا هستیم . اما با توجه به تغییر رنگها در اثر تابش و بازتابش نور و مشخصات دوربین عکس برداری ، عمل شناسایی کدهای وابسته به رنگها به آسانی امکان پذیر نیست .

در فصل چهارم می خوانیم که رنگهای گرفته شده از تصویر جسم دارای تغییراتی بودند . برای حل این مسئله از شبکه عصبی و به طور دقیقتر از شبکه بازخوردی (Backpropagation) استفاده شد . خروجی این شبکه به ازای ورودی سه تایی کانالهای رنگی ، مستقیماٌ کد رنگ مورد نظر خواهد بود . سپس با تعیین رنگها کد ۶ تایی مربوط به هر نقطه معین شد .  اکنون با داشتن کدها و مختصات نقاط به تناظر یابی آنها با کدهای الگوی اصلی پرداختیم . الگوی خام ذکر شده توسط برنامه تولید الگو که در پیوست موجود است تهیه می شود . سپس عمل تناظریابی توسط الگوریتم و برنامه نوشته شده انجام شد اساس عمل این الگوریتم میزان شباهت نقاط به یکدیگر است . سپس برای بدست آوردن تجیسمی از تناظر یابی و بررسی صحت این عمل ، شکلهایی از روی میزان اعوجاج یا جابجایی نقاط ترسیم شد . این اعوجاجها نسبتی مستقیم با پستی و بلندیهای جسم دارند و بنابراین تقریب خوبی از شمای جسم هستند . برای بدست آوردن ارتفاع دقیق هر نقطه و ابعاد دقیق جسم باید عمل کالیبراسیون سیستم و مثلث بندی انجام شود که در پیوست طریقه این عمل توضیح داده شده ولی انجام آن در حجم این تحقیق نمی گنجد زیرا در اینجا  مسئله تطابق که مهمترین مسئله بینایی سه بعدی است مطرح گردیده و برای آن راه حل اندیشدیده شده است . بنابراین خروجی مرحله تناظر یابی را می توان به صورت مستقیم به یک سیستم کالیبراسیون و مثلث بندی داد .

و در فصل پنجم : نتیجه گیری و پیشنهادات می باشد.

واژه های کلیدی: نور ساختار یافته ، بینایی سه بعدی، الگوی رنگی، روش استریو فتوگرامتری، مسئله تطابق

فهرست مطالب

چکیده                         ۲
فصل اول : تئوری نور ساختار یافته و کاربردهای بینایی سه بعدی
۱-۱- مقدمه                            ۱۷
۱-۲- روشهای غیر فعال بینایی سه بعدی                ۱۸
۱-۲-۱- روش استریوفتوگرامتری                  ۱۸
۱-۳- روشهای فعال بینایی سه بعدی                   ۱۹
۱-۳-۱- بکار گیری سنسور تماسی دربینایی سه بعدی          ۲۱
۱-۳-۲- بکار گیری سنسور غیر تماسی دربینایی سه بعدی           ۲۲
۱-۳-۲-۱- روش ارسال امواج                     ۲۲
۱-۳-۲-۲- روش های انعکاسی                  ۲۳
۱-۳-۲-۲-۱- رهیافتهای غیر اپتیکی در روشهای انعکاسی        ۲۳
۱-۳-۲-۲-۲- رهیافتهای اپتیکی در روشهای انعکاسی           ۲۳
۱-۳-۲-۲-۲-۱ رادار تصویر برداری                   ۲۴
۱-۳-۲-۲-۲-۲- روشهای اینترفرومتریک               ۲۶
۱-۳-۲-۲-۲-۳- استخراج عمق از طریق تمرکز بر روش فعال          ۲۷
۱-۳-۲-۲-۲-۴- استریوی فعال                     ۲۸
۱-۳-۲-۲-۲-۵- راستراستریوفتوگرامتری                  ۲۸
۱-۳-۲-۲-۲-۶- سیستم مجتمع تصویر برداری                ۲۹
۱-۳-۲-۲-۲-۷- تکنیک نور ساختار یافته              ۳۰
۱-۴- مقایسه روشها وتکنیکها و کاربردهای آنها            ۳۲
۱-۵- نتیجه گیری                          ۳۵
فصل دوم : روشهای مختلف کدینگ الگو
۲-۱- مقدمه                           ۳۷
۲-۲- روشهای طبقه بندی کدینگ الگوهای نوری                ۳۸
۲-۲-۱- الگوهای نوری از دیدگاه درجات رنگی                 ۳۹
۲-۲-۲- الگوهای نوری از دیدگاه منطق کدینگ               ۴۰
۲-۲-۲-۱- روشهای مبتنی بر الگوهای چند زمانه (کدینگ زمانی)          ۴۲
۲-۲-۲-۱-۱- کدینگهای باینری                   ۴۲
۲-۲-۲-۱-۲-  کدینگ با استفاده از مفهوم n-ary              ۴۴
۲-۲-۲-۱-۳-  کدینگ با استفاده از مفهوم انتقال مکانی            ۴۵
۲-۲-۲-۱-۴-  کدینگ با استفاده از همسایگی             ۴۶
۲-۲-۲-۲- روشهای مبتنی بر همسایگیهای مکانی(کدینگ مکانی)        ۴۸
۲-۲-۲-۲-۱- کدینگهای غیر متعارف (ابتکاری)              ۴۸
۲-۲-۲-۲-۲- کدینگ بر اساس دنباله De_Bruijn             ۵۰
۲-۲-۲-۲-۳- کدینگ بر اساس منطق M-Arrays           ۵۲
۲-۲-۲-۳- کدینگ مستقیم                       ۵۴
۲-۳- نتیجه گیری                         ۵۵
فصل سوم :پیاده سازی کدینگ و پردازش تصویر
۳-۱- مقدمه                            ۵۷
۳-۲- تولید کلمه های رمز با استفاده از دنباله De_Bruijn         ۵۹
۳-۳-  تابش الگو و عکسبرداری                   ۶۵
۳-۴- پردازش تصویر                    ۶۶
۳-۴-۱- دوسطحی سازی                    ۶۸
۳-۴-۲- تشخیص لبه ها و اسکلت بندی                ۷۰
۳-۴-۳- نازک سازی                         ۷۴
۳-۴-۴ نقاط تقاطع                           ۷۵
۳-۴-۵- شناسایی خطوط                          ۷۸
۳-۵- نتیجه گیری                        ۸۲
فصل چهارم :
شناسایی رنگ و حل مسئله تطابق و بازسازی سه بعدی
۴-۱- مقدمه                            ۸۴
۴-۲- شبکه عصبی و شناسایی رنگ                  ۸۶
۴-۲-۱- مسئله تغییر رنگ                       ۸۷
۴-۳- طراحی شبکه عصبی                      ۸۸
۴-۴- مسئله تطابق                       ۹۳
۴-۵- بازسازی سه بعدی                         ۹۹
۴-۶- بررسی خطاهای موجود                  ۱۰۳
۴-۶-۱- تغییر رنگ و خروجی غیر قطعی شبکه              ۱۰۳
۴-۶-۲- ناپیوستگی های تصویر رنگی               ۱۰۳
۴-۶-۳-خطای همپوشانی                    ۱۰۴
۴-۷- نتیجه گیری                          ۱۰۵
فصل پنجم : نتیجه گیری و پیشنهادات
۵-۱ مقدمه                              ۱۰۷
۵-۲- انتخاب روش و پیاده سازی                      ۱۰۸
۵-۳- پیشنهادات                           ۱۰۸
پیوست الف : نرم افزار تهیه شده               ۱۱۱
پیوست  ب : مثلث بندی                       ۱۲۲
مراجع                               ۱۳۰

مراجع:

مراجع فارسی :

گنزالس – رافائل– پردازش تصاویر دیجیتالی – ۱۳۸۳

گنزالس – رافائل –   پردازش تصاویر دیجیتالی با استفاده از نرم افزار متلب –  ۱۳۸۳

 اسلامی – آرش – دریافت اطلاعات سه بعدی اجسام با استفاده از نور ساختاریافته –پایان نامه کارشناسی ارشد در رشته مهندسی برق – الکترونیک –دانشگاه علم و صنعت ایران – ۱۳۸۳

سیدین – ساناز – دریافت اطلاعات سه بعدی اجسام با استفاده از نور ساختاریافته با الگوی رنگی –پایان نامه کارشناسی ارشد در رشته مهندسی برق – الکترونیک –دانشگاه علم و صنعت ایران- ۱۳۸۳

پوررضا کتیگری- مبین- بازسازی سه بعدی جسم با استفاده از کدینگ رنگ -پایان نامه کارشناسی ارشد در رشته مهندسی برق – الکترونیک –دانشگاه خواجه نصیر- ۱۳۸۳

فاوست – لارن –شبکه های عصبی (ساختار ، الگوریتمها و کاربردها ) – ۱۹۹۰

مراجع انگلیسی :

Jordi Pag`es, Joaquim Salvi and Josep Forest,A new optimised De Bruijn coding strategy for structured light patterns, IEEE,2005.

Asla M. S´a, Paulo Cezar P. Carvalho, Luiz Velho, (b, s)-BCSL : Structured Light Color Boundary Coding for 3D Photography, VMV Erlangen, Germany, November 20–۲۲, ۲۰۰۲٫

Olaf Hall-Holt Szymon Rusinkiewicz, Stripe Boundary Codes for Real-Time Structured-Light Range Scanning of  moving Objects, Stanford University,2000.

Filip Sadlo, Tim Weyrich, Ronald Peikert, Markus Gross,”A Practical Structured Light Acquisition System for Point-Based Geometry and Texture”, Eurographics Symposium on Point-Based Graphics 2005.

Sergey Weinstein , 3-D Stereoscopic Reconstruction using Structured Light , Year 2002.

Abbas M. Ali, S.D.Gore and Musaab AL-Sarierah, The Use of Neural Network to Recognize the Parts of the Computer Motherboard,Journal of Computer Sciences, 2005.

مقدمه : 

   نظر به گستردگی روز افزون استفاده از سیستم های هوشمند لزوم بکار گیری سیستم های بینایی اتوماتیک و یا نیمه اتوماتیک به منظور بدست آوردن ابعاد جسم بر کسی پوشیده نیست . در همین راستا در صنایع نیز در ایستگاههای بازرسی و کنترل کیفیت جهت بررسی دقیقتر میزان تطابق قطعه ی درحال تولید با قطعه مورد نظر ، از سیستم های بینایی استفاده می شود . بدین   وسیله علاوه بر مشخص شدن مورد خطا ، محل دقیق آن و میزان خرابی نیز مشخص می شود .

از جمله موارد کاربرد دیگر سیستم بینایی می توان به علوم نظامی ، پزشکی ، باستانشناسی ، راه و ساختمان و زمین شناسی و هدایت ربات اشاره کرد که روز به روز استفاده از سیستم های بینایی در آنها افزایش می یابد . سیستم های بینایی معمولی ، تنها به گرفتن یک تصویر دو بعدی از جسم اکتفا می کنند و قادر به تشخیص فاصله و یا ارتفاع و عمق نیستند . به همین دلیل و برای داشتن اطلاعات بیشتر از جسم ، محققان تلاش خود را بر روی بدست آوردن اطلاعات از بعد سوم      (محور Z) متمرکز کردند .

در راستای این تلاشها رهیافتهای متفاوتی جهت اسکن سه بعدی یک جسم ارائه شد . در این میان اسکنرهای تماسی مبتنی بر سنسورهای تماسی مکانیکی و اسکنرهای غیر تماسی مبتنی بر تکنولژی اپتیکی از جمله راه کارهایی هستند که محققان در پیش رو دارند . و در این میان راه کارهای اپتیکی به دلیل انعطاف پذیر بودن و هزینه قابل قبول ترجیح داده می شوند . ضمن اینکه در خیلی از موارد از دقت و قدرت بالاتری در مقایسه با تکنولژی تماسی برخوردار هستند .

در تحقیق انجام شده پس از بررسی انواع روشهای اپتیکی برای استخراج پروفایل سه بعدی ، یک سیستم نوری بر مبنای نور ساختاریافته کدینگ شده پس از بررسی روشهای کار شده در این   زمینه ، پیاده سازی می شود .

فصل اول به بررسی روشهای متفاوت استخراج مدل سه بعدی اشیاء می پردازد. علاوه بر آن کاربردهای مختلف بینایی سه بعدی ارائه می شود . در فصل دوم تکنیکهای مختلف کدینگ الگو در نور ساختاریافته بررسی می شود . در فصل سوم که آغازی برای پیاده سازی است با طراحی یک نوع کدینگ به طراحی یک الگو پرداخته می شود و پردازشهای لازم اولیه در تصاویر برای کشف رمزها توضیح داده می شوند . فصل چهارم با توضیح استفاده از شبکه عصبی برای تعیین کد رنگهای بدست آمده در ادامه به حل مسئله تطابق می پردازد و در نهایت یک بازسازی سه بعدی اولیه از جسم ارائه می دهد .  در نهایت در فصل پنجم به جمع بندی فصول گذشته پرداخته شده و پیشنهاداتی برای ادامه کار داده خواهند شد . در صفحه بعدی فلوچارتی از مراحل کلی کار آورده شده که به طور کلی نمایانگر مراحل کاری می باشد .

تئوری نور ساختار یافته و کاربردهای بینایی سه بعدی

روشهای مختلفی برای استخراج پروفایل سه بعدی اجسام وجود دارند . این روشها را می توان از لحاظ نحوه کار به دو دسته کلی غیرفعال و فعال تقسیم بندی کرد .بر خلاف روشهای غیرفعال که بر هم کنش و تغییری روی شکل انجام نمی دهند ، روشهای فعال یا با موضوع ارتباط تماسی بر قرار می کنند و یا بعضی از انواع خاص نور را روی آن تصویر می کنند ( روش نور ساختار یافته).

     بینایی سه بعدی همواره از موضوعات اساسی و مهم در بینایی ماشین  بوده است . این اهمیت به دلیل کاربردهای بسیار مهم و متنوع آن است . کاربردهای مختلف این شاخه بینایی ماشین در اندازه گیری ابعاد یک جسم ، مهندسی معکوس ، کنترل کیفیت محصولات خروجی کارخانه ، شناسایی اشیاء[۱] ، تهیه  نقشه سه بعدی ، انیمیشن کامپیوتری ، کاربردهای پزشکی و بسیاری کاربردهای دیگر است .

    با توجه به کاربردهای مختلف اندازه گیری سه بعدی ، همواره سیستمهای مختلفی با توجه به نیازهای گوناگون پیاده سازی شده اند . اما در این میان استریو فتو گرامتری از مهمترین و عمده ترین روشها بوده است که در بسیاری از اوقات در بینایی سه بعدی به کار گرفته شده است . اما در دهه های اخیر استفاده از نور ساختار یافته رواج پیدا کرده است . در این فصل به مروری بر روشهای اسکن سه بعدی و کاربردها و اهمیت بازسازی شکل سه بعدی جسم می پردازیم .

 ۱-۲-روشهای غیر فعال استخرج پروفایل سه بعدی 

استفاده از روشهای غیر فعال در بینایی سه بعدی از مدتها بر روی چندین تصویر دیجیتالی معمول بوده است . از جمله این روشها می توان به مثلث بندی دوتایی برای تصاویر جفت ، سایه اندازی[۲] و حرکت یا بافت[۳] اشاره کرد .

در ادامه روش بینایی استریو که یکی از پرکاربردترین روشهای غیر فعال است ، توضیح داده می شود . سپس به تشریح روشهای فعال می پردازیم .

 ۱-۲-۱-روش استریو فتوگرامتری 

درسیستم استریوفتوگرامتری یا بینایی سه بعدی از دو دوربین برای بدست آوردن اطلاعات سه بعدی استفاده می شود . این سیستم شبیه بینایی دو چشمی است که در بینایی انسان استفاده می شود . این سیستم در شکل ۱-۱ نشان داده شده است . مهمترین مسئله در این روش ، مسئله تطابق است . در این فرایند برای اطمینان از تمرکز دو دوربین در یک نقطه بایستی بین دو دوربین تطابق پیدا کرد  .این کار را می توان با استفاده از اطلاعات موجود در باره موضوع و یا استفاده از نقاط مبنا نظیر دیودهای منتشر کننده نور در میدان دوربینها انجام داد . برای مثال فرض کنید دو دوربین بر روی نقطه P تمرکز کرده با شند ، با داشتن فاصله بین دو دوربین D و فاصله کانونی دوربینها می توان L1 و L2 را محاسبه کرد [۴].