که در سطر دوم از تعریف گرادیان محلی  که در رابطه (۲-۲۷) داده شده است استفاده کرده‌ایم و به جای اندیس j از اندیس k استفاده کرده‌ایم.
نهایتاً با بهره گرفتن از رابطه (۲-۳۶) در (۲-۲۸) فرمول پس انتشار را برای گرادیان محلی  به صورت زیر به دست می‌آوریم:
دانلود پایان نامه - مقاله - پروژه
(۲-۳۷)
ضریب  در محاسبه گرادیان محلی  در رابطه (۲-۳۷) تنها تابع محرک مربوط به نورون مخفی j وابسته است. بقیه ضرایب در محاسبات فوق، یعنی جمع بر روی k، به دو مجموعه از جملات وابسته است. اولین مجموعه از جملات،  ها هستند که به سیگنال‌های خطای  برای تمامی نورون‌هایی که در لایه سمت راست نورون‌های مخفی j قرار دارند و نورون‌هایی که مستقیماً به نورونj متصل می‌شوند وابسته‌اند. دومین مجموعه از جملات  ها هستند که وزن‌های سیناپسی مربوط به این اتصالات می‌باشند.
اکنون روابطی که برای الگوریتم پس انتشار بدست آوردیم را جمع بندی می‌کنیم، ابتدا اصلاح  را که به وزن سیناپسی اتصال دهنده نورون i به نورون j اعمال می‌شود با بهره گرفتن از قانون دلتا تعریف می‌کنیم:
(۲-۳۸)
سیگنال ورودی نورون
پارامتر نرخ یادگیری
اصلاح وزن
گرادیان محلی

دوم آنکه گرادیان محلی  به این بستگی دارد که نورون j یک نود خروجی است یا یک نود مخفی:

 

    1. اگر نورون j یک نود خروجی باشد  برابر با حاصل ضرب مشتق  و سیگنال خطای  است که هر دوی آنها مربوط به نورون j هستند (به معادله (۳-۲۷) رجوع کنید).

 

    1. اگر نورون j یک نود مخفی باشد  برابر با حاصل ضرب مشتق مربوطه  و جمع وزن دار  ها است که برای نورون‌ها در لایه مخفی ای

 

    1. خروجی بعدی که به نورون j متصل می‌شوند محاسبه می‌گردد (به معادله (۲-۲۷) رجوع کنید).

 

۲-۸-۶ دو مسیر محاسباتی
در به‌کارگیری الگوریتم پس‌انتشار دو مسیر محاسباتی مجزا وجود دارد. اولین مسیر با عنوان مسیر پیش رو و دومین مسیر بعنوان مسیر پس رو شناخته می‌شود.
در مسیر پیش رو وزن‌های سیناپسی در طول شبکه بدون تغییر باقی می‌ماند و سیگنال‌های عمل شبکه به صورت نورون به نورون محاسبه می‌شوند. سیگنال عمل که در خروجی نورون j ظاهر می‌شود به صورت زیر محاسبه می‌شود:
(۲-۳۹)
که در آن  میدان اعمال شده محلی نورون j است که به صورت زیر تعریف می‌شود:
(۲-۴۰)
که در آن m برابر با تعداد کل ورودی‌ها (به غیر از بایاس) اعمال شده به نورون j می‌باشد و  وزن سیناپسی است که نورون i‌ را به نورون j متصل می‌کند و  سیگنال ورودی نورون j یا معادل با آن سیگنال عمل ظاهر شده در خروجی نورون i است. اگر نورون j در اولین لایه مخفی شبکه باشد  و اندیس i نشان دهنده i امین ترمینال ورودی شبکه است که برای آن می‌توانیم بنویسیم:
(۲-۴۱)
که در آن  i امین المان از بردار (الگوی) ورودی است. از طرف دیگر اگر نورون j در لایه خروجی شبکه  باشد و اندیس j به j امین ترمینال خروجی شبکه اشاره می‌کند که برای آن می‌نویسیم:
(۲-۴۲)
که در آن  j‌ امین جز بردار (الگوی) خروجی است. این خروجی با پاسخ مطلوب  مقایسه‌ می‌شود، و از آن سیگنال خطای  را برای j امین نورون خروجی شبکه به دست می‌اید. در نتیجه فاز رو به‌ جلو محاسبات با قراردادن بردار ورودی در اولین لایه مخفی به دست می‌آید و در لایه خروجی با محاسبه سیگنال خطا برای هر نورون در این لایه پایان می‌یابد.
از طرف دیگر مسیر پس رو از لایه خروجی آغاز می‌شود و با گذراندن سیگنال‌های خطا به صورت لایه به لایه به سمت چپ توزیع می‌گردد و مقدار  (گرادیان محلی) به صورت خود بازگشتی برای هر نورون محاسبه می‌گردد. برای نورونی که در لایه خروجی قرار دارد  برابر با سیگنال خطای نورون ضرب در مشتق اول تابع غیر خطی است. به این ترتیب از رابطه (۲-۳۸) برای محاسبه تغییرات تمام وزن‌هایی که لایه خروجی را تغذیه می‌کنند استفاده می‌شود. هنگامی که  ها در نورون‌های لایه خروجی معلوم باشند از معادله (۲-۳۷) برای محاسبه  های تمام نورون ها در لایه تنبیه شونده و در نتیجه تغییرات وزن‌های تمامی اتصالاتی که آنها را تغذیه می‌کند، استفاده می‌شود. محاسبه خودبازگشتی به صورت لایه به لایه با انتشار تغییرات به تمام وزن‌های سیناپسی در شبکه ادامه می‌یابد.
باید توجه داشته باشیم که در هنگام ارائه هر نمونه آموزش، الگوی ورودی در فرایند انتقال که مسیر پیش رو و پس رو را تحت تأثیر قرار می‌دهد، ثابت می‌ماند.
تابع محرک محاسبه  برای هر نورون در پرسترون چند لایه نیازمند دانستن مشتق تابع محرک  نورون مربوطه است. برای این که مشتق تابع  وجود داشته باشد لازم است که تابعی پیوسته باشد. در واقع مشتق پذیری تنها شرطی است که تابع محرک باید داشته باشد. یک نمونه از تابع محرک غیر خطی با مشتق پذیری پیوسته که معمولاً در پرسپترون‌های چند لایه استفاده می‌شود غیر خطی سیگمونیدی است که دو صورت آن به شرح زیر بیان می‌شوند:

 

    1. تابع لجستیک: این صورت از غیر خطی سیگمونیدی به طور کلی به صورت زیر تعریف می‌شود:

 

(۲-۴۳)
که در آن با قرار دادن  می‌توانیم جمله تمامی  را از معادله (۲-۴۴) حذف کنیم و سپس مشتق  را به صورت زیر بیان می‌کنیم:
(۲-۴۵)
برای نورون j که در لایه خروجی قرار دارد  می‌باشد. بنابراین گرادیان محلی برای نورون j را به این صورت بیان می‌کنیم:
(۲-۴۶) نورون j یک نود خروجی است

که در آن  سیگنال کاری در خروجی نورون j است و  پاسخ مطلوب برای آن می‌باشد. از طرف دیگر می‌توانیم برای یک نورون مخفی دلخواه j گرادیان محلی را به این صورت بیان می‌کنیم:
(۲-۴۷) نورون j مخفی است
از معادله (۲-۴۵) یادآور می‌شویم که مشتق  در  به بیشترین مقدار خود و در  یا  به کمترین مقدار خود یعنی صفر می‌رسد. از آنجایی که مقدار تغییر در یک وزن سیناپسی شبکه با مشتق  متناسب است، به این نتیجه می‌رسیم که برای تابع محرک سیگموئیدی، وزن‌های سیناپسی بیشتر برای آن نورون‌هایی در شبکه تغییر می‌کنند که در آنها سیگنال‌های کاری در حد وسط خود باشند. این ویژگی یادگیری پس انتشار است که به پایداری آن به عنوان یک الگوریتم یادگیری کمک می‌کند.

 

    1. تابع تانژانت هیپربولیک: تابع تانژانت هیپربولیک صورتی دیگر از غیر خطی سیگموئیدی است که به صورت کلی به شکل زیر تعریف می‌شود:

 

موضوعات: بدون موضوع  لینک ثابت


فرم در حال بارگذاری ...