حداقل مربعات معمولی (روش OLS)

0
805
روش ols - حداقل مربعات معمولی

حداقل مربعات معمولی (روش OLS)

از میان روشهای مختلف خطی[۳] برای برآورد پارامترهای مدل( پارامترهای رگرسیون ) روش OLS[4] یا همان حداقل مربعات معمولی به خاطر خواص مطلوبی(البته هنگامی که فروض این روش برقرار باشند) که دارد به عنوان پرکاربردترین و غالبترین روش شناخته شده است. این روش که به کارل فردریک گوس، ریاضیدان نامی آلمان نسبت داده می‌شود از طریق حداقل کردن مجموع مربعات جملات اخلال[۵] تلاش میکند که بهترین خط رگرسیونی برای دادهها را برازش نماید.

مدل آماری رگرسیون خطی ساده۲)

بنابراین روش OLS سعی دارد تا رابطه شماره (۳) را حداقل نماید:

حداقل مربعات۳)

با حداقل کردن رابطه شماره (۳) روش OLS برآوردهایی از پارامترها را ارائه مینماید که با رابطهی زیر قابل محاسبه است:

۴)                                                                           تخمین پارامترهای رگرسیون

اگر هدف ما تنها تخمین عرض از مبدا رگرسیون  و ضریب متغیر x  باشد، روش OLS کافی است اما در تحلیل رگرسیون هدف تنها بدست‌آوردن برآوردهایی از عرض از مبدا رگرسیون  و ضریب متغیر x  نیست بلکه هدف استنتاجاتی دربارۀ عرض از مبدا رگرسیون  و ضریب متغیر x واقعی می‌باشد. برای رسیدن به این هدف نه تنها باید شکل تبعی مدل را تعیین کنیم بلکه باید فرضیات معینی دربارۀ چگونگی بوجودآمدن C:\Users\BIG_BUG\Desktop\2222_files\image004.png  و C:\Users\BIG_BUG\Desktop\2222_files\image002.png  را نیز مطرح سازیم:

معادله (۱) نشان می‌دهد که متغیر وابسته  هم به جملات اخلال  و هم به C:\Users\BIG_BUG\Desktop\2222_files\image002.png  بستگی دارد. بنابراین تا زمانی که ندانیم جملات اخلال  و متغیر مستقل یا توضیحی  چگونه بدست می‌آیند هیچ راهی برای دستیابی به استنتاجات آماری دربارۀ متغیر وابسته  و همچنین عرض از مبدا رگرسیون  و ضریب متغیر x  نخواهیم داشت. از این رو فرضیات مبتنی بر متغیرهای توضیحی و جزء خطا برای تفسیر معتبری از تخمینهای رگرسیون اهمیت دارند.


[۱] .Stochastic

[۲] .Occam’s razor

[۳] از آنجا که در روش OLS (حداقل مربعات معمولی)، پارامترهای تخمین زده شده یه صورت ترکیب خطی از متغیر وابسته  هستند به همین خاطر روش OLS یک روش خطی نامیده میشود. برای نشان دادن اینکه پارامترهای تخمین زده شده ترکیب خطی از متغیر وابسته هستند، کافیست متغیر متغیر آلفا  را به صورت زیر تعریف کنیم:

رگرسیون خطی نسبت به ضرایب

در این صورت تخمین ضریب متغیر توضیحی  برابر خواهد بود با:

تخمین ضریب متغیر توضیحی

که ترکیب خطی از متغیر وابسته  میباشد.

[۴] .Ordinary Least Squares

[۵] . روش OLS از مربعات جملات اخلال استفاده میکند. این بدین معناست که در روش OLS خطاهای بزرگتر بیشتر جریمه میشوند.


[list icon=”momizat-icon-pencil2″ icon_color=”#1e73be” icon_color_hover=”#dd3333″ icon_bg=”circle” ]مقاله قبلی[/list]

[box type=”info” radius=”5″]

رگرسیون چیست؟ (تاریخچه و مفهوم)

[/box]


[list icon=”momizat-icon-pencil2″ icon_color=”#1e73be” icon_color_hover=”#dd3333″ icon_bg=”circle” ]مقاله بعدی[/list]

[box type=”info” radius=”5″]

فروض رگرسیون (فروض کلاسیک رگرسیون)

[/box]


ارسال یک پاسخ

لطفا دیدگاه خود را وارد کنید!
لطفا نام خود را در اینجا وارد کنید