Regresi linear sederhana

Hukum Okun dalam ekonomi makro adalah contoh regresi linear sederhana. Di sini, peubah terikat (pertumbuhan PDB) diasumsikan berhubungan linear dengan perubahan pada tingkat pengangguran

Dalam statistika, regresi linear sederhana adalah model regresi linear yang hanya memiliki satu peubah bebas. Secara konvensional, pada sistem koordinat Kartesius model ini digambarkan sebagai suatu garis lurus, di mana sumbu x mewakili peubah bebas dan y peubah acak terikat. Peubah terikat y ini kadang-kadang juga disebut sebagai respon. Model regresi linear yang memerlukan lebih dari satu peubah bebas disebut sebagai regresi linear darab.

Perumusan

Tinjau suatu peubah bebas x dan peubah terikat (respon) y. Pada model regresi linear sederhana, hubungan antara x dan y dinyatakan sebagai berikut: $$\hat{y}=a+bx$$ di mana $a$ dan $b$ adalah koefisien regresi yang akan ditentukan dari data. Sementara itu, $\hat{y}$ adalah prediksi atau taksiran nilai peubah terikat $y$ untuk suatu nilai $x$. Umumnya nilai taksiran ini akan berbeda dengan nilai amatan/percobaan yang sesungguhnya.

Tiap pasangan pengamatan $(x_i,y_i)$ memenuhi hubungan $$y_i=a+b{x}_i+e_i$$ Di mana $e_i=y_i-\widehat{y_i}$ disebut sebagai sisa. Sisa ini mendeskripsikan galat kecocokan antara model regresi linear pada titik data ke-i.

Metode kuadrat terkecil

Menghitung a dan b dapat dilakukan dengan metode kuadrat terkecil. Pada metode ini, dicari a dan b sedemikian sehingga jumlah kuadrat sisa diminimumkan. Jumlah ini sering disebut sebagai jumlah kuadrat galat.

JKG dirumuskan sebagai $$JKG=\sum _{i=1}^n{e}_i^2=\sum _{i=1}^n(y_i-\widehat{y_i}{)}^2=\sum _{i=1}^n(y_i-a-b{x}_i{)}^2$$

JKG adalah fungsi dari a dan b. Untuk meminimumkan JKG, dicari turunan JKG terhadap a dan b yang kemudian disamakan dengan nol:

$\frac{\partial JKG}{\partial a}=-2\sum _{i=1}^n(y_i-a-b{x}_i)=0$

$\frac{\partial JKG}{\partial b}=-2\sum _{i=i}^n(y_i-a-b{x}_i)x_i=0$

Dengan menyusun ulang persamaan tersebut koefisien regresi a dan b dapat dihitung.