Regresi Linier Berganda

1

Regresi Linier Berganda

2

Asumsi Analisis Regresi Linier

1. Data Y berskala minimal interval Data X berskala minimal nominal (jika data X berskala nominal / ordinal

harus menggunakan bantuan variabel dummy)

2. Existensi untuk setiap nilai dari variabel x yang tetap, y adalah variabel random dengan distribusi probabilitas tertentu yang mempunyai mean dan varians.

3


3. Nilai y secara statistik saling bebas

4. Linieritas, nilai rata-rata y adalah sebuah fungsi garis lurus dari x

5. Homoscedasticity. Varians dari y adalah sama pada beberapa x

6. Distribusi normal pada beberapa nilai tertentu x, y mempunyai distribusi normal

4


5


6


Model regresi linier berganda melibatkan lebih dari satu variabel bebas. Modelnya :

Dimana

Y = variabel terikat

Xi = variabel bebas ( i = 1, 2, 3, …, k)

0 = intersep

i = koefisien regresi ( i = 1, 2, 3, …, k)Model penduganya adalah

kkXXXY ...22110

kkXbXbXbbY ...22110

7


Misalkan model regresi dengan kasus 2 peubah bebas X1 dan X2 maka modelnya :

Sehingga setiap pengamatan

Akan memenuhi persamaan

22110 XXY

niYXX iii ,...,2,1;;, 21

iXXY 22110

8

Menaksir Koefisien Regresi Dengan Menggunakan Matriks

Dari hasil Metode Kuadrat Terkecil didapatkan persamaan normal :

…..

ikikii YXbXbXbnb ...22110

iikiikiiii YXXXbXXbXbXb 112122

1110 ...

ikikikikiikiki YXXbXXbXXbXb 222110 ...

9


Tahapan perhitungan dengan matriks :

1. Membentuk matriks A, b dan g

221

1212

11

21

...

...............

...

...

kiikiikiki

kiiiiii

kiii

XXXXXX

XXXXXX

XXXn

A

10


kb

b

b

b...1

0

ikik

ii

i

YXg

YXg

Yg

g...

11

0

11


2. Membentuk persamaan normal dalam bentuk matriks

A b = g

3. Perhitungan matriks koefisien b

b = A-1 g

12

Metode Pendugaan Parameter Regresi

Dengan Metode Kuadrat Terkecil, misalkan model terdiri dari 2 variabel bebas

Tahapan pendugaannya :

1. Dilakukan turunan pertama terhadap b0 , b1 dan b2

n

i

n

iiiii XbXbbYe

1 1

222110

2

iiii XbXbbY

b

e22110

0

2

2

iiiii XXbXbbY

b

e122110

1

2

2

iiiii XXbXbbY

b

e222110

2

2

2

13


2. Ketiga persamaan hasil penurunan disamakan dengan nol

iii YXbXbnb 22110

iiiiii YXXXbXbXb 121221110

iiiiii YXXbXXbXb 222221120

14


3. Nilai b1 dan b2 dapat diperoleh dengan memakai aturan-aturan dalam matriks

22110 XbXbYb

2

121

1

22

1

21

12

121

11

1

22

1

n

i

n

i

n

i

n

i

n

i

n

i

n

i

XXXX

YXXXYXX

b

2

121

1

22

1

21

11

121

12

1

21

2

n

i

n

i

n

i

n

i

n

i

n

i

n

i

XXXX

YXXXYXX

b

15

Uji Kecocokan Model

1. Dengan Koefisien Determinasi

R2 menunjukkan proporsi variasi total dalam respon Y yang dapat diterangkan oleh model

r merupakan koefisien korelasi antara Y dengan kelompok X1 , X2 , X3 , … , Xk

JKT

JKRR 2

rR 2

16

Uji Kecocokan Model

2. Dengan Pendekatan Analisis Ragam

Tahapan Ujinya :

1. Hipotesis =

H0 : 0

H1 : 0

dimana

= matriks [ 0, 1, 2, … , k ]

17

Uji Kecocokan Model

2. Tabel Analisis Ragam

Komponen Regresi

SS db MS Fhitung

Regresi JKR k JKR / k JKR /k

s2

Galat JKG n – k – 1 s2 = JKG / n-k-1

Total JKT n – 1

18

Uji Kecocokan Model

3. Pengambilan Keputusan

H0 ditolak jika

pada taraf kepercayaan

Fhitung > Ftabel(1 , n-k-1)

19

Uji Parsial Koefisien Regresi

Tahapan Ujinya :

1. Hipotesis =

H0 : j 0

H1 : j 0

dimana j merupakan koefisien yang akan diuji

20


2. Statistik uji :

Dimana :

bj = nilai koefisien bj

s =

cjj = nilai matriks A-1 ke-jj

jj

jj

cs

bt

1/ knJKG

21


3. Pengambilan keputusan

H0 ditolak jika

pada taraf kepercayaan

thitung > t /2(db= n-k-1)

22

Pemilihan Model Terbaik

1. All Possible RegressionTahapan pemilihan :i. Tuliskan semua kemungkinan model regresi

dan kelompokkan menurut banyaknya variabel bebas

ii. Urutkan model regresi menurut besarnya R2

iii. Periksalah untuk setiap kelompok apakah terdapat suatu pola variabel yang konsisten

iv. Lakukan analisa terhadap kenaikan R2 pada tiap kelompok

23

Pemilihan Model TerbaikContoh :

Akan dianalisis model regresi yang terdiri dari 4 variabel bebas

Pembagian kelompoknya

Kelompok A terdiri dari koefisien intersep

Kelompok B terdiri dari 1 variabel bebas

Kelompok C terdiri dari 2 variabel bebas

Kelompok D terdiri dari 3 variabel bebas

Kelompok E terdiri dari 4 variabel bebas

0YiiXY 0

jjii XXY 0

kkjjii XXXY 0

443322110 XXXXY

24


Persamaan regresi yang menduduki posisi utama dalam setiap kelompok adalah

Persamaan terbaiknya adalah Y = f(X1 , X4)

Kelompok Model Regresi R2

B Y = f(X4) 67,5%

C Y = f(X1 , X2) 97,9%

Y = f(X1 , X4) 97,2%

D Y = f(X1 , X2 , X4) 98,234%

E Y = f(X1 , X2 , X3, X4) 98,237%

25


2. Backward Elimination ProcedurTahap pemilihannya :i. Tuliskan persamaan regresi yang mengandung

semua variabelii. Hitung nilai t parsialnyaiii. Banding nilai t parsialnya

a. Jika tL < tO maka buang variabel L yang menghasilkan tL, kemudian hitung kembali persamaan regresi tanpa menyertakan variabel L

b. Jika tL > tO maka ambil persamaan regresi tersebut

26

Pemilihan Model TerbaikContoh :


Model regresi yang mengandung semua variabel bebas

Model terbaiknyaY = f(X1,X2)

443322110 XXXXY Persamaan Regersi t parsial F

Y = f(X1,X2,X3,X4) 157,266*

X1 4,337*

X2 0,497*

X3 0,018

X4 0,041*

Y = f(X1,X2,X4) 166,83*

X1 154,008*

X2 5,026*

X4 1,863

Y = f(X1,X2) 229,5*

27


3. Stepwise Regression ProcedurTahap pemilihannya :

i. Hitung korelasi setiap variabel bebas terhadap variabel Y. Variabel bebas dengan nilai korelasi tertinggi masukkan dalam model regresi (syarat uji F menunjukkan variabel ini berpengaruh nyata)

ii. Hitung korelasi parsial setiap variabel bebas tanpa menyertakan variabel bebas yang telah mauk model. Masukkan variabel bebas dengan korelasi parsial tertinggi ke dalam model

iii. Hitung nilai t parsial variabel yang telah masuk model, jika tidak berpengaruh nyata keluarkan dari model

iv. Kembali ke langkah ii

28


Contoh :


29

Model Variabel Korelasi t parsial F

riy 0,731

r2y 0,816

r3y -0,535

r4y -0,821

Y = f(X4) 22,798*

r1y.4 0,915

r2y.4 0,017

r3y.4 0,801

Y = f(X1,X4) 176,627*

r2y.14 0,358 X1 = 108,223*

r3y.14 0,320 X4 = 159,295*

Y = f(X1, X2,X4) 166,832*

X1 = 154,008*

X2 = 5,026*

X4 = 1,863

r3y.124 0,002

Y = f(X1, X2) 229,504*

Model terbaik

Y = f(X1 , X2)

Regresi Linier Berganda

Documents