Pengantar Big data - digitalent-its.infodigitalent-its.info/web/download_bd/file/Analisis_Regresi_Revisi.pdf · 0 Y 1 X EÖ EÖ XX XY n i i n i i i s s X X ... bahwa kekuatan dorong

ANALISIS REGRESI Teori dan Aplikasinya

Jerry D.T. Purnomo, Ph.D.

Pendahuluan (1/3)

• Misalnya suatu perusahaan ingin merencanakan produksi, perusahaan ini memerlukan informasi tentang penjualan agar tidak terjadi over production atau under production.

• Andaikan jumlah produksi disimbolkan dengan y, dan jumlah penjualan disimbolkan dengan x. Apabila dua variabel y dan x mempunyai hubungan, maka nilai variabel x yang sudah diketahui dapat digunakan untuk memperkirakan/menduga variabel y.

Pendahuluan (2/3)

• Bentuk hubungan dua variabel (misal x dan y) pada umumnya terdiri atas 2 macam, yaitu ada hubungan antara dua variabel (positif atau negatif) dan tidak ada hubungan.

• Hubungan x dan y dikatakan positif apabila kenaikan (penurunan) x pada umumnya diikuti oleh kenaikan (penurunan) y.

Pendahuluan (3/3)

• Sebaliknya dikatakan negatif kalau kenaikan (penurunan) x pada umumnya diikuti oleh penurunan (kenaikan) y.

• Sedangkan x dan y tidak berhubungan apabila kenaikan/penurunan x pada umumnya tidak diikuti oleh naik turunnya y.

Scatter Plot Hubungan Variabel

• Diagram pencar untuk hubungan positif (a), negatif (b), dan tidak ada hubungan antara x dan y (c)

(a) (b) (c)

Y

X

Y

X

Y

X

Koefisien Korelasi (1/2)

• Kuat dan tidaknya hubungan antara x dan y apabila dinyatakan dengan fungsi linear, diukur dengan suatu nilai yang disebut koefisien korelasi.

• -1 ≤ r ≤ 1

Koefisien Korelasi (2/2)

• Nilai koefisien korelasi yang semakin mendekati 1 menunjukkan hubungan antara variabel x dan y semakin kuat dan positif.

• Sedangkan nilai koefisien korelasi yang semakin mendekati -1 menunjukkan hubungan antara variabel x dan y semakin kuat tetapi negatif.

Regresi Linear Sederhana (1/2)

• Model Regresi Linear dengan hanya melibatkan satu variabel x. • Bentuk umum dari model regresi ini: ; i = 1, 2, …, n dimana = variabel respon/dependen = variabel prediktor/independen = intercept = slope = residual • Goal: diberikan dan estimasi dan .

0

1

0 1i

iii xy 10

iy

ix

iyix

Regresi Linear Sederhana (2/2)

• Salah satu metode yang paling terkenal untuk mengestimasi parameter regresi dan adalah metode ordinary least square (OLS).

• Ide dasar dari metode ini adalah meminimumkan jumlah kuadrat residual (SSE).

0 1

Ordinary Least Square (OLS) (1/4)

(x1, y1)

(x2, y2)

(xn, yn)

e1

e2

en

xy 10ˆˆˆ

OLS (2/4)

• Kriteria least square didefinisikan:

• Estimator least square untuk dan , yaitu dan , harus memenuhi

21010

2

10

2

, ii

iii

xyS

xy

0 1 0̂ 1̂

n

i

iii

n

i

ii

xxyS

xyS

1

10

ˆ,ˆ1

1

10

ˆ,ˆ0

0ˆˆ2

0ˆˆ2

10

10

OLS (3/4)

• Dengan menyederhanakan kedua persamaan di atas didapatkan persamaan normal least square:

n

i

n

i

iii

n

i

i

n

i

i

n

i

i

yxxx

yxn

1 1

2

1

1

0

11

10

ˆˆ

ˆˆ

OLS (4/4)

• Dengan menyelesaikan persamaan normal ini didapatkan:

XY 10ˆˆ

XX

XY

n

i i

n

i ii

s

s

XX

YYXX

1

2

11̂

Property of LS Fit

• Jumlah kuadrat regresi (SSR):

• Jumlah kuadrat residual/error (SSE):

• Jumlah kuadrat total (SST):

n

i

i yySSR1

2ˆ

n

i

ii yySSE1

2ˆ

n

i

i yySST1

2

ANOVA

Sumber Variasi SS DF MS Fh

Regresi SSR 1 1SSR MSEMSR

Residual SSE n-2 )2( nSSE

Total SST n-1 )1( nSST

Koefisien Determinasi

• Nilai koefisien determinasi (R2) dapat digunakan untuk memprediksi seberapa besar kontribusi pengaruh variabel prediktor x terhadap variabel respon y dengan syarat hasil uji F dalam analisis regresi bernilai signifikan.

• Koefisien determinasi:

Bagus jika

SST

SSRR 2

%602 R

Statistik Uji

• Statistik uji yang digunakan untuk slope:

dimana

)ˆse(

ˆ

1

1

ht

xxs

nSSE 2/)ˆ(se 1

p-value

• Nilai p (p-value) adalah ukuran probabilitas kekuatan dari bukti untuk menolak atau menerima hipotesis null (H0).

• Semakin kecil nilai p yang diperoleh maka semakin kuat bukti tersebut untuk menolak hipotesis null.

• Dalam aplikasinya kita biasanya membandingkan dengan nilai alpha yang digunakan.

• Jika p-value < α, maka tolak H0, sedangkan jika p-value > α, maka gagal tolak H0.

Interval Confidensi (CI) (1/2)

• Rentang antara dua nilai di mana nilai suatu sample mean tepat berada di tengah-tengahnya.

• Nilai sebuah interval confidensi dapat dinyatakan dengan kemungkinan (probability) berapa sample dalam 100 kali pengambilan samples nilai population mean sesungguhnya akan masuk dalam sebuah rentang sample mean. Contoh: 95% of confidence interval artinya jika saya mengambil 100 sampel maka kemungkinan 95 sampel saya akan mencakup nilai population mean sesungguhnya.

Interval Konfidensi (CI) (2/2)

• Jadi, 100(1–α)% CI untuk diberikan:

12,21112,21ˆseˆˆseˆ nn tt

1

Uji Hipotesis Untuk Slope

Hipotesis untuk model regresi sederhana:

Hipotesis:

H0 :

H1 :

01

01

Kriteria Penolakan H0

Hipotesis nol (H0) ditolak jika terpenuhi salah satu kriteria berikut:

1.

2. p-value < α

3. CI tidak memuat nilai nol.

2,2 nh tt

Asumsi Regresi

• Error/residual harus memenuhi asumsi identik, independen, distribusi normal (IIDN)

• Identik : gunakan uji Glejser

• Independen: gunakan uji Durbin-Watson

• Normal : gunakan uji kolmogorov-Smirnov

Bentuk Plot Residual

Asumsi Distribusi Normal

• Hipotesis

H0 : residual berdistribusi normal

H1 : residual tidak berdistribusi normal

Contoh 1

• The Rocket Propellant Data (Montgomery, Peck, and Vining, 2012).

• Berikut adalah data tentang kekuatan dorong roket. Diketahui bahwa kekuatan dorong roket terindikasi dipengaruhi oleh usia mesin pendorongnya.

• Berdasarkan informasi ini:

yi = kekuatan dorong roket (psi)

xi = umur mesin pendorong (minggu)

Analisis

• Kita akan melakukan analisis yang mendalam berdasarkan contoh 1 di atas.

• Bentuk hubungan antara kekuatan dorong dan umur mesin pendorong digambarkan dengan scatter plot sebagai berikut.

Scatter Plot (1/2)

Gambar 1. Scatter plot hubungan antara kekuatan dorong roket dan umur mesin pendorong

Scatter Plot (2/2)

• Berdasarkan Gambar 1 diketahui bentuk hubungan antara kekuatan dorong roket dan umur mesin pendorong adalah linear negatif, artinya semakin tua umur mesin pendorong, kekuatan dorong roket semakin lemah.

Parameter Regresi

• Dari data ini didapatkan estimasi parameter regresi:

• Model regresinya:

82.2627ˆ

15.37ˆ

0

1

mesinumur15.3782.2627dorongkekuatan

ANOVA

Sumber Variasi DF SS MS F P

Regresi 1 1527483 1527483 165.4 0.000

Error 18 166255 9236 Total 19 1693738

p-value<α (0.05). Artinya model regresi signifikan.

Uji Hipotesis Parameter Regresi

Hipotesis untuk model regresi data rocket propellant:

Hipotesis:

H0 :

H1 :

01

01

Predictor Coef SE Coef T P

Konstanta 2627.820 44.180 59.470 0.000

Jumlah -37.154 2.889 -12.860 0.000 R-Sq = 90.2% R-Sq (Adj) = 89.6%

Kesimpulan

Karena:

1. atau 12.86>2.101, atau

2. p-value<α atau 0.000<0.05, atau

3. CI untuk tidak memuat nol atau -43.22≤ ≤-31.08

maka tolak H0. Artinya variabel umur mesin pendorong berpengaruh terhadap kekuatan dorong roket, dan hubungan di antara dua variabel ini adalah hubungan negatif (lihat tanda dari parameter regresi )

2,2 nh tt

1 1

1̂

Uji Asumsi Residual

• Hipotesis

H0 : residual berdistribusi normal

H1 : residual tidak berdistribusi normal

• Nilai p (p-value) yang didapatkan adalah 0.066. Nilai ini lebih dari α (0.05). Artinya gagal tolak H0 atau residual berdistribusi normal.

Multiple Linear Regression

• Bentuk umum model regresi linear dengan lebih dari satu variabel prediktor:

alternatively:

• y = variabel respon/dependen

• x = variabel prediktor/independen

• adalah parameter regresi 0 , , p

εXβy

iippiii xxxy 22110

OLS (Pendekatan Matriks)

• Metode OLS untuk multiple linear regression dapat didefinisikan sebagai berikut:

dimana

1ˆ T T

β X X X Y

11 21 1

12 22 2

1 2

1

1,

1

p

p

n n pn

x x x

x x x

x x x

X

1

2

n

y

y

y

Y

ANOVA

Sumber Variasi SS DF MS Fh

Regresi SSR 1 1SSR MSEMSR

Residual SSE n-2 )2( nSSE

Total SST n-1 )1( nSST

yXβyy

yy

yXβ

TTT

T

TT

SSE

SST

SSR

ˆ

ˆ

Uji Hipotesis

• Uji serentak (menguji ANOVA)

Hipotesis:

H0 :

H1 : at least one of is not equal; i = 1,…, p

• Uji individu/parsial (jika hasil uji serentak adalah tolak H0):

Hipotesis:

H0 : = 0

H1 : ≠ 0; i = 1 ,…, p

1 2 0p

i

ii

Contoh 2

• The delivery time data (Montgomery, Peck, and Vining, 2012)

• Berikut adalah data tentang waktu pengiriman minuman soft drink ke vending machines (menit). Diketahui waktu pengiriman soft drink (y), dipengaruhi oleh jumlah soft drink yang diletakkan di vending machines (x1), dan jarak tempuh (feet) dari perusahaan ke lokasi vending machines (x2)

Scatter Plot (1/2)

Gambar 2. Scatter plot y vs jumlah (a), dan y vs jarak tempuh (b)

Scatter Plot (2/2)

• Berdasarkan Gambar 2, terdapat gambaran hubungan antara variabel respon dan kedua variabel prediktor semuanya adalah hubungan linear positif. Artinya semakin tinggi jumlah barang dan jarak, maka waktu pengiriman akan semakin lama.

ANOVA

Sumber Variasi DF SS MS F P

Regresi 2 5550.82 2775.41 165.38 0.000

Error 22 233.73 10.62 Total 24 5784.54

Uji Serentak

Hipotesis:

H0 :

H1 : at least one of is not equal; i = 1,…, p

Berdasarkan output ANOVA didapatkan p-value (0.000)<α (0.05), jadi tolak H0. Artinya ada minimal satu variabel prediktor yang signifikan. Karena kesimpulan uji serentak adalah tolak H0, maka dilanjutkan dengan uji parsial untuk mengetahui variabel prediktor mana saja yang signifikan.

1 2 0p

i

Uji Parsial

Hipotesis:

H0 : = 0

H1 : ≠ 0; i = 1 ,…, p

i

Predictor Coef SE Coef T P

Konstanta 2.341 1.097 2.130 0.044

Jumlah 1.616 0.171 9.460 0.000

Jarak 0.014 0.004 3.980 0.001 R-Sq = 96.0% R-Sq(Adj) = 95.6%

i

Model Regresi

• Model regresi untuk data waktu pengiriman adalah:

jarak014.0jumlah616.1341.2waktu

Kesimpulan

• Karena semua p-value<α (0.05), maka tolak H0. Artinya semua variabel prediktor berpengaruh terhadap waktu pengiriman soft drink ke vending machines.

• Nilai koefisien regresi, dan , semuanya positif. Ini menunjukkan hubungan antara kedua variabel prediktor dan variabel respon adalah positif.

• Nilai koefisien determinasi, R2=96%. Nilai ini sangat tinggi. Hal ini menunujukkan bahwa pengaruh variabel-variabel prediktor sangat signifikan

1̂ 2̂

Uji Asumsi Residual

• Hipotesis

H0 : residual berdistribusi normal

H1 : residual tidak berdistribusi normal

• Nilai p (p-value) yang didapatkan adalah 0.057. Nilai ini lebih dari α (0.05). Artinya gagal tolak H0 atau residual berdistribusi normal.