1

Regresi Non Linear (Non-Linear Regression)

A. Konsep Dasar :
Secara umum, regresi adalah suatu metode untuk meramalkan nilai harapan yang
bersyarat. Regresi dikatakan linear apabila hubungan antara variabel independen dan
variabel dependennya adalah linear. Hubungan antara variabel independen dan variable
dependen dapat dikatakan linear apabila diagram pencar data dari peubah-peubah tersebut
mendekati pola garis lurus. Fungsi linear selain mudah interpretasinya, juga dapat
digunakan sebagai hampiran (approximation) atas hubungan yang bukan non-linear.
Bentuk dari regresi linear adalah:
Y =o +1X1 +2X2 +....+ (2.1)
Apabila hubungan antara variabel independent dan variabel dependen tidak
linear, maka regresi dikatakan regresi non-linear. Bentuk dari hubungan regresi non-
linear adalah:
Yi= f (Xi , )+ (2.2)
dengan adalah fungsi respon non-linear dari parameternya.
Error pada regresi non-linear diasumsikan untuk mempunyai nilai harapan
sebesar nol, ragam yang konstan dan tidak dikorelasikan, sama seperti asumsi error pada
model regresi linear (Neter, J., Kutner, M.H., Nachtsheim, C.J.,Wasserman,W., 1996)

Konsep Dasar :

1. Analisis regresi dapat digunakan untuk berbagai model persamaan matematis,
misalnya : fungsi logarimic, fungsi polinomial, fungsi power, exsponensial, dll
2. Analisis yang sering digunakan adalah bentuk logaritmic baik yang biasa (Log X),
maupun logaritma natural (Ln X = 2,718Log X)
3. Koefisien yang diperoleh dari analisis regresi logaritma/ fungsi pangkat akan
langsung menunjukkan elatisitasnya
4. Analisis ini harus mendasarkan pada teori atau pengembangannya yang relevan
dengan obyek penelitian
Beberapa pengujian yang biasanya digunakan untuk mendeteksi Ke-nonlinearan
antara lain:


2
a. Uji Deteksi Non-linear dengan Uji Ramseys RESET, Uji White dan Uji
Terasvirta
Uji Ramseys RESET, Uji White dan Uji Terasvirta untuk mendeteksi
apakah suatu model mengikuti pola linear atau non-linear tersedia dalam
software R. Statistik uji Ramseys RESET adalah (Lihat pembahasan lengkap di
Gujarati, 1996).
F =
(R
new
2
R
old
2
) / p
(1 R
new
2
) / (n k)


dengan p jumlah variabel independen baru, k jumlah parameter pada model baru,
n jumlah data. Kesimpulanya Ho ditolak bila F > F(o,p,n-k)
Uji White adalah uji deteksi non-linearitas yang dikembangkan dari model
neural network yang ditemukan oleh White (1989). Uji white menggunakan
statistik
2
_ dan F. Prosedur yang digunakan untuk
2
_ adalah :
- Meregresikan y
t
pada 1, x
1
, x
2
, , x
p
dan menghitung nilai-nilai residual u
t
.
- Meregresikan
t
u pada 1, x
1
, x
2
, , x
p
dan m prediktor tambahan dan
kemudian hitung koefisien determinasi dari regresi R
2
. Dalam uji ini, m
prediktor tambahan ini adalah nilai-nilai dari hasil dari ) (
'
t j
w hasil dari
suatu transformasi komponen utama.
- Hitung
2
_ =nR
2
, dimana n adalah jumlah pengamatan yang digunakan.
Dengan hipotesis linearitas,
2
_ mendekati distribusi
2
) (m
_ atau tolak Ho
jika P-value < .
Uji Terasvirta adalah uji deteksi non-linearitas yang juga
dikembangkan dari model neural network dan termasuk dalam kelompok uji tipe
Lagrange Multiplier (LM) yang dikembangkan dengan ekspansi Taylor
(Terasvirta, 1993). Pengambilan kesimpulan ketiga uji tersebut dapat dilihat
melalui nilai P-value, yaitu tolak Ho jika kurang dari o .

b. Model Regresi Non-linear Parametrik
Berdasarkan kelinearan antar parameter pada model regresi, maka suatu
model regresi dapat diklasifikasikan menjadi dua macam yaitu model linear dan
non-linear. Model regresi dikatakan linear jika dapat dinyatakan dalam model :
(1)


3
c | | | | | + + + + + + =
k k
x x x x y ...
3 3 2 2 1 1 0
(2)
Apabila model tidak dapat dinyatakan dalam model tersebut maka model
yang diperoleh adalah model non-linear. Secara umum model regresi non-linear
parametrik dengan

sebagai variabel respon pada replikasi sebanyak

dan
setiap nilai

merupakan variabel independen.dapat dinyatakan dalam

persamaan (Ripley, 2002) :
ij i ij
x f Y c u + = ) , (

(3)
dengan f adalah fungsi regresi dengan parameter u yang harus diduga dan
ij
c adalah galat dengan sifat N(0,). Salah satu metode pendugaan parameter
dalam sistem non-linear adalah jalan tengah Marquardt (Marquadts
compromise). Metode Marquardt merupakan kompromi atau jalan tengah antara
metode linearisasi atau deret Taylor dengan metode steepest descent (Draper &
Smith, 1996).
c. Model Nelson Siegel (N-S) dan Nelson Siegel Svensson (N-S-S)
Tahun 1987, Nelson dan Siegel menunjukkan yield curve dari model
yang terletak pada bentuk range yang sama. Model N-S dan N-S-S merupakan
pendekatan untuk mendapatkan model yield curve. Model N-S dinyatakan dalam
persamaan sebagai berikut
( )
(

|
.
|

\
|

|
.
|

\
|
+
|
.
|

\
|
+ =
t t
|
t
| |
m m m
m exp exp exp
2 1 0
(4)
dengan ( ) m

adalah nilai yield to maturity (YTM yang )merupakan yield

dengan pendekatan forward rate pada maturitas m atau time to maturity (TTM).
Sedangkan parameter t merupaka konstanta waktu dari belokan kurva dan
parameter
0
| menunjukkan nilai asimtotik atau konstanta, serta
1
| dan
2
|
merupakan parameter yang menunjukkan arah lengkungan dari kurva.
Sedangkan model N-S-S berikut merupakan pengembangan dari model
N-S dengan penambahan parameter
3
| dan
3
t yang digunakan untuk menambah
fleksibilitas kurva (Amoako et al, 2005).
( )
(

|
|
.
|

\
|

|
|
.
|

\
|
+
(

|
|
.
|

\
|

|
|
.
|

\
|
+
|
|
.
|

\
|
+ =
2 2
3
1 1
2
1
1 0
exp exp exp exp
t t
|
t t
|
t
| |
m m m m m
m (5)



4
B. Aplikasi Model Non-Linear
1. Analisis Pengaruh Loyalitas Karyawan dan Jaringan Usaha (network) terhadap
keberhasilan Usaha









Keterangan :
LN -Tingkat Loyalitas Karyawan (LNTLOKAR)
LN - Jaringan Usaha (LNNETWORK)
LN - Tingkat Keberhasilan Usaha (LNTKU)
Dimana : LN = logaritma natural

Output SPSS :

Model Summary
,857
a
,734 ,726 ,07177
Model
1
R R Square
Adj usted
R Square
Std. Error of
the Esti mate
Predi ctors: (Constant), LNNETWORK, LNLOKAR
a.
ANOVA
b
,882 2 ,441 85,637 ,000
a
,319 62 ,005
1,202 64
Regressi on
Resi dual
Total
Model
1
Sum of
Squares df Mean Square F Si g.
Predi ctors: (Constant), LNNETWORK, LNLOKAR a.
Dependent Vari abl e: LNTKU b.
Coefficients
a
-1,647 ,478 -3,447 ,001
,558 ,091 ,476 6,148 ,000
,816 ,125 ,503 6,502 ,000
(Constant)
LNLOKAR
LNNETWORK
Model
1
B Std. Error
Unstandardi zed
Coeffi ci ents
Beta
Standardi zed
Coeffi ci ents
t Si g.
Dependent Vari abl e: LNTKU a.


5
Penyajian Output Analisis
Persamaan :
LNTKU = -1,647+ 0,558*LNLAKOR + 0,816*LNNETWORK
(0,478) (0,091) (0,125)
-3,447 6,148 6,502
R2 = 0,734
F
hit
= 85,637
df = 64

Transformasi ke fungsi pangkat :
TKU = e
-1,647
LAKOR
0,558
NETWORK
0,816

Koefisien fungsi pangkat sama dengan elastisitas faktornya.
Interpretasi :
1. Model nyata secara statistik (Uji-F) pada alpha 5%
2. Kemampuan variabel yang digunakan dalam menjelaskan perubahan PDB adalah
73,4% dan sisanya dipengaruhi variabel di luar model (Koefisien determinasi)
3. Semua variabel signifikan secara statistik pada alpha 5%
4. Pengaruh network adala paling besar untuk menentukan keberhasila usaha yaitu
setiap kenaikan 1 % network usaha akan meningkatkan tingkat keberhasilan usaha
0,816 %












6
Regresi Logistik (Logistic Regression)
A. Konsep Dasar
Regresi logistik adalah salah satu bentuk regresi non-linear yang mempunyai
variabel dependen yang diskrit dan mempunyai sebaran binomial, sedangkan variable
independennya dapat terdiri dari variabel yang continu, diskrit, dikotomus, ataupun
gabungannya.
Regresi logistik dapat dibedakan menjadi 2, yaitu: Binary Logistic Regression
(Regresi Logistik Biner) dan Multinomial Logistic Regression (Regresi Logistik
Multinomial). Regresi Logistik biner digunakan ketika hanya ada 2 kemungkinan variabel
respon (Y), misal membeli dan tidak membeli. Sedangkan Regresi Logistik Multinomial
digunakan ketika pada variabel respon (Y) terdapat lebih dari 2 kategorisasi.
Model Regresi Logistik didasarkan pada teorema Bayes dalam penggunaan
peluang posterior yang berhubungan dengan peluang gabungan bersyarat dan peluang
awal. Jika i = 1, 2, maka menurut teorema Bayes, peluang menjadi anggota suatu
kelompok, katakana GI pada saat x diketahui, adalah :
P(G
1
|x) =
()|

)(

)
()|

)(

)()|

)(

)
........................ (1)
P(G
1
|x) merupakan peluang posterior, P(x|G
i
) merupakan peluang gabungan bersyarat,
dan P(G
i
) merupakan peluang awal keanggotaan kelompok.
Setelah dilakukan manipulasi terhadap persamaan (1) diatas, persamaan (menjadi
persamaan (2) :
P(G
1
|x) =
()|

)(

)

()|

)(

)
()|

)(

)

........................ (2)
Pada kasus ini, ()|

) dan ()|

) diasumsikan menyebar normal dengan nilai

tengah (mean) berturut-turut

dan

, serta matrikx kovarians , maka perasamaan (2)

dapat dapat ditulis menjadi :
P(G
2
|x) =

)
........................ (3)
Persamaan (3) dinamakan fungsi Logistik multivariate (multivariate logistic function).


7
Fungsi logistic mempresentasikan kurva bentuk S yang berimplikasi selalu
terjadi pada nilai . Perubahan pada nilai
o
akan menggeser garis fungsi sedangkan
perubahan pada vektor akan mempengaruhi bentuk fungsi/kurva.
Untuk menyederhanakan perhitungan maka fungsi peluang di atas dikonversikan
ke dalam fungsi logit, dengan memberikan logaritma natural (ln) pada hasil persamaan
(3) maka P(G
1
|x) adalah P, serta P(G
2
|x) adalah 1-p, diperoleh regresi logistic berganda
(multiple logistic regression) sebagai berikut :
ln (

) =
o
+
1
X
1
+
2
X
2
+ +
k
X
k
+
i
(4)
B. Aplikasi Model Regresi Logistik
Model Regresi Logistik digunakan untuk memprediksi masuk/lulus tidaknya
siswa SMA ke Perguruan Tinggi. Untuk melihat apakah nilai UN murni dan nilai
Ijazah/STTB merupakan indikator terhadap peluang masuk ke Perguruan Tinggi Negeri
di Indonesia, telah diambil sebanyak 32 orang lulusan SMA di Kota Ambon. Respons
(peubah tidak bebas = Y) pada persoalan ini adalah kelulusan mereka di perguruan tinggi
negeri. Sedangkan peubah bebasnya adalah Nilai UN murni dan nilai Ijazah/STTB
mereka.
Hasil pengolahan data menunjukkan bahwa kedua peubah Nilai UN murni dan
Ijazah/STTB terlihat mempengaruhi secara nyata terhadap kelulusan mereka di Perguruan
Tinggi Negeri. Kedua peubah harus dilibatkan secara bersama dalam memprediksi
kelulusan masuk ke PT Negeri. Oleh sebab itu peubah Nilai UN dan Nilai Ijazah/STTB
dapat dijadikan indikator untuk kelulusan ke PT Negeri di Indonesia. Persamaan regresi
yang dihasilkan adalah :
ln (

) = -27,8705 + 0,3170 UN + 0,1880 STTB . (5)

atau
ln (

) = e
-27,8705
+ e
0,3170 UN
+ e
0,1880 STTB
(6)
Sehingga p =

( )
(7)


8
Dari persamaan regresi (persamaan 5) tersebut dapat diduga bahwa kemungkinan
lulus tidak di ujian masuk ke PT negeri berhubungan secara positif dengan nilai UN dan
nilai Ijazah/STTB. Persamaan regresi (5) di atas member arti bahwa jika Nilai UN
konstan, maka kenaikan nilai satu pada Ijazah/STTB akan meningkatkan ln (log natural)
dari perbandingan peluang antara lulus (p) dan tidaknya (1-p) (ke perguruan tinggi negeri)
sebesar 0,1880. Begitu juga sebaliknya, apabila nilai Ijazah/STTB konstan, maka
kenaikan nilai satu pada UN akan meningkatkan ln dari perbandingan peluang antara
lulus dan tidaknya sebesar 0,3170.
Interpretasi hasil juga dapat dianalisis dari persamaan (6) juga persamaan (7),
namun interpretasi hasil lebih nyata dapat dihitung dari persamaan (7). Dari
persamaan (7) tersebut, dapat dihitung nilai peluang seorang pelajar SMA berdasarkan
Nilai UN murni dan nilai Ijazah/STTB tertentu. Jika nilai peluang yang didapat lebih
kecil atau sama dengan , maka pelajar tersebut diperkirakan tidak akan lulus ke PT
negeri. Jika nilai peluang yang didapat lebih besar dari , maka pelajar tersebut
diperkirakan akan lulus ke PT negeri. Pada pengolahan di atas juga menunjukkan 93,75%
data tepat menurut kelompoknya.
Penggunaan metode regresi logistik pada kasus di atas cukup tepat. Metode
regresi logistic tidak mensyaratkan asumsi tentang distribusi peubah bebas. Skala
pengukuran pada peubah bebas biasanya rasio atau interval. Skala pengukuran tersebut
termasuk dalam kelompok data yang kontinu. Namun bias juga dari kelompok data yang
diskrit (kategoris). Sedangkan skala pengukuran pada peubah tidak bebasnya adalah
nominal-dikotomi/kualitatif (0-1).