Docstoc

ANALISIS REGRESI (PDF download)

Document Sample
ANALISIS REGRESI (PDF download) Powered By Docstoc
					                                            ANALISIS REGRESI


           Analisis regresi merupakan suatu analisis statistik yang mempelajari
  hubungan antara dua variabel atau lebih. Apabila variabel-variabel regresi tersebut
  berhubungan secara linear, maka disebut dengan regresi linear. Regresi linear
  yang menghubungkan dua variabel, yaitu satu variabel tak bebas dan satu variabel
  bebas disebut regresi linear sederhana. Sedangkan regresi linear yang
  menghubungkan lebih dari dua variabel, yaitu satu variabel tak bebas dan
  beberapa variabel bebas disebut regresi linear berganda.
            Regresi linear adalah regresi dimana variabel terikatnya ( Y ) berhubungan
  dengan variabel bebasnya ( X ) secara linear. Untuk regresi yang terdiri dari satu
  variabel terikat dan lebih dari satu variabel bebas disebut dengan regresi linear
  berganda. Persamaan regresi linear berganda dengan k variabel bebas dapat ditulis
  sebagai berikut :
  Yi = β o + β1 X 1i + β 2 X 2 i + .... + β k X ki + ε i
  Dimana :
     Yi      = variabel terikat
     βo      = suku tetap atau intersept
     βj      = koefisien regresi dari variabel bebas ke-j
     Xji     = nilai variabel bebas ke-j pada amatan ke-i
     εi      = kesalahan pengganggu yang berdistribusi normal (0, σ2)
     i       = 1, 2, 3, …, n
     j       = 1, 2, 3, …, k


2. Regresi Linear Berganda dengan Pendekatan Matriks
            Penggunaan regresi linear berganda dengan melibatkan sedikit variabel
  akan mudah dalam perhitungannya, tetapi apabila variabel yang digunakan cukup
  banyak akan lebih hemat dan efisien apabila kita menggunakan bentuk
  pendekatan matriks.
            Untuk model regresi linear berganda apabila diuraikan, akan menjadi
  persamaan simultan sebagai berikut.
  Y1 = β 0 + β1 X 11 + β 2 X 21 + ... + β k X k 1 + ε1

  Y2 = β 0 + β1 X 12 + β 2 X 22 + ... + β k X k 2 + ε 2

  Y3 = β 0 + β1 X 13 + β 2 X 23 + ... + β k X k 3 + ε 3
  …………………………………………
  Yn = β 0 + β1 X 1n + β 2 X 2 n + ... + β k X kn + ε n
  apabila dinyatakan dalam persamaan matriks, akan diperoleh bentuk berikut.
             Y1  1      X 11    X 21 L X k 1   β o   ε1 
            Y  1        X 12    X 22 L X k 2   β1  ε 2 
             2                                  
            Y3  = 1     X 13    X 23 L X k 3   β 2  + ε 3 
                                                
             M  M        M       M O M  M   M 
            Yn  1
                        X 1n    X 2 n L X kn   β k  ε n 
                                                   
  Atau
           Y = X β +ε

  Dengan :
     Y      = vektor kolom dengan ordo n x 1
      X     = matriks dengan ordo n x (k+1)
      β     = vektor kolom dengan (k+1) x 1

     ε      = vektor kolom dengan ordo n x 1


3. Asumsi-Asumsi dari Regresi Linear Berganda
           Koefisien β diestimasi berdasarkan data hasil penelitan sampel. Prosedur
  estimasi bergantung pada asumsi mengenai variabel X dan kesalahan pengganggu
  ε. Beberapa asumsi yang penting adalah sebagai berikut :
  a. Nilai harapan setiap kesalahan pengganggu sama dengan nol, maka E ( εi ) = 0
     untuk semua i. Sehingga nilai harapan untuk suatu vektor/ matriks adalah nilai
     harapan dari masing-masing komponen vektor/ matriks tersebut. .
     Bukti :
      ε1   E ( ε1 )  0 
     ε   E ε  0 
      2   ( 2 )  
   E ε 3  =  E ( ε 3 )  = 0 
                         
      M   M  M 
     ε n   E ( ε n )  0 
                       
                               


b. Kesalahan pengganggu yang satu (εi) tidak berkorelasi (bebas) terhadap
  kesalahan pengganggu lainnya (εj), akan tetapi mempunyai varians yang sama.
        E (εiεj) = 0 , i ≠ j ,            (asumsi non otokorelasi)
        E (εi2) = σ2 , untuk semua i      (asumsi homoskedastisitas)
  Apabila dinyatakan dalam bentuk matriks asumsi tersebut menjadi berikut:


                   ε1                       
                                            
                  ε 2                       
  E ( εε ′ ) = E  ε 3  ( ε1 ε 2 ε 3 L ε n ) 
                                            
                  M                         
                  ε                         
                  n                         


               ε12 ε1ε 2 ε1ε 3        L ε1ε n 
                                               
              ε 2ε1 ε 2    ε 2ε 3     L ε 2ε n 
                          2

              
           = E ε 3ε1 ε 3ε 2 ε 32                
                                      L ε 3ε n 
               M       M      M       O    M 
                                               
              ε nε1 ε nε 2 ε nε 3     L εn 
                                             2
                                               



                   ( )
              E ε12
             
                         E ( ε1ε 2 ) E ( ε1ε 3 )    L E ( ε1ε n ) 
                                                                   
              E (ε ε ) E ε 2
                   2 1         2( ) E (ε 2ε3 )     L E ( ε 2ε n ) 
                                                                   
           =  E ( ε ε ) E (ε ε ) E ε 2
                   3 1        3 2       ( )3
                                                                   
                                                    L E ( ε 3ε n ) 
              M              M           M         O      M       
                                                                  
              E ( ε ε ) E ( ε ε ) E (ε ε )
             
                   n 1        n 2         n 3      L E εn ( )
                                                              2 
                                                                   
                 σ 2          0       0    L   
                                                0
                                               
                 0           σ   2
                                       0    L   0
                                                
                =0            0       σ2   L   
                                                0
                                               
                  M           M       M    O   M
                                                
                 0                         L σ2
                              0       0        
                      1          0 0 L 0
                      0          1 0 L 0
                                        
                = σ 2 0          0 1 L 0
                                        
                      M          M M O M
                      0
                                 0 0 L 1
                                         
                = σ2 I                              ( I matriks identitas dengan ordo n x n )
  c. X1i, X2i, ..., Xki merupakan bilangan riil, atau dengan kata lain, matriks X
     merupakan himpunan angka-angka konstan.
  d. Jumlah observasi n harus lebih banyak dari jumlah variabel k, atau lebih
     banyak dari koefisien regresi linear yang akan diestimasi.
  e. Tidak ada kolinearitas ganda atau multikolinearitas diantara variabel
     bebasnya.


4. Penaksiran Koefisien –Koefisien Regresi Linear Berganda
              Estimasi vektor β dengan menggunakan metode kuadrat terkecil ialah

  vektor β sedemikian rupa sehingga jumlah kuadrat kesalahan pengganggu,
         ˆ

  ∑e          = e′e
          2
      i                      minimum. Caranya adalah dengan melakukan penurunan e'e

  terhadap komponen vektor β dan menyamakannya dengan nol.
                           ˆ

  dari Y = X β + e ⇒ e = Y - X β , diperoleh
             ˆ                 ˆ

                         ′
          (
  e′e = Y − X β
              ˆ       ) (Y − X βˆ )
                             ′       ′
                                   ˆ  ( )
      = Y ′Y − Y ′ X β − X β Y + X β X β
                     ˆ     ˆ           ˆ        ( )
                                                                                      ′
  berdasarkan sifat dari transpose matriks yaitu                               ( X βˆ )   = β ′ X ′ dan oleh karena
                                                                                            ˆ


  Y ′ X β suatu skalar, maka sama dengan transposenya
        ˆ

  e′e = Y ′Y − 2 β ′ X ′Y + β ′ X ′ X β
                 ˆ          ˆ         ˆ

   ∂ ( e′e )
             = −2 X ′Y + 2 X ′ X β = 0
                                 ˆ
     ∂β ˆ

                                2 X ′ X β = 2 X ′Y
                                        ˆ

                                                                 kalikan kedua ruas dengan ( X ′ X )
                                                                                                        −1
                                        X ′ X β = X ′Y
                                              ˆ

                       ( X ′X )           X ′ X β = ( X ′ X ) X ′Y
                                    −1                       −1
                                                ˆ

                                               I β = ( X ′ X ) X ′Y ( I = matriks identitas )
                                                                 −1
                                                 ˆ

                                                β = ( X ′ X ) X ′Y
                                                                 −1
                                                ˆ



5. Penaksiran Koefisien Determinasi R2
                Koefisien determinasi bertujuan mengukur tingkat ketepatan dari model
  regresi atau untuk mengukur betapa besarnya proporsi sumbangan variabel-
  variabel bebas terhadap variasi (naik turunnya) Y secara bersama-sama.
                Koefisien determinasi R2 dirumuskan sebagai berikut :


           JKR      JKS                                       JKR = jumlah kuadrat regresi
  R2 =         = 1−
                                                              JKT = jumlah kuadrat total = ∑ yi
                                                                                                2
           JKT      JKT

                        ∑e                                                                            ∑e             = e′e
                                         2                                                                       2
                                                              JKS = jumlah kuadrat simpangan =
                   = 1−                  i                                                                   i

                        ∑y
                                           2
                                         i


  dalam notasi matriks,

                   (            )
                                    2
  ∑y           = ∑ Yi − Y
           2
       i




                    (
               = ∑ Yi − 2Yi Y + Y
                            2                     2
                                                      )                  ,Y=
                                                                               1
                                                                               n
                                                                                 ∑ Yi
               = ∑ Yi − 2Y ∑ Yi + nY
                        2                                 2
            = ∑ Yi − 2nY + nY
                        2               2           2




            = ∑ Yi − nY
                        2           2



                                    2
            = Y ′Y − nY
dari regresi linear dalam bentuk matriks Y = Xβ + e , maka
                                              ˆ


           (
Y ′Y = Xβ + e Xβ + e
        ˆ    ′ ˆ
                        )(                  )
          = β ′X ′Xβ + β ′X ′e + e′Xβ + e′e
            ˆ      ˆ ˆ              ˆ

karena kesalahan pengganggu tidak berkorelasi dengan variabel bebas,maka
X ′e = 0 = e′X ,sehingga

Y ′Y = β ′X ′Xβ + e′e
       ˆ      ˆ

e′e = Y ′Y − β ′X ′Xβ
             ˆ      ˆ

substitusikan pada koefisien determinasi
                e′e
R2 = 1 −
               ∑ yi
                    2



                   2
          Y ′Y − nY − Y ′Y + β ′ X ′ X β
                             ˆ         ˆ
      =                                         2
                        Y ′Y − nY
                                    2
          β ′ X ′ X β − nY
          ˆ         ˆ
                                                                 β = ( X ′ X ) X ′Y
                                                                            −1
                                                                  ˆ
      =                         2
                                                        dari
               Y ′Y − nY
                                                          ( X ′ X ) β = X ′Y
                                                                    ˆ
                                2
          β ′ X ′Y − nY
          ˆ
      =                     2
           Y ′Y − nY
           Jadi koefisien determinasi dari model regresi linear dapat dicari dengan
menggunakan rumus
                                2
          β ′ X ′Y − nY
          ˆ
R =
  2
                            2
           Y ′Y − nY
6. Variansi dan Standar Error Koefisien Pemerkira
            Untuk mencari variansi dalam notasi matriks pada regresi linear, harus
  dipenuhi bahwa penaksir koefisien-koefisien regresi adalah penaksir tak bias atau
  dapat ditulis :

               ( )
             E β =β
               ˆ

  Bukti :

  dari β = ( X ′ X ) ( X ′Y )
                    −1
       ˆ

                     −1
                                (
            = ( X ′X ) X ′ X β + ε            )
            = ( X ′ X ) X ′ X β + ( X ′ X ) X ′ε
                     −1                                  −1




            = I β + ( X ′ X ) X ′ε
                                −1




            = β + ( X ′ X ) X ′ε
                               −1



  sehingga

    ( )
    ˆ           (
  E β = E β + ( X ′ X ) X ′ε
                       −1
                                             )
       =E β +E( )        (( X ′ X )    −1
                                            X ′ε     )
       = β + ( X ′ X ) X ′ E (ε )                                            asumsi E ( ε ) = 0
                          −1



       =β

                     ˆ
  maka variansi dari β dapat ditulis

                                                                ′
                 ˆ
                
                     (
  Var ( β ) = E  β − E β
        ˆ               ˆ            ( )) ( βˆ − E ( βˆ )) 
                                                           
                                                                                               ′
                    
                    
                     (
                = E  β − ( X ′X ) X ε − β
                                  −1
                                                              )( β − ( X ′X )      −1
                                                                                              )
                                                                                        Xε − β 
                                                                                                
                                                                      ′
                    
                    
                     (
                = E  ( X ′X ) X ε
                              −1
                                              ) (( X ′ X )    −1
                                                                   Xε 
                                                                       
                                                                         )
                                                  ′
                    
                    
                                                 (
                = E ( X ′ X ) X εε ′ ( X ′ X ) X 
                              −1               −1

                                                   
                                                                     )
                                                             ′
              = ( X ′X ) X
                               −1
                                      (( X ′ X ) X ) E (εε ′)
                                                   −1
                                                                                  asumsi E (εε ′) = σ 2 I

                                                                 ′
              = ( X ′X ) X X ′ ( X ′X )
                               −1
                                           (            −1
                                                             )σ           2
                                                                              I


                                               (                 )
                                                                     −1
                                                             ′
              = ( X ′X )            ( X ′X ) ( X ′X )
                               −1
                                                                          σ2

              = σ 2 ( X ′X ) I
                                     −1




  Var ( β ) = σ 2 ( X ′ X )
                            −1
        ˆ

  Karena pada umumnya σ2 tidak diketahui, maka σ2 diduga dengan S2, sehingga

  perkiraan variansi ( β ) adalah Var ( β ) = Se 2 = S 2 ( X ′X ) -1 , dimana S2 merupakan
                       ˆ                ˆ

  variansi dari kesalahan pengganggu yang dinyatakan dengan rumus berikut.
              e′ e
   S2 =
           n - k -1
  dimana : n = banyaknya observasi
              k = banyaknya variabel bebas
  kesalahan baku atau standar error regresi sama dengan simpangan baku atau
  standar deviasi dari kesalahan pengganggu, dinyatakan dengan

                                             e′ e
           S 2 ( X ′X )                            ( X ′X )
                          −1                                −1
   Se =                         =
                                          n - k -1


7. Pengujian Hipotesis dengan Uji t
          Uji t pada dasarnya menunjukkan seberapa jauh pengaruh satu variabel
  bebas secara individual dalam menjelaskan variabel terikat.
     Ho : βj = 0
     H1 : βj ≠ 0


          Untuk menguji kedua hipotesis tersebut digunakan statistik t yang
  didefinisikan sebagai berikut :

                          βj
                          ˆ
           thitung =
                          ( )
                       Se β j
                          ˆ
                                      e′e
  dengan S βˆ =                             d jj ,
                   j
                                   n − k −1

  d jj = elemen baris ke-j dan kolom ke-j dari matriks ( X ′ X )
                                                                            −1



  Keputusan :
  Jika thitung > ttabel maka Ho ditolak


8. Interval Kepercayaan
        Interval kepercayaan adalah interval dimana perkiraan parameter memiliki
  sifat terbaik. Dari asumsi kenormalan untuk kesalahan pengganggu, maka
  perkiraan parameter dengan metode kuadrat terkecil juga berdistribusi normal.
  Kita dapat menggunakan distribusi t untuk memperkirakan interval kepercayaan
  dari parameter sebagai berikut :

          (
        P −tα 2 ≤ t ≤ tα 2 = 1 − α     )
              βj −βj
              ˆ
  dari t =                         , diperoleh
              Se β j
                 ˆ     ( )
                 βj −βj
                  ˆ             
        P  −tα ≤         ≤ tα  = 1 − α
           2 Se β
          
                      ˆ
                        j
                              2 
                                    ( )
          ( ( )                        ( )) = 1 − α
        P −tα Se β j ≤ β j − β j ≤ tα Se β j
                 ˆ     ˆ
                       2
                                         ˆ
                                                         2



        P ( β − t Se ( β ) ≤ β ≤ β + t Se ( β ) ) = 1 − α
            ˆ
               j
                       ˆ
                           α
                                 ˆ
                                           j
                                            ˆ
                                                j    j       α       j
                               2                                 2


  Jadi interval kepercayaan untuk parameter β j adalah

    (
  P β j − tα Se β j ≤ β j ≤ β j + tα Se β j
    ˆ
               2
                ˆ          ( )
                            ˆ           ˆ
                                                     2
                                                             ( )) = 1 − α

9. Koefisien Korelasi Sederhana
          Koefisien korelasi sederhana antara dua variabel dimaksudkan untuk
  mengukur kuat tidaknya hubungan antara dua variabel tersebut. Makin besar nilai
  r makin kuat hubungan dan makin kecil nilai r makin lemah hubungan. Untuk
   hubungan dengan k+1 variabel akan diperoleh koefisien korelasi sederhana

   sebanyak m, yaitu m =
                                             ( k + 1) k ,     dan apabila disajikan dalam bentuk matriks
                                                   2
   disebut dengan matriks korelasi, sebagai berikut :
        ry1        ry 2    ry 3   …       ryk            1                ry 2            ry 3        … ryk 
       r           r11     r12    …       r1k           r                 1              r12         … r1k 
        1y                                                 1y                                                 
   R =  r2 y       r21     r22    …       r2 k  atau R =  r2 y            r21              1          … r2 k 
                                                                                                             
       M            M       M     O        M             M                 M               M          O M 
        rky        rk 1    rk 2   …       rkk             rky             rk 1            rk 2        … 1
                                                                                                             
   dimana :

   ry1 = Koefisien korelasi antara Y dan X1 =
                                                                          ∑X Y           1i 1i


                                                                         ∑ X ∑Y     1i
                                                                                         2
                                                                                                     i
                                                                                                         2




   ry2 = Koefisien korelasi antara Y dan X2 =
                                                                          ∑X Y           2 i 1i


                                                                         ∑ X ∑Y     2i
                                                                                         2
                                                                                                     i
                                                                                                         2




   r12 = Koefisien korelasi antara X1 dan X2 =
                                                                            ∑X X             1i     2i


                                                                           ∑X ∑X     1i
                                                                                             2
                                                                                                             2i
                                                                                                                  2



   .......................................................................................................

   r(k-1)k = Koefisien korelasi antara X(k-1) dan Xk =
                                                                                      ∑X X               ( k -1) i    ki


                                                                                     ∑X ∑X
                                                                                                                2               2
                                                                                                    ( k -1) i              ki




10. Variance Inflation Factor (VIF)
               Variance Inflation Factor (VIF) adalah faktor yang mempengaruhi
   kenaikan variansi berdasarkan nilai koefisien determinasinya dan dinyatakan
   dengan rumus :
                                 1
               (VIF ) j =
                              1 − R2
                                   j


   Bukti :
               Untuk regresi linear berganda dengan tiga varabel (satu variabel terikat
   dan dua variabel bebas) diperoleh persamaannya sebagai berikut :
Yi = β 0 + β1 X i1 + β 2 X i 2 + ε i

            1           r12 
misal Rxx =                   , Rxx adalah matriks korelasi sederhana dari variabel bebas
             r21         1 

persamaan regresi diatas. Karena nilai variansi untuk β1 dan β 2 sama, maka akan
                                                      ˆ      ˆ

diperoleh
Var ( β1 ) = Var ( β 2 ) = σ 2 (X ′X )
      ˆ            ˆ                   −1



                                = σ 2 ( Rxx )
                                                −1




                                            1  1 − r12 
                                = σ 2.
                                         1 − r12  −r21 1 
                                               2
                                                         
                                            1
                                = σ 2.
                                         1 − r12
                                               2


         2
dimana r12 sama dengan koefisien determinasi diantara variabel bebasnya.
            Untuk regresi linear berganda dengan empat variabel (satu variabel
terikat dan tiga variabel bebas) diperoleh persamaannya sebagai :
Yi = β 0 + β1 X i1 + β 2 X i 2 + β 3 X i 3 + ε i

            1           r12     r13 
misal Rxx =  r21
                         1      r23 
                                     
             r31
                        r32      1 

akan dicari nilai Var ( β1 ) sebagai berikut :
                        ˆ

Var ( β1 ) = σ 2 . ( X ′ X )
                                 −1
      ˆ

              = σ 2 . ( Rxx )
                                −1



                                     1 − r23
                                           2
              = σ 2.
                       1 + 2r12 r23 r31 − r12 − r23 − r31
                                            2     2     2



                                        1
              = σ 2.
                       1 + 2r12 r23 r31 − r12 − r23 − r31
                                            2     2     2


                                     1 − r23
                                           2
                                    1
              = σ 2.
                       1 − r − ( r + r31 − 2r12 r23 r31 )
                             2
                            23
                                    2
                                   12
                                       2


                                     1 − r23
                                           2



                                        1
              = σ 2.
                       (1 − r ) −
                               2
                              23    ( r + r31 − 2r12 r23r31 )
                                         2
                                        12
                                            2


                        1 − r23
                              2
                                               1 − r23
                                                     2



                                   1
              = σ 2.
                       1−
                            ( r + r − 2r12 r23r31 )
                              2
                             12
                                    2
                                   31

                                    1 − r23
                                          2



dari hubungan koefisien determinasi berganda dari X1 yang diregresikan terhadap
variabel bebas sisanya dengan koefisien korelasi sederhana antara variabel bebas,
              r12 + r31 − 2r12 r23 r31
                2     2
                                                                         1
yaitu R12 =                            , diperoleh Var ( β1 ) = σ 2 .
                                                         ˆ                    = σ 2 (VIF )1
                     1 − r23
                           2
                                                                      1 − R12

Analog untuk Var ( β 2 ) dan Var ( β 3 ), diperoleh :
                   ˆ               ˆ

                         1                                            1
Var ( β 2 ) = σ 2 .
      ˆ                      = σ 2 (VIF )2 dan Var ( β 3 ) = σ 2 .
                                                     ˆ                    = σ 2 (VIF )3
                      1 − R2
                           2
                                                                   1 − R3
                                                                        2



             Dengan cara yang sama akan diperoleh rumus yang sama untuk regresi
linear berganda dengan k variabel bebas. Sehingga nilai VIF untuk regresi linear
berganda dengan k variabel bebas adalah
                1
(VIF ) j =
             1 − R2
                  j


dimana (VIF ) j = nilai Variance Inflation Factor dari variabel bebas ke-j

				
DOCUMENT INFO
Shared By:
Tags: REGRESI
Stats:
views:504
posted:3/17/2012
language:Malay
pages:13
Description: Analisis regresi merupakan suatu analisis statistik yang mempelajari hubungan antara dua variabel atau lebih. Apabila variabel-variabel regresi tersebut berhubungan secara linear, maka disebut dengan regresi linear. Regresi linear yang menghubungkan dua variabel, yaitu satu variabel tak bebas dan satu variabel bebas disebut regresi linear sederhana. Sedangkan regresi linear yang menghubungkan lebih dari dua variabel, yaitu satu variabel tak bebas dan beberapa variabel bebas disebut regresi linear berganda. Regresi linear adalah regresi dimana variabel terikatnya ( Y ) berhubungan dengan variabel bebasnya ( X ) secara linear. Untuk regresi yang terdiri dari satu variabel terikat dan lebih dari satu variabel bebas disebut dengan regresi linear berganda