????�Linear Algebra - PowerPoint

Document Sample
????�Linear Algebra - PowerPoint Powered By Docstoc
					      線性代數—Linear Algebra


           東吳大學數學系 葉麗娜




2012/5/4                    1
第六章 矩陣的特徵值(Eigenvalues)與
特徵向量(Eigenvectors)
   Eigenvalues and Eigenvectors
          6.1   Introduction to Eigenvalues
          6.2   Diagonalizing a Matrix
          6.3   Applications to Differential Equations
          6.4   Symmetric Matrices
          6.5   Positive Definite Matrices
          6.6   Similar Matrices
          6.7   Singular Value Decomposition (SVD)


2012/5/4                                                  2
6.1 Introduction to Eigenvalues

   在一個動態的問題中,我們通常會遇到A1 , A2 , … , An
     如何簡化A 的計算
           k

     當k越來越大Ak 的情形如何?



   特徵值與特徵向量:
     特徵向量就是滿足方程式Ax =λx不為零的向量x(≠0),λ
      是一個常數,即所謂的特徵值。
     Ax =λx 表示 Ax與x 在相同的線上,但是隨著λ值的變化
      使得x伸長、縮短、反向或保持不變(λ>1, λ <1, λ= -
      1 ,λ=1)。


2012/5/4                                 3
6.1 Introduction to Eigenvalues

   例如:         .8 .3           0.6           1
            A          , x1    , x2   
                .2 .7           0.4           1
                  .8 .3 0.6   0.6
            Ax1         0.4    0.4   x1       λ1 =1
                  .2 .7     
                  .8 .3  1   0.5 1
            Ax2          1   0.5   2 x2   λ2 =1/2
                  .2 .7              


     A2x1 =A (Ax1) = A x1 = x1 ,
     A2x2 =A (Ax2) = A ((1/2)x2 )= (1/2)2x2
     A100x1 =x1 (保持不變) , A100x2 = (1/2)100x2 ~ 0 ( 零向量)




2012/5/4                                                       4
6.1 Introduction to Eigenvalues

         .8 .3         0.6       1
       A        , x1    , x2        λ1 =1   λ2 =1/2
         .2 .7 
                        0.4       1


     其中λ1, λ2 是矩陣A的特徵值,我們令det(A-λI)=0求出λ1,
     與λ2,而特徵向量x1屬於A-I的nullspace ,而特徵向量x2屬
    於A-(1/2)I 的nullspace。
   重要性質:
     A2 的特徵值是A的特徵值的平方 ,且對應之特徵向量不變 。

     不同特徵值對應之特徵向量是線性獨立。

                請同學試著証明

2012/5/4                                                      5
6.1 Introduction to Eigenvalues
         0.6       1 是線性獨立
   x1    , x2   
         0.4       1
    .8 0.6          1 表成其線性組合
     .2  0.4  0.2  1
                     
       .8   99  0.6   99  1             λ1 =1   λ2 =1/2
     A    A    0.2 A  
           99

       .2      0.4        1
                  0.6     1 99  1 0.6
                    0.2( )     
                  0.4     2  1 0.4
   這個A矩陣稱為Markov matrix,特徵向量x1是穩定狀態
    (steady state),而x2是衰減模式(decaying mode)。

2012/5/4                                                        6
6.1 Introduction to Eigenvalues
             0.8      0.3 
   Let a1    , a2    是A的第一與第二行向量
             0.2      0.7 

    則A2=A[a1 a2] 表示Aa1, Aa2是A2的第一與與第二行向量
    故A100=A99[a1 a2] 表示A99a1, A99a2是A100的第一與與第二行向量
    於上一頁中我們得到
             .8   99 0.6    99  1  0.6
           A    A    0.2 A     
            99

             .2      0.4        1 0.4      0.6 0.6
                                                  
   同理                                           A        
        .3   99 0.6    99  1  0.6           0.4 0.4
      A    A    0.3 A     
            99

        .7      0.4        1 0.4
   結論: A的次冪越高,則其每個行向量越趨近穩定的特徵向量。

2012/5/4                                                        7
6.1 Introduction to Eigenvalues

   範例:投影矩陣P
                  0.5 0.5
               P         * 投影矩陣的特徵值僅為1與0
                  0.5 0.5
       2
     P = P

     P x1=x1 ,特徵向量x1=(1, 1)是”穩定狀態” (x1在P的

      column space也是row space,因為PT = P )
      而x2 =(1, -1)是在nullspace(也是left nullspace) 因為Px2=0 。
   有三個性質:
          矩陣的每行其和為1,λ=1是一個特徵值。
          P是奇異矩陣(singular matrix), λ=0是一個特徵值。
          P是對稱 (symmetric), x1與x2互相垂直。


2012/5/4                                                    8
6.1 Introduction to Eigenvalues
        0.5 0.5
      P
         0.5 0.5
                 

   特徵值為0 , (Px=0 , x是特徵向量)
          所有的對應特徵向量會填滿P的nullspace ,也是left
           nullspace 因為 PT=P 。
   特徵值為1 , (Px=x , x是特徵向量)
          所有的對應特徵向量會填滿P的column space 。
   Project each part                     投影的結果保留了column space,
           1   2          0  2
      v       onto Pv         而nullspace 只剩下零向量
           1  2          0  2

2012/5/4                                                      9
6.1 Introduction to Eigenvalues

   範例:映射矩陣R的特徵值λ為1,-1
                    0  1
                  R
                    1  0
                         
          R=2P- I , R2 = I     (R2的特徵值是λ2=1 ,特徵向量不變)
          if Px=λx then 2Px=2λx , (2P- I) x=(2λ-1)x=Rx
              When a matrix is shifted by I, each λ is shifted by 1.
              但是特徵向量不變, x1=(1, 1) 與 x2 =(1, -1)




2012/5/4                                                                10
6.1 Introduction to Eigenvalues

   範例:排序矩陣的特徵值λ滿足|λ|=1
          上頁映射矩陣R也是排序矩陣(列對調),其特徵值λ為1,-1
                0 1
            R 
                1 0 
          但是P4的特徵值λ為±1, ± i有複數,其對應之特徵向量
           (1, ±1, 1, ±1)與 (1, ± i ,-1, i)

                0   0 0 1
                1   0 0 0
           P4           
                0   1 0 0
                         
                0   0 1 0

2012/5/4                                     11
6.1 Introduction to Eigenvalues :
The Equation for the Eigenvalues
   6A The numberλ is an eigenvalue of A if and only
    if A-λI is singular : det(A-λI)=0
   det(A-λI)=0 稱之為特徵方程式(characteristic
    equation) ,如果A是n by n 則det(A-λI) 為λ的n次多
    項式(特徵多項式),就有n個特徵值。
          針對每個λ解 (A-λI)x=0 或Ax=λx,得特徵向量x。
   例題:             1 2 
                  A    
                     2 4

                        1  2
     det( A   I )               2  5   解得λ1=0, λ2=5
                         2 4

2012/5/4                                                     12
6.1 Introduction to Eigenvalues :
The Equation for the Eigenvalues
   For λ1=0 , (A-λ1I)x=0 → Ax=0
       1 2   x1  0
        2 4   x   0    得一個特徵向量 x=(2,-1)
             2  
   For λ2=5 , (A-λ2I)x=0 → (A-5I)x=0
        4 2   x1  0
        2  1  x   0   得一個特徵向量 x=(1,2)
              2  
   如果A是奇異矩陣,則有一個特徵值為0.                    請同學試著証明

    Ax=0=0x , 所有對應於0的特徵向量填滿A的nullspace .
    如果A是可逆矩陣,則0不是特徵值,我們將矩陣平移λ
    單位使之成為奇異矩陣(A-λI ) 。
2012/5/4                                             13
6.1 Introduction to Eigenvalues :
The Equation for the Eigenvalues
   針對2 by 2的矩陣A,當A-λI是奇異矩陣,則A-λI所有的列會是某
    一向量(a,b)乘上一個常數,而特徵向量是任意常數乘上(b,-a)。
   For λ1=0 , A-λ1I的列與向量(1,2)在同一線上( A-λ1I is singular ),
    而特徵向量與(2,-1)在同一線上。
           1 2   x1  0
            2 4   x   0    x=(2,-1)
                 2  
   For λ2=5 , A-λ2I的列與向量(-4,2)在同一線上,而特徵向量與(2, 4)
    在同一線上。

            4 2   x1  0
            2  1  x   0   x=(2,4)    x/||x|| unit eigenvector
                  2  
   There is a whole line of eigenvectors- 任何常數乘上特徵向量 cx都是特
    徵向量。
                    所有對應同樣特徵值的特徵向量形成一個子空間。

2012/5/4                                                                14
6.1 Introduction to Eigenvalues :
Good News, Bad News
   Elimination does not preserve theλ’s .
       1   1                    1 1 
     A                       U  
            1 λ= 0 and λ= 2
                                           λ= 0 and λ= 1
       1                        0 0 

   6B The product of the n eigenvalues equals the
    determinant of A .
     det(A-λI) =(λ1-λ)(λ2-λ) …(λn-λ)

   6C The sum of the n eigenvalues equals the sum of
    the n diagonal entries of A . This sum along the main
    diagonal is called the trace of A :
     λ1 +λ2 + … + λn= trace = a11+ a22+ … + ann



2012/5/4                                                    15
6.1 Introduction to Eigenvalues :
Imaginary Eigenvalues
   The 90o rotation Q has no real eigenvalues or
    eigenvectors.
                             0 1
                      Q           det(Q-λI)= λ2+1
                             1 0
     λ1= i , λ2= - i

     x1= (1, i ), x2= (i , 1)

   Q is an orthogonal matrix so the absolute value of each
    λis |λ|=1 . (xHx = xHQHQx =(Qx)HQx= |λ|2xHx , hence |λ|2=1 )
                        xH: transpose of conjugate(x)
   Q is a skew-symmetric (QT= -Q) matrix so each λis pure
    imaginary(λ2<0 ).
     A symmetric matrix has real eigenvalues . And A is diagonalized.
           D= Q-1AQ , or QD = AQ , Q =[ q1, q2, …, qn] qj is the jth eigenvector

2012/5/4                                                                           16
6.2 Diagonalizing a matrix
    (矩陣的對角化)
   如果矩陣A可寫成S-1AS=Λ,Λ是對角矩陣,則稱A
    被對角化(diagonalized)
        A=SΛS-1, A2=(SΛS-1)(SΛS-1) = SΛ2S-1
        A100= SΛ100S-1 , Λ100比較容易計算
   6D Diagonalization
          Suppose the n by n matrix A has n linearly independent
           eigenvectors x1 , …, xn. Put them into the columns of an
           eigenvector matrix S. Then S-1AS is the eigenvalue
           matrix Λ :                1      
                       S 1 AS  Λ  
                                     
                                              
                                                     a diagonal matrix
                                     
                                          n 
                                              
2012/5/4                                                                  17
6.2 Diagonalizing a matrix
    (矩陣的對角化)
   証明: AS  A  x x       xn    1 x1 2 x2   n xn 
                  1 2

                              1    
                x1 x2  xn  
                              
                                       SΛ
                                     
                              
                                 n 
                                     
            S 1 AS  Λ or A  SΛS 1
    因為特徵向量x1 , …, xn 是線性獨立,所以 S的反矩陣 S-1存在。
   如果沒有n個線性獨立的特徵向量x1 , …, xn ,則無法將矩陣對
    角化。
   矩陣A與Λ有相同的特徵值,但是有不相同的特徵向量。Λ的特
    徵向量矩陣(eigenvector matrix)是I(單位矩陣) 。


2012/5/4                                                    18
6.2 Diagonalizing a matrix
    (矩陣的對角化)
   例題:投影矩陣P的特徵值為1,0
                 0.5 0.5
               P
                  0.5 0.5
                          
          P的特徵向量x1=(1, 1) 與x2 =(-1, 1) 。
               1     0.5 0.5 0.5 0.5 1 1 1 0 
              S PS                                   Λ
                      0.5 0.5 0.5 0.5 1 1  0 0
                                                
    Λ的特徵向量x1=(1, 0) 與x2 =(0, 1) 。
   附註:
          1. Any matrix that has no repeated eigenvalues can be
           diagonalized。(不同的特徵值所對應之特徵向量是線性獨
           立)


2012/5/4                                                           19
6.2 Diagonalizing a matrix
    (矩陣的對角化)
          2. The eigenvector matrix S is not unique(不是唯一) .
           如果將特徵向量x1=(1, 1)乘上5 與x2 =(-1, 1)乘上-1,則
                1          0.1 0.1 0.5 0.5 5 1  1 0 
               Snew PSnew            0.5 0.5 5 1  0 0   Λ
                            0.5  0.5                    
              特別當矩陣A = I,每個不為0的向量都是特徵向量
               (Ax = Ix=x ), 因此每個可逆矩陣都是特徵向量矩陣S。
          3. To diagoanlize A we must use an eigenvector matrix.
            S-1AS=Λ , AS= SΛ, if the first column of S is x1 then A x1=λ1 x1

              特徵向量在矩陣S中的順序與特徵值在Λ中對應的順序是一
               致的。 0.5 0.5 0.5 0.5  1 1 0 0
                         0.5 0.5 0.5 0.5  1 1  0 1   Λ
                                                    
2012/5/4                                                                    20
6.2 Diagonalizing a matrix
    (矩陣的對角化)
          4. Some matrices have too few eigenvectors(對於有重覆之
           特徵值的再次警告) .
                                          1  1     0 1 
           右邊兩個矩陣都不能對角化: A                     , A    
                                  1  1 0 0
              他們的特徵值都只有0,第一個矩陣的特徵向量x=c(1,1),第二
               個矩陣的特徵向量x=c(1,0),他們都沒有其他樣式的特徵向量來
               形成可逆的矩陣S,故無法對角化。

          附註:
              Invertibility is concerned with the eigenvalues(zero or not)
              Diagonalizability is concerned with the eigenvectors(too few or
               enough) 。
              Each eigenvalue has at least one eigenvector (non zero).
                  A-λI is singular, there exists x≠0 with (A-λI )x=0

2012/5/4                                                                    21
6.2 Diagonalizing a matrix
    (矩陣的對角化)
   6E (independent x from differentλ) Eigenvectors x1,
    x2, … , xj that correspond to distinct (all different)
    eigenvalues are linearly independent. An n by n matrix
    that has n distinct eigenvalues(no repeatedλ’s) must be
    diagonalizable.
          証明:假設 c1x1+c2 x2 + … +cj xj =0                 (1)
           則 A (c1x1+c2 x2 + … +cj xj)=0, or c1 Ax1+c2Ax2 + … +cj Axj =0 ,
                      c1λ1x1+c2λ2x2 + … +cjλjxj =0    (2)
           (2) –λj* (1) 得
           c1(λ1- λj)x1 + c2(λ2- λj)x2 + …+ cj-1(λj-1- λj) xj-1 =0 (3) ,
           這個式子移除了xj 。接著矩陣A乘上(3)得
           c1(λ1- λj)λ1 x1 + c2(λ2- λj)λ2 x2 + …+ cj-1(λj-1- λj)λj-1 xj-1 =0 (4)

2012/5/4                                                                           22
6.2 Diagonalizing a matrix
    (矩陣的對角化)
   延續上面的証明: (4) –λj-1* (3) 得
     c1(λ1- λj)(λ1- λj-1) x1 + …+ cj-2(λj-2- λj)(λj-2- λj-1) xj-2 =0 (5)
    這個式子移除了xj-1。同樣的方式繼續做,則
     c1(λ1- λj)(λ1- λj-1) …(λ1- λ2) x1 =0
    因為x1 ≠0而且所有的特徵值都不相等,故c1=0,同理可推
    得所有cj=0,即 x1, x2, … , xj 是線性獨立。依照6D的結論
    矩陣可對角化。
   範例:The Markov matrix has λ1=1 and λ2=0.5 with
    x1=(0.6,0.4) and x2=(1,-1)
                 .8 .3 0.6 1 1 0   1          1
               A                                SΛS 1
                 .2 .7  0.4 1  0 0.5 0.4  0.6 

2012/5/4                                                                   23
6.2 Diagonalizing a matrix
    (矩陣的對角化)
          因為A2 x =A (λx)= λ2 x,A2的特徵值是A特徵值的平方,
           但是與A有相同的特徵向量與特徵向量矩陣S。
           A2 = (SΛS-1)(SΛS-1) = SΛ2S-1 , … ,
           Ak = SΛkS-1
                           0.6 1 1        0  1        1
                                         k
                    k 1
           A  SΛ S  
             k
                                             k
                            0.4  1  0 (0.5)  0.4  0.6 
                                                             
                0.6 1 1 0   1          1   0.6 0.6 
           A             0 0  0.4  0.6   0.4 0.4
                 0.4  1                             
          Question: When does Ak → zero matrix ?
              Answer: all |λ| <1 (所有特徵值的絕對值都小於1)

2012/5/4                                                     24
6.2 Diagonalizing a matrix :
Eigenvalues of AB and A+B
   下面是一個錯誤的証明:
     ABx=Aβx= βAx= βλx

     (A+B)x=Ax +Bx =λx +βx =(λ+β) x
     上面錯誤乃誤用A, B有相同的特徵向量x

               0 1             0 0             A, B的特徵值都只有0,
            A         and B      
               0 0             1 0             A的特徵向量x=(1,0) ,
                 1 0                0   1      B的特徵向量x=(0,1)
            AB          and A  B  
                  0 0              1   0
                                            
           AB的特徵值有0, 1 , 對應之特徵向量x1=(0,1) , x2=(1,0)
           A+B的特徵值則有1, -1 , 對應之特徵向量x1=(1,1) , x2=(-1,1)
   6F Commuting matrices (乘法可交換矩陣) share eigenvectors
          Suppose A and B can be diagonalized. They share the same eigenvector
           matrix S if and only if AB=BA .

2012/5/4                                                                          25
6.2 Diagonalizing a matrix :
Fibonacci Numbers
   Fibonacci Numbers:
           0, 1, 1, 2, 3, 5, 8, 13, …
           Fk+2= Fk+1 + Fk , k≥ 0 (該項等於前兩項之和 )
           Find the Fibonacci number F100 by uk+1 =A uk
           let
                       Fk 1            1 1 
                uk            , uk 1    uk  Auk , u100  A100 u0
                       Fk              1 0
           the eigenvalues of A , 解 det(A-λI )= λ2-λ-1 =0
                1 5                  1 5
           1          1.618 , 1         0.618
                   2                    2
           the eigenvectors 下一頁

2012/5/4                                                                  26
6.2 Diagonalizing a matrix :
Fibonacci Numbers
          the eigenvectors       1  1 1         0            1 
                                  1           x1  0
                                          1 
                                                              x1   
                                                                 1 
                                  1  2 1         0            2 
                                  1           x2   0 
                                          2 
                                                              x2   
                                                                 1 
          將u0寫成x1與x2的線性組合
                       x  x2                        (1 )100 x1  (2 )100 x2
                   u0  1           u100    A u0 
                                                100

                       1  2                                1  2
          取u100的第二個分量,即是 F100
                    1   1  5 100  1  5 100  1  1  5 100
           F100                                       3.54*10
                                                                          20

                     5  2 
                               
                                      2  
                                                  5 2 
                                                             
                       
                                                      Golden mean

2012/5/4                                                                         27
6.2 Diagonalizing a matrix :
Fibonacci Numbers
                 1   1  5 100  1  5 100 
                                            
        F100
                  5  2   2  
                                        
                                        

          別懷疑上面F100是一個整數,其中第二項的值<1/2。
           因此一般第k項
                                                                            k
                                     k   k
                                                               1  1 5 
           kth Fibonacci number =
                                       1
                                           nearest integer to
                                            2
                                                                       
                                  1  2                       5 2 
                                                                       




2012/5/4                                                                        28
6.2 Diagonalizing a matrix :
Matrix Powers Ak
   假設矩陣可對角化 A= SΛS-1,計算Ak與uk =Ak u0較為容易
       2      -1    -1     2 -1 , … , Ak = SΛkS-1
     A = (SΛS )(SΛS ) = SΛ S

          如果u0寫成特徵向量x1, x2 , …, xn的線性組合
             u0= c1x1+ c2x2 + … + cnxn
           則 uk =Ak u0 = Ak (c1x1+ c2x2 + … + cnxn)
                     = c1(λ1)k x1+ c2(λ2)k x2 + … + c2(λn)k xn
           或                      c1 
               u0  c1 x1      cn xn  S    Sc
                                                           其中 c =S-1 u0
                                           cn 
                                            
                                                                (1 ) k          c1 
                                                                                 
               uk  Ak u0  SΛk S 1 Sc  SΛk c   x1 ... xn                   
                                                                        (n ) k  cn 
                                                                                 
2012/5/4                                                                                   29
6.2 Diagonalizing a matrix :
Nondiagonalizable Matrices
   特徵值如果重覆,即特徵多項式det(A-λI)對於這個
    特徵值有重根,其重根數(multiplicity) M>1,此數
    一般稱為代數重根數(Algebraic Multiplicity = AM)。
   針對一個特徵值λ,計算線性獨立的特徵向量之個
    數(或是矩陣A-λI nullspace的維度) ,此數一般稱為
    幾何重根數(Geometric Multiplicity = GM)。
   當GM< AM ,不足數的特徵向量,將無法使得矩陣
    對角化。     0 1                1
               A     has det( A   I )  0    
                                        2

                 0 0 

      A的特徵向量x=(1,0) , GM=1 < AM=2

2012/5/4                                                 30
6.2 Diagonalizing a matrix :
Nondiagonalizable Matrices
   下列三個矩陣的特徵多項式都是 det(A-λI)=(λ-5)2,
    AM =2,但是GM=1。
             5 1        6 1        7 2
           A     , A  1 4  , A   2 3 ,
              0 5                       

   GM< AM ,三個矩陣都無法對角化。




2012/5/4                                           31
6.3 Applications to Differential Equations

   問題:解下列微分方程式
                  du
          (*)        u        假如u(0)是在t=0的起始值,λ是
                  dt             一個常數。
                u(t) = u(0) eλt是微分方程式(*)的解 。
                如果λ>0 表示解隨 t成長,λ<0 則解隨 t衰減。




2012/5/4                                              32
6.3 Applications to Differential Equations

   問題:解下列微分方程組
           (*)      du            假如u(0)是在t=0的起始值,而且A是
    
                         Au
                     dt           一個常數的矩陣與t無關。
                Let u(t) =eλtx , 其中λ, x是A的特徵值與對應之特徵向量
                  du
                      et x  et  x  et Ax  A(et x)  Au
                  dt
                 上式証明u(t) =eλtx是微分方程組(*)的解 。
                如果λ>0 表示解隨 t成長,λ<0 則解隨 t衰減。
                如果λ是複數,則實數部分表示解是成長或衰減,虛數部分是eiωt
                 類似一個sin()振盪波。
                這個微分方程組是線性,因為如果u(t)、v(t)是一般解,則
                 Cu(t)+D v(t)亦是解。再利用u(0)起始值,可求出適當的C 與D 。


2012/5/4                                                           33
6.3 Applications to Differential Equations

   範例:解下列微分方程組
          (*)   du        0   1             4
                     Au        u , u(0)  2
                 dt        1   0             
          這個微分方程組可視為有兩個純量的微分方程式
                    y  du 0       1     d  y       0   1  y 
                 u  ,             u  dt  z  =   1
                   z   dt 1       0                    0 z 
                                                                
                 dy                    dz
                     z , y(0)  4 and     y , z (0)  2
                 dt                    dt
          dy/dt 與 z有關而且dz/dt 與 y有關,我們稱方程組
           為 ”coupled together “。( A不是對角矩陣)

2012/5/4                                                                 34
6.3 Applications to Differential Equations

   範例(續):
       dy                    dz
           z , y(0)  4 and     y , z (0)  2
       dt                    dt
              將上面兩式合併改為(看成是單一變數的微分方程式)

               d ( y  z)                d ( y  z)
                           z y   and               ( y  z )
                   dt                        dt

              y+z 的成長類似 et (λ=1 )
              y-z 的成長類似 e-t (λ= -1)



2012/5/4                                                           35
6.3 Applications to Differential Equations

   範例(續):
          A的特徵值λ1=1 , λ2= -1
          特徵向量x1=(1,1) , x2=(1, -1)
                      1t   t 1               2t    t  1
           u1 (t )  e x1 =e   and u2 (t )  e x2 =e  
                              1                          1
          這兩個解的線性組合 C u1(t) + D u2(t)亦會滿足原微分
           方程組,稱之為一般解(General solution) 。
          代入起始值u (0)=(4,2), 得C (1,1)+D(1,-1)=(4,2)
           求得 C =3, D=1.
          唯一解 u (t)=3et(1,1) +e-t(1,-1)

2012/5/4                                                          36
6.3 Applications to Differential Equations

   解微分方程組摘要:
             du
                 Au      , u(0) 是起始值
             dt
          找出A的特徵值λi ,與n 個線性獨立的特徵向量xi
          將u(0)寫為這組 xi的線性組合 c1x1+ c2x2 +…+ cnxn
          每個特徵向量xi乘上 ei t
            唯一解

             u(t )  c1e1t x1  c2 e 2t x2  ...  cn e nt xn
     Remark:如果λ是2重根,而只有一個獨立的特徵向量x,則另外一
     個解為 teλtx 。

2012/5/4                                                           37
6.3 Applications to Differential Equations
(Stability of 2 by 2 matrices)
   2 by 2矩陣的穩定性:
              du
          針對      Au 微分方程組的解有一個基本問題:
               dt
            解是否趨近於u=0, 當 t →∞?

              因為解牽涉有 eλt,如果λ是實數且<0則 eλt →0
               如果λ是複數eλt= e(r+i s)t= ert ei st = ert (cosst+isinst)
               ert的部分控制了成長(r>0, instability)或衰減(r<0, stability)
          有那些矩陣其特徵值具有負的實部(negative real part)?
   當所有特徵值具有負的實部,矩陣A是穩定的且解u→0
          λ1 + λ2 <0 and λ1 *λ2 >0                        a b 
                                                         A
          The trace T=a+d <0 and D=det(A)=ad-bc>0
                                                            c d
                                                                

2012/5/4                                                              38
6.3 Applications to Differential Equations
(Stability of 2 by 2 matrices)
   2 by 2矩陣的穩定性:
          當所有特徵值具有負的實部, 矩陣A是穩定的且解u→0
          λ1 + λ2 <0 and λ1 *λ2 >0                  a b 
          The trace T=a+d <0 and det(A)=ad-bc>0   A    
                                                     c d 

                                                   P(λ )= λ2-T +D


                                                   如果λ是複數,則

                                                   λ1=r+i s ,λ2=r-i s


2012/5/4                                                                39
6.4 Symmetric Matrices

   具有特殊性質的矩陣,其特徵值與特徵向量亦具
    有特別的性質。例如:
          在R2投影矩陣P(P= P2, P = PT)的特徵值只能為1或0
           因為對於 x≠0, Px=λx ,
                    λx= Px= P2x=P(λx)= λ2x
           得λ=0 或1
          λ=0 對應之特徵向量會填滿nullspace of P( left
           nullspace of P)。
          λ=1 對應之特徵向量會填滿column space of P (row
           space of P) 。
          可以有互相垂直的特徵向量。

2012/5/4                                      40
6.4 Symmetric Matrices

                          1 0 0 
     在R
          3投影到xy平面的矩陣 P   0 1 0      的特徵值為
                                 
                          0 0 0
                                 
      1,1,0
          λ=0 對應之特徵向量會垂直此平面(xy平面)。
              特徵向量 u=c(0,0,1), c是常數
          λ=1, 1 對應之特徵向量會填滿整個平面(Px=x) 。
              有兩個線性獨立的特徵向量
               v= (1,0,0), w= (0,1,0)
          可以有互相垂直的3個特徵向量。


2012/5/4                                        41
6.4 Symmetric Matrices

   對稱矩陣(AT=A)的特徵值與特徵向量具有下列性
    質:
     特徵值都是實數(real eigenvalues)。
     選取特徵向量是單位長度並互相垂直(orthonormal)。

     這組orthonormal特徵向量形成的矩陣S,是一個正交矩
      陣Q。
   6H (Spectral Theorem)
     Every symmetric matrix has the factorization A= QΛ Q
                                                            T

      with real eigenvalues in Λ and orthonormal eigenvectors in
      Q : A= QΛ Q-1 = QΛ QT with Q-1 = QT
          証明的過程先用例題說明,接著証明2 by 2矩陣成立,最後証明n
           by n矩陣成立。

2012/5/4                                                       42
6.4 Symmetric Matrices

   範例:Find the λ’s and x’s when
                    1 2                1   2 
                  A     and A   I   2 4   
                    2 4                         
   det(A-λI )=0 , λ2- 5λ=0 . 得λ1=0 and λ2=5
              λ1 + λ2 + =5=1+4 = trace of A
              λ1=0, 特徵向量 x1=(2,-1) (in the nullspace of A )
               λ2=5, 特徵向量 x2=(1, 2) (in the column space of A )
              x1, x2 互相垂直 (AT =A , the row space and column
               space are the same, the nullspace is perpendicular to
               the row space)            2 1 1 2
                                       1             1 
                                                      2 1   0 0       
                           Q 1 AQ             2 4     1 2 =   Λ
                                        5 1   2      5       0 5 
2012/5/4                                                                      43
6.4 Symmetric Matrices

   針對一般2 by 2 對稱矩陣
       a b             a b
     A                          2  (a  c)  (ac  b2 )
        b c
             and
                       b  c

    因為Δ=(a+c)2- 4(ac -b2) = (a-c)2 +4b2 >0,故上面的特徵多
    項式有實根。
     特徵向量                   a  1 b                      b 
           ( A  1I ) x1                 x1  0 so x1    a 
                            b      c  1                  1    
                                        a  2 b                     2  c 
                     ( A  2 I ) x2                 x2  0 so x2   b 
                                       b      c  2                        
           x1  x2  b(2  c)  (1  a)b  b(2  c  1  a )  0
2012/5/4                                                                           44
6.4 Symmetric Matrices

   針對一般n by n 對稱矩陣
   6I The eigenvalues of a real symmetric matrix are
    real.
          証明:假設 Ax =λx (λ, x可能是複數,複數向量)                            (1) ,
            則
                Ax  Ax (A is real )  Ax   x   x
                                              T       T         T
                then (Ax )  ( x )   x
                          T           T
                                                  or x A = x         (2)
          考慮下面之乘積得
            T        T        T           T
           x (1)  x Ax  x  x   x x
                     T            T                    
           (2) x  x Ax   x x                              λ是實數

2012/5/4                                                                    45
6.4 Symmetric Matrices

   6J Orthogonal Eigenvectors
          Eigenvectors of a real symmetric matrix (when they
           correspond to different λ’s ) are always perpendicular.
          証明:假設 Ax =λ1x and Ay =λ2y , 則
              (λ1x )Ty = (Ax)Ty = xTATy = xTAy =xTλ2y
                λ1x Ty = λ2 xTy
              得 xTy =0 因為λ1≠λ2
   前面的範例:
          λ1=0, 特徵向量 x1=(2,-1)
          λ2=5, 特徵向量 x2=(1, 2)             互相垂直



2012/5/4                                                             46
6.4 Symmetric Matrices

   6J Orthogonal Eigenvectors
          Eigenvectors of a real symmetric matrix (when they
           correspond to different λ’s ) are always perpendicular.
   有相同的特徵值 (repeated eigenvalues )
                  a b a 0
               A       0 a  (c=a, b=0)
                  b c         
          特徵值λ=a , a是重根, 特徵向量 x1=(1,0)與x2=(0,1)互相垂
           直。
          ※雖然此A矩陣是對角矩陣有點特別,下面將說明一般的對
           稱矩陣都可以有互相垂直的特徵向量。


2012/5/4                                                             47
6.4 Symmetric Matrices

   A has real eigenvalues and n real orthogonal
    eigenvectors if and only if A = AT .
          “→” A 可對角化A= QΛ QT ,故 AT= (QΛ QT )T = QΛ QT = A
            “←” 參考 6H
   6H Every symmetric matrix has a complete set of
    orthogonal eigenvectors : A= SΛ S-1 becomes
    A= QΛ QT .
          If A = AT has a double eigenvalueλ, there are two independent
           eigenvectors.
            假設A 是2 by 2 對稱矩陣,λ是重覆一次的特徵值,x為特徵向
              量 ||x||=1 Ax =λ x。我們在R2中可找到一個單位向量v,x, v 是
              線性獨立(extended basis),再經由 Gram-Shmidt 使得x, v互相
              垂直。
              ( 下面接著証明v也是對應λ的特徵向量)
2012/5/4                                                                   48
6.4 Symmetric Matrices

              令S =[x v]
                          xT           xT            x T Ax   x T Av 
               S T AS    A  x v      Ax Av                    
                         v            v              v Ax     v Av 
                            T              T               T        T
                                                                     
                  x T x x T Av    x T Av   0              A是對稱矩陣 STAS也
                                              
                  v x v Av  0 v Av  0                      是對稱, 而且已知λ重
                     T       T           T
                                            
                                                                   覆一次。

               故 AS = SΛ, Ax =λ x and Av =λ v
              當A 是 n by n 對稱矩陣,同理可推導相同的結論。
   6H 說明只要A是對稱矩陣,不論特徵值是否不同,我們都
    可找到一組互相垂直的單位特徵向量,使得A可對角化,
    寫為 A= QΛ QT。

2012/5/4                                                                          49
6.4 Symmetric Matrices

   附註:
          一般2 by 2 :

                                 1 0   x1 
                                              T
           A  QΛQ T   x1 x2           T   1 x1 x1  2 x2 x2
                                                          T           T

                                  0 2   x2 
                                              
          每個xi xi T是投影矩陣(第四章), rank-one的矩陣
          6H (Spectral Theorem) 告訴我們說:如果A是對稱矩陣,則A為投影
           矩陣的組合(rank-one 矩陣之和),可寫成
                         A  1 x1 x1T  2 x2 x2T  ...  n xn xnT
                            1P1  2 P2  ...  n Pn
           λi是特徵值 ,Pi是投影矩陣(投影到特徵向量xi所形成的子空間)


2012/5/4                                                                  50
6.4 Symmetric Matrices:
    Complex Eigenvalues of Real Matrices
   實數矩陣如果有複數的特徵值,則特徵值與特徵向量
    是共軛成對(conjugate pairs):
      If Ax   x then Ax   x

                   cos  sin  
           例題: A  
                          cos 
    
                   sin         

              特徵值λ1=cosθ + i sinθ, λ2=cosθ - i sinθ
               Every orthogonal matrix has eigenvalues |λ|=1   (   1  2 )
              特徵向量 x1= (1, -i) , x2= (1, i)
                            x1  x 2

2012/5/4                                                                       51
6.4 Symmetric Matrices:
    Eigenvalues versus Pivots
   product of pivots = determinant = product of
    eigenvalues .
   6K If A is symmetric , the number of positive
    (negative) eigenvalues equals the number of
    positive (negative) pivots.
          例如:     1 3        1    6
                 A    , B   1  4    B不是對稱矩陣
                   3 1              
             pivots: 1, -8         pivots: 1, 2
             eigenvalues 4 , -2    eigenvalues -1 , -2



2012/5/4                                                 52
6.4 Symmetric Matrices:
    Eigenvalues versus Pivots
          我們將A分解成
                        1 3 1 0 1   1 3
                      A    
                             3 1   8 0 1  LDL
                                                     T

                        3 1            
          將3換成x而且讓x趨於0,則下面矩陣的特徵值從4, -2 開始
           改變,
               1     x  1 0  1    1 x 
                                           IDIT
                x x  8  x 1   8 0 1
                    2


           因為特徵多項式是連續,而且A不是奇異矩陣,沒有0的
           特徵值,因此4只能對應1,-2對應-8 (符號不變) 。參考下
           頁數據。
          對於n by n 對稱矩陣A= LDLT,我們同樣將L非主對角上
           的元素更動為0使成為I矩陣,則LDLT特徵值λ更動為 IDIT
           的特徵值d (中軸數),其對應符號不變。

2012/5/4                                                   53
6.4 Symmetric Matrices:
    Eigenvalues versus Pivots
          觀察當x=2,
                  1 2      特徵多項式P(λ) =λ2+3λ-8
             A1        
                   2  4   特徵值為:   3  41           (約1.7 , -4.7)
                                                 2
          當x=1
                 1 1       特徵多項式P(λ) =λ2+6λ-8
            A2        
                 1  7     特徵值為:   6  68  3  17         (約1.12 , -7.12)
                                                 2
          當x=1/2
                1      1/ 2  特徵多項式P(λ) =λ2+27/4λ-8
           A3  
                1/2  31/ 4 特徵值為:   27  1 1241  27  1241
                                         4   4
                                                     2             8
                               約( 1.03, -7.78)

2012/5/4                                                                     54
6.4 Symmetric Matrices:
           All Symmetric Matrices are Diagonalizable
   There are always enough eigenvectors to
    diagonalize A= AT (symmetric matrix) .
   A real matrix has perpendicular eigenvectors if and
    only if AAT = ATA (normal matrix).
          例如:
               0 1 0       1 0 1      1 0 0 
           A  1 0 0  B   0 1 0  C   0 1 1     λ= -1, 1, and 1
                                              
               0 0 1
                           0 0 1
                                         0 0 1
                                                  
          A對稱可對角化, B不對稱可對角化, C不對稱不可對
           角化

2012/5/4                                                                 55
6.4 Symmetric Matrices:
           All Symmetric Matrices are Diagonalizable
          A的特徵值/特徵向量λ1= -1 , x1=(1,-1,0)
             λ2=1 , x2=(1,1,0) x3=(0,0,1)   (x2 x3線性獨立)
          B的特徵值/特徵向量λ1= -1 , x1=(1,0,0)
             λ2=1 , x2=(0,1,0) x3=(0.5,0,1) (x2 x3線性獨立)
          C的特徵值/特徵向量λ1= -1 , x1=(1,0,0)
             λ2=1 , x2=(0,1,0) x3=(0,1,0) (x2 x3線性相依)
          請同學自行檢查上面矩陣的特徵值/特徵向量。
          如果將A3,3 , B 3,3, C3,3從1換成d,則 A3,3=B 3,3=C3,3=d ≠1
           其特徵值為 -1, 1, d ,我們來觀察C的特徵向量的變化。
           其餘請同學自行練習。


2012/5/4                                                   56
6.4 Symmetric Matrices:
           All Symmetric Matrices are Diagonalizable
              當C3,3=d ≠1 考慮λ3=d,
                         1  0 0
               C  dI   0 1  d 1     特徵向量x3 =(0, 1, d-1)
                                  
                         0
                             0 0 
              特徵向量矩陣SC有三個線性獨立的特徵向量,讓 d 趨近於1
               則SC 只有兩個特徵向量線性獨立


                  1 0 0             1 0   0          1 0 0 
               C 0 1 1         SC   0 1  1          0 1 1 
                                                            
                  0 0 d              0 0 d  1 d →1
                                                        0 0 0 
                                                                
                         


2012/5/4                                                             57
6.4 Symmetric Matrices:
           All Symmetric Matrices are Diagonalizable
          一般方陣(非對稱),可能無法對角化。但是下列定理
           証明每個方陣都可以三角化。
          Schur’s Theroem:
            Every square matrix factors into A=QTQ-1 where T is
                                   T
             upper triangular and Q  Q1
                If A has real eigenvalues the Q and T can be chosen real :
                 QTQ=I (Q是正交矩陣 )


          當A是對稱(symmetric)則T 是對角矩陣Λ。
          範例於下頁



2012/5/4                                                                      58
6.4 Symmetric Matrices:
           All Symmetric Matrices are Diagonalizable
                            2 0
          方陣(非對稱)        A    
                            1 2 

              的特徵值為λ=2, 2 (AM=2) 與特徵向量x=(0,1) (GM=1)
              A無法對角化( not diagonalizable)但是可三角化
                  特徵向量       不是特徵向量


                           0 1   2 0  0 1   2 1 
                 QT AQ          1 2  1 0    0 2   T
                           1 0                    
               Q是正交矩陣 (orthogonal matrix), T是上三角矩陣(upper
               triangular) 。



2012/5/4                                                         59

				
DOCUMENT INFO
Shared By:
Categories:
Tags:
Stats:
views:46
posted:5/4/2012
language:
pages:59