Introduction to Linear Algebra
Gilbert Strang
NEW THIRD EDITION MARCH 2003
ISBN 0-9614088-9-8 Please e-mail gs@math.mit.edu to request a copy of this new edition This text comes with a complete set of course materials • Solution Manual and Examination Questions • Glossary: A Dictionary for Linear Algebra • Java Demos and Conceptual Questions • MATLAB Teaching Codes and Exercises • “Linear Algebra in a Nutshell”: 1-page outline for review • Video Lectures of the Full Course (in a real classroom) Please look at these Linear Algebra Web Pages: web.mit.edu/18.06/www Wellesley-Cambridge Press Box 812060 Wellesley MA 02482 phone/fax 781 431 8488 (OpenCourseWare) ocw.mit.edu
www.wellesleycambridge.com e-mail gs@math.mit.edu
The new edition has > 100 Worked Examples in Chapters 1–7
CONTENTS OF THE NEW EDITION
1 Introduction to Vectors 13 Vectors and Linear Combinations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 Lengths and Dot Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 2 Solving Linear Equations 35 Vectors and Linear Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 The Idea of Elimination . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 Elimination Using Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 Rules of Matrix Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 Inverse Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 Elimination = Factorization: A = LU . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 Transposes and Permutations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 3 Vector Spaces and Subspaces 125 Spaces of Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125 The Nullspace of A: Solving Ax = 0 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136 The Rank and the Row Reduced Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150 The Complete Solution to Ax = b . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161 Independence, Basis and Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173 Dimensions of the Four Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
I hope for help from SIAM members in recommending this book for consideration by faculty teaching linear algebra. Please send suggested names to gs@math.mit.edu (and perhaps give them this note about the new edition). The book has full support and is very widely used. 4 Orthogonality 201 Orthogonality of the Four Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201 Projections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211 Least Squares Approximations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222 Orthogonal Bases and Gram-Schmidt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234 Determinants 247 The Properties of Determinants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247 Permutations and Cofactors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258 Cramer’s Rule, Inverses, and Volumes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273 Eigenvalues and Eigenvectors 289 Introduction to Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289 Diagonalizing a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303 Applications to Differential Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 318 Symmetric Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 333 Positive Definite Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 345 Similar Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 358 Singular Value Decomposition (SVD) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367 Linear Transformations 379 The Idea of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 379 The Matrix of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388 Change of Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 401 Diagonalization and the Pseudoinverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 408 Applications 419 Matrices in Engineering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 419 Graphs and Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 430 Markov Matrices and Economic Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 441 Linear Programming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 449 Fourier Series: Linear Algebra for Functions . . . . . . . . . . . . . . . . . . . . . . . . . 456 Computer Graphics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 462 Numerical Linear Algebra 469 Gaussian Elimination in Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 469 Norms and Condition Numbers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 478 Iterative Methods for Linear Algebra . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 484 Complex Vectors and Matrices 497 Complex Numbers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 497 Hermitian and Unitary Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 506 The Fast Fourier Transform . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 516
5
6
7
8
9
10