高斯消元法
我們對線性方程組可以做如下的三種變換：
（1）將一個非零常數(shù)
（2）將一個方程的若干倍加到另一個方程上；
（3）交換兩個方程的位置。

我們將線性方程組的這三種變換稱之為線性方程組的初等變換。對方程組做初等變換得到的新的線性方程組與原來的線性方程組是同解的。易知，對線性方程組做初等行變換等價于對增廣矩陣做相應的初等行變換。
注：由于齊次線性方程組的常數(shù)項恒為零，我們在對其做初等變換時只需對它的系數(shù)矩陣做相應的初等行變換。

高斯消元法
我們對線性方程組做初等變換的目的是為了將其化為與之同解的如下形式的線性方程組：

在該方程組中，每一個方程都至少比上一個方程少一個未知量，這種方程稱為階梯型方程。在階梯型方程組中，每一行的第一個未知量稱為主元，其余的未知量稱為自由變量。階梯型方程組的解是比較容易求得的。

利用高斯消元法求解線性方程組就等價于利用初等行變換將線性方程組的增廣矩陣化為階梯型矩陣。再將最后的增廣矩陣還原為線性方程組同樣可以求出原方程組的解。不難看出該求解過程更為簡潔。