初等矩陣都是可逆矩陣。是否可逆看它的行列式是否為零，因為初等矩陣行列式都為1，所以都可逆。初等矩陣是一個n階單位矩陣E經過一次初等行變換。從正交矩陣的構成定理來看，要求矩陣裡的每個元素的絕對值都不能夠大於1，三類二階及以上初等矩陣除掉單位矩陣顯然均不會滿足這一點。
首先，初等矩陣都可逆，其次，初等矩陣的逆矩陣其實是一個同類型的初等矩陣（可看作逆變換）。例如，交換矩陣中某兩行（列）的位置；用一個非零常數k乘以矩陣的某一行（列）；將矩陣的某一行（列）乘以常數k後加到另一行（列）上去。若某初等矩陣左乘矩陣A，則初等矩陣會將原先施加到單位矩陣E上的變換，按照同種形式施加到矩陣A之上。或者說，想對矩陣A做變換，但是不是直接對矩陣A去做處理，而是通過一種間接方式去實現。
初等行變換不影響線性方程組的解，也可用於高斯消元法，用於逐漸將系數矩陣化為標準形。初等行變換不改變矩陣的核（故不改變解集），但改變瞭矩陣的像。反過來，初等列變換沒有改變像卻改變瞭核。
