Одним з найпростіших ітераційних методів розв’язання систем лінійних алгебраїчних рівнянь є метод простої ітерації – метод послідовних наближень. Проілюструємо цей метод на прикладі розв’язання системи лінійних алгебраїчних рівнянь 3-го порядку:
за умови, що її матриця А=[aij] є не виродженою.
Перепишемо систему у вигляді:
(3)
Чи в матричній формі:
або
.
Задамо деякі початкові (нульові) наближення значень невідомих: , , . Нульове наближення може бути взяте довільно, наприклад, стовпчик вільних членів.
Підставимо ці значення в праві частини рівнянь системи (3) й отримаємо для , , нові перші наближення:
.
Аналогічно, підставляючи в систему (3) значення перших наближень, отримаємо другі наближення:
й т. д.
Ітераційний процес продовжується до тих пір, поки значення , , не стануть близькими із заданою точністю до значень , , відповідно. Т. б., критерієм закінчення ітераційного процесу є виконання умови:
Для збіжності ітераційного процесу достатньо, щоб норма матриці А, яка складається з коефіцієнтів при невідомих у правих частинах рівнянь системи (3), була менша 1: