Когда вы изменяете только первый вложенный список в матрице, все остальные элементы также изменяются из-за того, что матрица представляет собой коллекцию вложенных списков, которые хранятся по ссылке.
То есть, каждый элемент матрицы содержит ссылку на вложенный список, а не сам список. При изменении одного из вложенных списков, все остальные элементы матрицы, которые содержат ту же ссылку, также будут отражать этот измененный список.
Для изменения только одного вложенного списка в матрице, вам необходимо создать его копию и затем изменить эту копию. Это можно сделать, например, с помощью функции copy.deepcopy() в Python или аналогичных методов в других языках программирования.