Sistemas de Ecuaciones Lineales
Uno de los problemas más frecuentes que nos encontramos en la programación científica es la solución de sistemas de ecuaciones lineales algebraicas, tales sistemas pueden ser escritos como se muestra:

donde A es una matriz cuadrada de orden n, b es un vector dado de orden n, y x es el vector de incógnitas.
El origen de problemas de SEL ( sistemas de ecuaciones lineales) incluye la aproximación de ecuaciones diferenciales o o ecuaciones en derivadas parciales por alguno de los diversos métodos de discretización, ajuste de curvas polinomiales a datos discretos, u optimización lineal.
Debido a que en los problemas reales de ingeniería se tiene generalmente un gran número de ecuaciones e incógnitas se busca la posibilidad de usar algun método robusto y práctico para solucionar nuestros sistemas de ecuaciones lineales.
Para resolver un sistema de ecuaciones lineales se debe primeramente saber si se trata de una matriz dispersa o no como lo veremos en las siguientes definiciones.
1.- Matriz no-dispersa. Matriz en la cual todos los elementos n^2 de aij son almacenados en la memoria de la computadora.
2.- Matriz dispersa. Es una matriz donde la mayoría de los elementos es cero y donde el resto puede ser almacenado óptimamente.
éste es un ejemplo de matriz dispersa

La matriz mostrada se dice que está bandeada ( tridiagonal ) debido a que todos los elementos se encuentran cerca de la diagonal principal. Es importante señalar que el almacenamiento de las matrices en la memoria de la computadora debe de ser realizado de una manera óptima y eficaz para distribuir de una mejor manera los recursos computacionales para su resolución.
Para solucionar este tipo de problemas, se emplea el uso de dos tipos de métodos numéricos, como son los métodos directos o la clase de métodos iterativos.
Diferencia entre método iterativo y método directo :
Los métodos directos resuelven los sistemas de ecuaciones en un número determinado de operaciones aritméticas ( sumas, restas , multiplicaciones y divisiones), y los errores en la solución de éstos sistemas de ecuaciones surgen primordialmente de los errores de redondeo que es común realizar al efectuar algún cálculo.
Básicamente , los métodos directos son los métodos de eliminación, de los cuales el más conocido es el método sistemático de eliminación gaussiana, y los métodos de descomposición triangular. Estos últimos factorizan la matriz de coeficientes A de las ecuaciones Ax =b en A-L. donde L y U son matrices que llamamos matrices triangulares inferiores y superiores respectivamente.
Un método iterativo para resolver ecuaciones es aquél en el cual una primera aproximación es usada para calcular una segunda aproximación, la cual a su vez es usada para calcular una segunda aproximación, la cual a su vez es usada para calcular una tercera aproximación, y así sucesivamente hasta resolver satisfactoriamente el sistema de ecuaciones.
Cuando después de varias iteraciones se obtiene una diferencia de casi cero entre la solución exacta y las sucesiones iterativas entornes decimos que el sistema o procedimiento iterativo es convergente. Un punto importante de esto es que las operaciones iterativas converjan rápidamente valores que puedan considerarse correctos dentro de una precisión que estableceremos correcta o aproximada en forma correcta, por ejemplo con un error de 0.001 se podría hablar de una aproximación muy eficiente de la solución del sistema de ecuaciones.