Introduktion till Konjugat gradient
Conjugate Gradient är en metod mellan den brantaste nedstigningsmetoden och Newtons metod. Den behöver bara använda den första derivatinformationen, men den övervinner bristerna i långsam konvergens av den brantaste nedstigningsmetoden och undviker behovet av lagring i Newtons metod. Förutom bristerna i att beräkna Hesse-matrisen och hitta inversen är konjugatgradientmetoden inte bara en av de mest användbara metoderna för att lösa stora linjära ekvationer, utan också en av de mest effektiva algoritmerna för att lösa stor icke-linjär optimering.