La méthode des moindres carrés est l'une des applications les plus importantes dans l'approximation des fonctions. L'idée est de trouver une courbe telle que, étant donné un ensemble de paires ordonnées, cette fonction se rapproche le mieux des données. La fonction peut être une ligne, une courbe quadratique, une cubique, etc.
L'idée de la méthode consiste à minimiser la somme des carrés des différences en ordonnée (composante Y), entre les points générés par la fonction choisie et les points appartenant à l'ensemble de données.
Méthode des moindres carrés
Avant de donner la méthode, nous devons d'abord être clair sur ce que signifie «meilleure approche». Supposons que nous cherchions une droite y = b + mx qui représente le mieux un ensemble de n points, à savoir {(x1, y1), (x2, y2)…, (xn, yn)}.
Comme le montre la figure précédente, si les variables x et y étaient liées par la ligne y = b + mx, alors pour x = x1 la valeur correspondante de y serait b + mx1. Cependant, cette valeur est différente de la vraie valeur de y, qui est y = y1.
Rappelez-vous que dans le plan, la distance entre deux points est donnée par la formule suivante:
Dans cette optique, pour déterminer la manière de choisir la ligne y = b + mx qui se rapproche le mieux des données données, il semble logique d'utiliser comme critère la sélection de la ligne qui minimise la somme des carrés des distances entre les points et la ligne droite.
Puisque la distance entre les points (x1, y1) et (x1, b + mx1) est y1- (b + mx1), notre problème se réduit à trouver les nombres m et b tels que la somme suivante soit minimale:
La droite qui remplit cette condition est appelée «approximation de la ligne des moindres carrés aux points (x1, y1), (x2, y2),…, (xn, yn)».
Une fois le problème obtenu, il ne reste plus qu'à choisir une méthode pour trouver l'approximation des moindres carrés. Si les points (x1, y1), (x2, y2),…, (xn, yn) sont tous sur la ligne y = mx + b, on aurait qu'ils sont colinéaires y:
Dans cette expression:
Enfin, si les points ne sont pas colinéaires, alors y-Au = 0 et le problème peut se traduire par la recherche d'un vecteur u tel que la norme euclidienne soit minimale.
Trouver le vecteur minimisant u n'est pas aussi difficile qu'on pourrait le penser. Puisque A est une matrice nx2 et u est une matrice 2 × 1, nous avons que le vecteur Au est un vecteur dans R n et appartient à l'image de A, qui est un sous-espace de R n de dimension non supérieure à deux.
Nous supposerons que n = 3 pour montrer quelle procédure suivre. Si n = 3, l'image de A sera un plan ou une ligne passant par l'origine.
Soit v le vecteur minimisant. Sur la figure, nous observons que y-Au est minimisé lorsqu'il est orthogonal à l'image de A. Autrement dit, si v est le vecteur minimisant, alors il arrive que:
Ensuite, nous pouvons exprimer ce qui précède de cette manière:
Cela ne peut se produire que si:
Enfin, en résolvant v, nous avons:
Il est possible de le faire car A t A est inversible tant que les n points donnés en données ne sont pas colinéaires.
Maintenant, si au lieu de chercher une ligne nous voulions trouver une parabole (dont l'expression serait de la forme y = a + bx + cx 2) qui serait une meilleure approximation des n points de données, la procédure serait celle décrite ci-dessous.
Si les n points de données étaient dans cette parabole, nous aurions:
Alors:
De même, nous pouvons écrire y = Au. Si tous les points ne sont pas dans la parabole, nous avons que y-Au est différent de zéro pour tout vecteur u et notre problème est à nouveau: trouver un vecteur u dans R3 tel que sa norme -y-Au- soit la plus petite possible.
En répétant la procédure précédente, on peut arriver à ce que le vecteur recherché soit:
Exercices résolus
Exercice 1
Trouvez la droite qui correspond le mieux aux points (1,4), (-2,5), (3, -1) et (4,1).
Solution
Nous devons:
Alors:
Par conséquent, nous concluons que la droite qui correspond le mieux aux points est donnée par:
Exercice 2
Supposons qu'un objet tombe d'une hauteur de 200 m. Lors de sa chute, les étapes suivantes sont suivies:
On sait que la hauteur dudit objet, après un temps t écoulé, est donnée par:
Si nous voulons obtenir la valeur de g, nous pouvons trouver une parabole qui est une meilleure approximation des cinq points donnés dans le tableau, et ainsi nous aurions que le coefficient qui accompagne t 2 sera une approximation raisonnable de (-1/2) g si le les mesures sont précises.
Nous devons:
Et après:
Ainsi, les points de données sont ajustés par l'expression quadratique suivante:
Donc, vous devez:
Il s'agit d'une valeur raisonnablement proche de la correction, soit g = 9,81 m / s 2. Afin d'obtenir une approximation plus exacte de g, il faudrait partir d'observations plus précises.
Pourquoi est-ce?
Dans les problèmes qui surviennent dans les sciences naturelles ou sociales, il est commode d'écrire les relations qui existent entre différentes variables au moyen d'une expression mathématique.
Par exemple, en économie, nous pouvons relier le coût (C), le revenu (I) et les bénéfices (U) au moyen d'une formule simple:
En physique, nous pouvons relier l'accélération causée par la gravité, le temps de chute d'un objet et la hauteur de l'objet par la loi:
Dans l'expression précédente, s o est la hauteur initiale dudit objet et v o est sa vitesse initiale.
Cependant, trouver des formules comme celles-ci n'est pas une tâche facile; il appartient généralement au professionnel en service de travailler avec beaucoup de données et de réaliser plusieurs expériences à plusieurs reprises (afin de vérifier que les résultats obtenus sont constants) pour trouver des relations entre les différentes données.
Une façon courante d'y parvenir consiste à représenter les données obtenues dans un plan sous forme de points et à rechercher une fonction continue qui se rapproche de manière optimale de ces points.
Une des façons de trouver la fonction qui «se rapproche le mieux» des données données est la méthode des moindres carrés.
De plus, comme nous l'avons également vu dans l'exercice, grâce à cette méthode, nous pouvons obtenir des approximations assez proches des constantes physiques.
Références
- Algèbre linéaire Charles W. Curtis. Springer-Velarg
- Kai Lai Chung. Théorie élémentaire de la proabilité avec des processus stochastiques. Springer-Verlag New York Inc
- Richar L Burden et J.Douglas Faires. Analyse numérique (7ed). Thompson Learning.
- Stanley I. Grossman. Applications de l'algèbre linéaire. MCGRAW-HILL / INTERAMERICANA DE MEXIQUE
- Stanley I. Grossman. Algèbre linéaire. MCGRAW-HILL / INTERAMERICANA DE MEXIQUE