Impact de la mise à l'échelle

Gilbert et Lemaréchal [19] ont montré que la mise à l'échelle de la matrice diagonale, permettant la relation de quasi-Cauchy (3.7), rendait la minimisation plus performante. Comme la mise à l'échelle n'a aucun sens pour la formule de mise à jour de quasi-Cauchy, son impact n'a été testé que pour les trois premières formules de mise à jour.

Figure 3.3: Spectre de l'opérateur lorsque la mise à l'échelle de la matrice diagonale a lieu avant (a) et après (b) sa mise à jour. Spectre de l'opérateur lorsque la mise à l'échelle du préconditionneur diagonal a lieu avant (c) et après (d) sa mise à jour.

La figure 3.3 montre, pour les trois formules de mise à jour, les spectres des deux opérateurs de comparaison lorsque la mise à l'échelle a lieu avant ou après la mise à jour. Une comparaison avec la figure 3.2 montre une détérioration certaine de la qualité de l'approximation de la hessienne construite lors de la minimisation.

Le tableau 3.2 montre les valeurs correspondantes du nombre d'itérations/simulations nécessaires. La mise à l'échelle conduit à une diminution du nombre de simulations, c'est-à-dire du nombre d'évaluations de la fonction coût et de son gradient. Les formules de mise à jour BFGS directe et DFP inverse se comportent sensiblement de la même façon suivant que la mise à l'échelle est faite avant ou après la mise à jour, mais la formule BFGS inverse donne tout de même de meilleurs résultats lorsque la mise à l'échelle a lieu après.