Nouvelle approche de la mise à l'échelle

Afin d'obtenir une bonne approximation de la hessienne, il est clairement plus approprié d'utiliser la paire la plus récente pour mettre à jour le préconditionneur. Il est également préférable, du point de vue du nombre d'itérations/simulations nécessaires à la convergence de la minimisation, de le mettre à l'échelle après sa mise à jour. Mais cela a tendance à détériorer nettement l'approximation de la hessienne.

Il est alors naturel d'envisager une nouvelle façon de mettre à jour le préconditionneur diagonal, dans laquelle la matrice serait mise à jour sans mise à l'échelle, mais sa version mise à l'échelle serait utilisée pour la minimisation. A priori, cela devrait accélérer la convergence de la minimisation (grâce à la mise à l'échelle) sans détériorer la qualité de l'approximation de la hessienne (puisqu'on utilise la version non mise à l'échelle pour la mise à jour).

Figure 3.4: Spectres de (a) et (b) lorsqu'une version mise à l'échelle du préconditionneur est utilisée pour la minimisation et la version sans mise à l'échelle pour la mise à jour.

La figure 3.4 montre les spectres respectifs des opérateurs de différence entre les hessiennes calculée et exacte dans ce cas. On retrouve alors des spectres comparables aux figures 3.2-b et -d, lorsque l'approximation de la hessienne était très bonne.

Le tableau 3.3 donne les nombres d'itérations et simulations nécessaires à la convergence de l'algorithme de minimisation dans cette nouvelle approche. On constate alors que cette approche apporte une très nette amélioration de la convergence aux trois formules de mise à jour, et tout spécialement à la formule BFGS directe.