Il reste un degré de liberté dans l'algorithme L-BFGS, celui du choix des paires stockées. L'algorithme (3.2) montre que le préconditionneur diagonal doit ressembler autant que possible à . Ceci suggère d'utiliser la paire qui est sur le point d'être effacée, la plus vieille paire, pour mettre à jour la matrice diagonale . Pour les premières itérations, la matrice diagonale initiale doit être utilisée. Ceci est en accord avec le fait que toute l'information provenant des dernières itérations est entièrement stockées dans les paires . Néanmoins, il est envisageable d'utiliser pour la mise à jour du préconditionneur diagonal la dernière paire construite, la paire la plus récente. Cela va donc avoir tendance à rajouter du poids sur l'information récemment construite.
|
Pour étudier la différence entre ces deux façons de stocker les paires, les formules de mise à jour sont utilisées sans mise à l'échelle. Les spectres des deux opérateurs de comparaison des hessiennes sont représentés sur la figure 3.2. Il est clair que l'utilisation des paires les plus récentes fournit une approximation de la hessienne bien meilleure qu'en utilisant les paires les plus anciennes.
Le tableau 3.1 montre les nombres d'itérations et de simulations correspondantes nécessaires à la convergence. À part pour la formule BFGS directe, l'utilisation de la paire la plus récente augmente le nombre de simulations, même si cela diminue d'un autre côté le nombre d'itérations. La formule de quasi-Cauchy a des résultats globalement moins bons que les trois autres formules de mise à jour. L'utilisation de la paire la plus récente avec la formule de mise à jour BFGS directe semble donner à la fois une bonne approximation de la hessienne et accélérer la convergence.