Introduction � l�optimisation num�rique by EuBy9fBj

VIEWS: 12 PAGES: 55

									Introduction à
l’optimisation numérique
  Gyslain Giguère
  Laboratoire Cognition & Communication
  Université du Québec à Montréal
  www.crsc.uqam.ca
Plan de la présentation
   Retour (ou premier enseignement?) sur la régression
       Notions de base (régression
        linéaire/exponentielle/logarithmique/logistique/etc.)
       Parallèle avec l’optimisation
   Notions de base en analyse numérique
   Méthodes de base
       Méthode de dichotomie
       Méthode « regula falsi »
   Méthodes avancées
       Méthode de Newton
       Descente de gradient
Plan de la présentation
   Méthodes très avancées (!)
        Méthode Simplex
             Variante Nelder-Mead
   La minimisation avec Mathematica
        Les fonctions à utiliser
             FindMinimum/FindMaximum
             NMaximize/NMinimize
        Exemples
             le Context Model
             Courbes d’apprentissage (Temps de réponse)
   Autres considérations
        Minima et maxima locaux
        Points de départ
        Critères d’arrêt
Régression:
Notions de base
   But: Trouver les paramètres pour qu’une
    fonction prédéterminée représente le mieux
    possible un ensemble de points donné.
   De façon pragmatique: minimiser la somme
    des erreurs au carré (distances verticales entre
    la fonction inférée et les données réelles).
       Représentation graphique
Régression linéaire
   Postulats:
       Les observations sont indépendantes;
       Les observations sont issues d’une loi normale de moyenne B0+B1xi;
       La variance des observations est constante pour toutes les valeurs de
        X.
   But: Trouver les paramètres B0 et B1 d’une droite qui
    permettent de réduire la somme des erreurs au carré entre les
    données prédites par la droite et les données observées:
                       n
               L   [ yi  (  0  1 xi )]        2

                      i 1
Régression linéaire
                Exemple: Bâtons d’acier                      Numéro du bâton   Poids brut, x   Poids fini, y
                                                                    1              2,745            2,08

                 2,1                                                2               2,7            2,045
                                                                    3               2,69            2,05
                2,08
                                                                    4               2,68           2,005
                2,06
Poids fini, y




                                                                    5              2,675           2,035
                2,04                                                6               2,67           2,035

                2,02                                                7              2,665            2,02
                                                                    8               2,66           2,005
                  2
                                                                    9              2,655            2,01
                1,98
                                                                    10             2,655             2
                1,96                                                11              2,65             2
                    2,55   2,6   2,65     2,7    2,75   2,8         12              2,65           2,005
                                 Poids brut, x                      13             2,645           2,015
                                                                    ,,,              ,,,             ,,,
Régression linéaire
   Formules:
                         n                  n              n
                       n xi yi  ( xi )(  yi )
                1     i 1
                                n
                                           i 1
                                                   n
                                                          i 1

                          n( x )  ( xi ) 2
                                      2
                                      i
                               i 1               i 1

                                n                   n

                               y     i    1  xi
                   0         i 1                i 1
                                           n
Régression linéaire
                Exemple: Bâtons d’acier                      Numéro du bâton   Poids brut, x   Poids fini, y
                                                                    1              2,745            2,08

                 2,1                                                2               2,7            2,045
                                                                    3               2,69            2,05
                2,08
                                                                    4               2,68           2,005
                2,06
Poids fini, y




                                                                    5              2,675           2,035
                2,04                                                6               2,67           2,035

                2,02                                                7              2,665            2,02
                                                                    8               2,66           2,005
                  2
                                                                    9              2,655            2,01
                1,98
                                                                    10             2,655             2
                1,96                                                11              2,65             2
                    2,55   2,6   2,65     2,7    2,75   2,8         12              2,65           2,005
                                 Poids brut, x                      13             2,645           2,015
                                                                    ,,,              ,,,             ,,,


                       y  0.308  0.642x
Régression exponentielle
   But:
          Malheureusement, il existe beaucoup de relations qui ne peuvent être décrites
           adéquatement par des lignes droites.
          On cherche donc les paramètres d’une autre fonction…
                                             1 x
                                 y e    0
   Ici, on veut minimiser:            n
                                L   [ yi  (  0 e 1xi )] 2
                                      i 1
   Postulats: même que pour la régression linéaire!!!
          Car…
                              1 x
                  y   0e            ln y  ln  0  1 x
Régression exponentielle
                          Exemple: la loi de Moore

                                                                             Nombre d'années après 1975   Transistors par puce
                          6000000
                                                                                         0                       4500
Transistors par puce, y




                          5000000                                                        3                      29000
                          4000000                                                        7                      90000
                                                                                         10
                          3000000                                                                               229000
                                                                                         14                    1200000
                          2000000
                                                                                         18                    3100000
                          1000000
                                                                                         20                    5500000
                                0
                                    0      5     10      15     20      25
                                        Nombre d'années après 1975, x
Régression exponentielle
   Formules:
                    n                       n               n
                  n xi ln yi  ( xi )(  ln yi )
           1     i 1
                              n
                                        i 1
                                                 n
                                                        i 1

                          n( x )  ( xi ) 2
                                    2
                                    i
                             i 1               i 1


                              n                         n

                              ln y     i    1  xi
                  ln  0    i 1                      i 1
                                            n
Régression exponentielle
                          Exemple: la loi de Moore

                                                                             Nombre d'années après 1975   Transistors par puce
                          6000000
                                                                                         0                       4500
Transistors par puce, y




                          5000000                                                        3                      29000
                          4000000                                                        7                      90000
                                                                                         10
                          3000000                                                                               229000
                                                                                         14                    1200000
                          2000000
                                                                                         18                    3100000
                          1000000
                                                                                         20                    5500000
                                0
                                    0      5     10      15     20      25
                                        Nombre d'années après 1975, x



                           y  7247 .189 e 0.343 x
Régression logarithmique
   But:
          Malheureusement, il existe beaucoup de relations qui ne peuvent être décrites
           adéquatement par des lignes droites.
          On cherche donc les paramètres d’une autre fonction…
                                              1
                                 y x    0
   Ici, on veut minimiser:            n
                                L   [ yi  (  0 x 1 )] 2
                                      i 1
   Postulats: même que pour la régression linéaire!!!
          Car…
                  y   0 x 1  log y  log  0  1 log x
Régression logarithmique
                             Exemple: locomotion et jeu
                                                                                  Début de la locomotion (jours), x   Début du jeu (jours), y

                              120                                                               360                             90
                                                                                                165                            105
    Début du jeu (jours), y




                              100
                                                                                                 21                             21
                              80                                                                 23                             26

                              60                                                                 11                             14
                                                                                                 18                             28
                              40
                                                                                                 18                             21
                              20                                                                150                            105

                               0                                                                 45                             68

                                    0     100         200          300      400                  45                             75

                                        Début de la locomotion (jours), x                        18                             46
Régression logarithmique
   Formules:
                      n                           n             n
                   n (log xi log yi )  ( log xi )(  log yi )
            1      i 1
                                n
                                                 i 1
                                                         n
                                                               i 1

                            n( (log xi ) )  ( log xi ) 2
                                             2

                               i 1                     i 1


                                    n                    n

                                 log y  i    1  log xi
                   log  0     i 1                    i 1
                                                 n
Régression logarithmique
                             Exemple: locomotion et jeu
                                                                                   Début de la locomotion (jours), x   Début du jeu (jours), y

                              120                                                                360                             90
                                                                                                 165                            105
    Début du jeu (jours), y




                              100
                                                                                                  21                             21
                              80                                                                  23                             26

                              60                                                                  11                             14
                                                                                                  18                             28
                              40
                                                                                                  18                             21
                              20                                                                 150                            105

                               0                                                                  45                             68

                                    0      100         200          300      400                  45                             75

                                         Début de la locomotion (jours), x                        18                             46




                                        y  5.45 x 0.56
Régression logistique
   But:
       Malheureusement, il existe beaucoup de relations qui ne
        peuvent être décrites adéquatement par des lignes droites.
       On cherche donc les paramètres d’une autre fonction…
                                       L
                             y
                                  1  e  0  1x

   Postulats: même que pour la régression linéaire!!!
       Car…               L            1 1  e  0  1x
                  y        0  1 x
                                                         
                     1 e               y      L
                  L                     L y
                     1  e  0  1x        e  0  1x 
                  y                       y
                     L y
                      y    0  1 x
                  ln     
                         
Régression logistique
                           Exemple: Tests d’admission et taux de graduation
                            50
Taux de graduation (%), y




                            45                                                                            Taux de graduation
                            40                                             Score au test d'admission, x             (%), y
                            35
                                                                                       480                       0,3
                            30
                            25                                                         690                       4,6
                            20
                            15                                                         900                      15,6

                            10
                                                                                      1100                      33,4
                             5
                             0                                                        1320                      44,4
                                 0    500       1000        1500    2000
                                                                                      1530                      45,7
                                     Score au test d'admission, x
Régression logistique
                     Exemple: Tests d’admission et taux de graduation
                            50
Taux de graduation (%), y




                            45                                                                            Taux de graduation
                            40                                             Score au test d'admission, x            (%), y
                            35
                                                                                       480                       0,3
                            30
                            25                                                         690                       4,6
                            20
                            15                                                         900                      15,6

                            10
                                                                                      1100                      33,4
                             5
                             0                                                        1320                      44,4
                                 0    500         1000       1500   2000
                                                                                      1530                      45,7
                                     Score au test d'admission, x


                                                   48
                                     y
                                            1  e 7.910.00764
Régression et résidus
   Exemple de régression linéaire
                     0,03

                     0,02

                     0,01
           Résidus




                         0
                          2,55   2,6   2,65   2,7   2,75   2,8
                     -0,01

                     -0,02

                     -0,03
Régression:
Parallèle avec l’optimisation
   Exemple: Régression linéaire (mêmes paramètres)




            100
              75                                               1
              50
              25                                             0.75
                0
                0                                      0.5
                    0.25
                           0.5                      0.25

                                  0.75
                                                0
                                            1
Régression:
Parallèle avec l’optimisation
   Exemple: Régression exponentielle (mêmes paramètres)




             13
         8 10
              13
         6 10                                               0.4
               13
          4 10
               13
          2 10                                            0.35
                 0
             7000                                     0.3

                       7200                        0.25

                                  7400
                                             0.2
Régression:
Parallèle avec l’optimisation
   Exemple: Régression logarithmique (mêmes paramètres)




            10000
                                                                 0.6
             8000
                                                            0.58
              6000
                                                          0.56
                    5
                                                     0.54
                        5.2
                                                   0.52
                                 5.4
                                             0.5
Régression:
Parallèle avec l’optimisation
   Régression: analytique
       Avantages:
           Solution exacte
       Désavantages:
           Rarement possible (du moins dans les cas qui nous intéressent)
           Temps de calcul élevé pour trouver la formule exacte
           Formule de calcul adaptée à une situation (modèle/type de courbe)
   Optimisation: numérique
       Avantages:
           Temps de calcul total réduit
           Bonne solution
           Peut être appliqué peu importe le modèle étudié
       Désavantages:
           Rarement la solution exacte
Notions de base en analyse numérique
   Méthodes itératives (principe)
       Exemple de base: la racine carrée
            Algorithme d’approximation          1      A
                                         xn 1  xn 
        

           Exemple Mathematica                 2     2 xn
Notions de base en analyse numérique
   Trouver le zéro d’une fonction (ou la « racine »):
       Problème: Cette formule n’est adaptée qu’aux                  b  b 2  4ac
        polynômes de second degré, et on devrait utiliser         r
        une nouvelle formule pour chaque cas particulier                   2a
        (3e degré, trigonométrie, trigonométrie inverse,
        logarithmique, exponentielle,fonctions mixtes,
        etc.).
   Bases:                                                                        125

                                                                                  100
       On dit que r est racine de f si f(r)=0.
                                                                                   75

       Pour trouver le nombre de racines sur un intervalle                        50

        donné:                                                                     25


            Si f(a)f(b)>0, alors f possède un nombre pair de      -6   -4   -2         2   4   6
             racines dans (a,b)                                                   -25


                 Il n’y en a peut-être aucune.
            Si f(a)f(b)<0, alors f possède un nombre impair de
             racines dans (a,b)
                 Donc il y en a au moins une.
Fonction utilisée pour les exemples
                       40



                       20




    -10     -5                       5      10


                     -20




          f ( x)  x 2 sin( x) cos(x  6)
Méthodes de base:
Méthode de dichotomie
   Base:
       Soit une fonction f(x), continue (!!!) sur un
        intervalle [a,b], et telle que f(a)f(b)<0.
           Puisque le produit est négatif, il y a au moins une
            racine sur l’intervalle.
           Cette racine est soit dans la première ou la deuxième
            moitié de l’intervalle (presque évident…)
Méthodes de base:
Méthode de dichotomie (2)
   Méthode:
        Initialisation:
              Intervalle de départ: [a0,b0]=[a,b], n=0.
        Calcul de w (valeur de séparation de l’intervalle):
              w=(an+bn)/2.
        Mise à jour de l’intervalle:
              Si sgn(f(w))=sgn(f(an)): [an+1,bn+1]=[w,bn]
              Si sgn(f(w))=sgn(f(bn)): [an+1,bn+1]=[an,w]
              Si f(w)=0: r=w. Arrêt.
        Mise à jour de n: n=n+1.
        Processus itératif jusqu’à ce que f(w)=0.(!)         6

   Exemple Mathematica:
                                                              4


        f ( x)  x sin( x) cos(x  6)
                    2
                                                              2

   Représentation graphique
                                                                  2.5   3   3.5   4


                                                             -2
Méthodes de base:
Méthode de dichotomie (3)
   Avantages:
       Programmation relativement simple
       Convergence certaine (certitude de trouver la racine si les
        conditions de départ sont respectées)
   Désavantages:
       Hypothèse de continuité contraignante
       Convergence lente (ici, 30 itérations)
       Seule une partie de l’information disponible est utilisée
           On ne se sert que des signes et non des valeurs.
           Si la racine est plus prêt d’un côté de l’intervalle que de l’autre,
            on voudrait chercher plus précisément ce sous-intervalle pour
            accélérer le traitement.
Méthodes de base:
Méthode « regula falsi »
   Base:
       Soit une fonction f(x), continue sur un intervalle [a,b], et telle que
        f(a)f(b)<0.
           Puisque le produit est négatif, il y a au moins une racine sur l’intervalle.
           Puisque f(a) et f(b) sont de signes contraires, la droite qui joint (a,f(a)) et
            (b, f(b)) n’est pas horizontale et possède exactement une racine (w), située
            entre a et b.
           Ainsi, l’équation de la droite passant par (a,f(a)) et (b, f(b)) est:
                           y  f (b)       x b
                                                ;
                         f (b)  f (a ) b  a
                                      0  f (b)      x b
                        Si y  0,                        
                                    f (b)  f (a ) b  a
                                            ba
                        x  b  f (b)
                                        f (b)  f (a )
Méthodes de base:
Méthode « regula falsi » (2)
   Méthode:
        Initialisation:
              Intervalle de départ: [a0,b0]=[a,b], n=0.
        Calcul de w (valeur de mise à jour de l’intervalle):
                                              bn  an                              bn  an
                       w  bn  f (bn )                     , w  bn  f (an )
                                          f (bn )  f (an )                    f (bn )  f (an )
        Mise à jour de l’intervalle:
              Si sgn(f(w))=sgn(f(an)): [an+1,bn+1]=[w,bn]
              Si sgn(f(w))=sgn(f(bn)): [an+1,bn+1]=[an,w]
              Si f(w)=0: r=w. Arrêt.
        Mise à jour de n: n=n+1.
        Processus itératif jusqu’à ce que f(w)=0.
                                                                                 6
              On utilise la 1ère formule si an est constant;
              On utilise la 2ème formule si bn est constant;                    4



   Exemple Mathematica:                                                         2


            f ( x)  x 2 sin( x) cos(x  6)
                                                                                              2.5   3   3.5   4
   Représentation graphique
                                                                                -2
Méthodes de base:
Méthode « regula falsi » (3)
   Avantages:
       Utilisation des valeurs, pas seulement des signes.
       Convergence plus rapide qu’avec la méthode de
        dichotomie (13 itérations).
   Désavantages:
       Hypothèse de continuité contraignante.
       Programmation un peu (à peine) plus complexe.
Notion de dérivée
   L’un des deux concepts centraux
    du calcul différentiel et intégral       f ( x  h)  f ( x )
                                         lim
                                         h0          h
   La tangente à la courbe (en fait
    c’est une fonction qui ne touche
    qu’en un point à la fonction
    originale).
   Comment l’évaluer:
       Par des formules établies
       Exemples
Méthodes avancées:
Méthode de Newton
   Base:
        Supposons que nous connaissons f(x), ainsi que
         xn, une approximation raisonnable de sa racine r.
        Supposons que f est dérivable, donc continue sur
         tout le domaine étudié.
        Développement de Taylor (!!!)
                                  f ( xn )    f ( xn ) 2 f ( xn ) 3        f ( n ) ( xn ) n
        f ( xn   )  f ( xn )                                     ...                
                                     1!            2!            3!                   n!
Méthodes avancées:
Méthode de Newton (2)
   Méthode:
       Initialisation:
           x0: une approximation d’une racine de f; n=0.
       Calcul de f(xn), f’(xn).
                                     f ( xn )
       Calcul de xn+1: xn 1  xn  
                                    f ( xn )

       Mise à jour de n: n=n+1.
       Processus itératif jusqu’à ce que f(xn)=0.
   Exemple Mathematica
Méthodes avancées:
Méthode de Newton (3)
   Avantage:
       Convergence toujours plus rapide qu’avec les
        deux premières méthodes (8 itérations).
   Désavantage:
       Évaluation obligatoire de la dérivée (pas toujours
        possible, comme nous le verrons).
       Procédure instable près des asymptotes
        horizontales et des extremums.
L’utilité de la dérivée
   Bien sûr, lorsque l’on tentera de minimiser l’erreur,
    il n’existera pas de solution où l’on aura un zéro,
    mais plutôt une solution où on fera face à un
    minimum.
   Donc, on peut soit:
       Donner un critère d’arrêt « satisfaisant » au programme;
       Tenter de trouver le zéro de la dérivée de la fonction.
   De là l’utilité de la dérivée, puisque lorsque:
    f’(x)=0, on a affaire à un extremum de f(x)!!!
       Ou un point d’inflexion…
   On voudra donc trouver une racine de f’(x).
Le gradient
   Mesure la vitesse avec laquelle la
    valeur de la fonction change
    selon le changement de
    l’argument inséré dans la
    fonction.
   Le signe de la dérivée évaluée en
    un point nous dit si l’on se dirige
    vers un minimum ou un
    maximum.
   En 2-D, c’est la pente
    «instantanée » de la tangente sur
    la fonction au point x.
       Représentation graphique
Méthodes avancées:
Descente de gradient
   Exemple du parachutiste aveugle (montagne
    et vallée)
   Règle d’apprentissage utilisé pour les réseaux
    supervisés à base de rétropropagation de
    l’erreur
Méthodes avancées:
Descente de gradient (2)
   Méthode:
       On choisit un x0;
       Si xn1  xn  F ( xn ) pour     0, et petit, alors F ( xn )  F ( xn 1 ).
            Donc on se rapproche itérativement du minimum.
       Exemple Mathematica
   Important: le choix du gamma (taille des pas).
       On peut passer au-dessus d’un minimum!
       Exemple
Méthodes très avancées:
Méthode Simplex
   Pour n paramètres, former une forme équilatérale à n+1
    vertex (un simplex) à l’aide d’un point généré au hasard.
       Pour 1 paramètre, une ligne;
       Pour 2 paramètres, un triangle équilatéral;
       Pour 3 paramètres, un tétrahèdre;
       Pour n>3 paramètres, un polyhèdre.
   Évaluer la fonction à minimiser pour chaque vertex.
   Prendre le vertex pour lequel la valeur de la fonction est la
    plus élevée, et réfléchir ce vertex au centre des deux autres
    pour créer un nouveau simplex.
   Mousser, rincer, répéter.
Méthodes très avancées:
Méthode Simplex (2)
   Si le vertex sélectionné lors d’une itération est le plus
    récent, alors on réfléchit plutôt le vertex avec la
    deuxième la valeur la plus élevée.
       Ceci évite de simplement osciller entre les deux mêmes
        vertex indéfiniment.
   Si le vertex demeure inchangé pour un nombre M
    prédéterminé d’itérations, on doit réduire la taille du
    simplex en divisant par deux la taille des côtés allant
    aux autres vertex, et en continuant la procédure
    itérative à l’aide de ce nouveau simplex.
                 M  1.65n  0.05n 2
Méthodes très avancées:
Nelder-Mead
   Une variante du Simplex
       Plus flexible.
       La méthode séquentielle la plus efficace.
       Trois opérations
           Réflexion
           Expansion
           Contraction
       Lors d’une réflexion, si le nouveau vertex est un nouveau minimum,
        on étire les côtés en direction du nouveau vertex pour vérifier si en
        continuant plus loin, on pourrait trouver un meilleur minimum. Si oui,
        on utilise le point d’expansion comme nouveau vertex.
       Si la valeur de la fonction au nouveau vertex est plutôt supérieure au
        maximum précédent, on contracte ce vertex pour vérifier si on trouve
        un meilleur vertex résultant de la réflexion.
La minimisation avec Mathematica
   Les fonctions:
       FindMinimum/Maximum
           Méthodes utilisées: Newton/Gradient et variantes
           Très utiles si la fonction est continue et dérivable
           Nécessite un point de départ.
           Désavantage: n’accepte pas les contraintes directement.
       NMinimize/Maximize: plus robuste/performant
           Mathematica 5
           Méthodes utilisées (dans l’ordre si non spécifié):
                Si les contraintes et la fonction sont linéaires: Linear programming (méthode Simplex).
                Si certaines variables ont des valeurs entières, ou si la fonction à minimiser n’est pas
                 numérique: Differential evolution.
                Pour le reste: Nelder-Mead (autre version du Simplex), ou si ça ne fonctionne pas,
                 Differential evolution.
                Aussi, Random Search/Simulated Annealing.
           Nécessite un « rectangle » de départ.
           Avantage: Plus grande facilité à définir des contraintes
Comparaison
   L’exemple du poids des bâtons (régression
    linéaire)
       Exemple Mathematica
Applications: Context model
(Medin & Schaffer, 1978)
   But 1: à l’aide de
    paramètres d’attention        Distance entre deux exemplaires i et j :
    définis, prédire la                       n dim             
                                                                    2


    performance en termes de      d ij  c *   ( wk * ik  jk )
                                              k 1              
    taux d’erreur pour chacun     Similarité entre deux exemplaires i et j :
    des items dans une tâche      sij  e
                                             d ij

    de catégorisation.            Similarité entre un exemplaire i et une catégorie x :
   But 2 (réel): Fonctionner               Taille  x 

    dans l’autre sens, i.e. à     st ix      sj 1
                                                        ij


    l’aide de taux d’erreurs      Probabilit é de placer un exemplaire i dans une catégorie x :
    connus pour chaque item       Px | i  
                                                        st ix
    dans une tâche de                                   sticateg
                                                     categ
    catégorisation, déterminer
    le poids attentionnel donné
    à chacune des dimensions.
Context Model
   Formule complète:
     Probabilit é de placer un exemplaire i dans une catégorie x :
                                                                   2
                       Taille  x   c*   ( wk * ik  jk    
                                           n dim
                                                             )
                                     e   k 1                


     Px | i  
                             j 1
                                                                            2
                            Taille categ  c*   ( wk * ik  jk      
                                                  n dim
                                                                      )
                     
                   categ           j 1
                                           e     k 1                  
Applications:
Courbes d’apprentissage
   Fonctions utilisées:
       Power law: y  a  bx  c
       Exponentielle: y  a  be cx
           a=asymptote (performance maximale théorique)
           b=quantité d’apprentissage
           c=courbure (vitesse d’apprentissage)
       Exemple Mathematica
Autres considérations
   Minima/maxima locaux
   Points de départ
   Critères d’arrêt
Minima/Maxima locaux
   Qu’est-ce qu’un extremum local?
       On trouve toujours un extremum local
   Comment trouver LE minimum global?
Points de départ
   Comment décider de l’endroit où l’on débute?
       Première étape: faire le graphe (si possible)
       Méthodes théoriques: il existe plusieurs théorèmes
        mathématiques pour déterminer des points de départ
        raisonnables, si la fonction est réelle et continue:
           Théorème de la valeur intermédiaire;
           Théorème de Rolle, etc;
       Sinon, de nombreux points de départ, suivi d’une
        comparaison.
           L’exemple des parachutistes.
Critères d’arrêt d’une méthode
   6 critères possibles:
       Le nombre N d’itérations effectuées jusqu’à présent;
           Option dans Mathematica
       L’accroissement net |xn+1-xn| entre deux approximations successives
        xn et xn+1;
       L’accroissement relatif |xn+1-xn|/|xn| entre deux approximations
        successives xn et xn+1;
       La proximité de |f(xn)| de zéro;
       L’accroissement net |f(xn+1)-f(xn)| entre deux approximations
        successives xn et xn+1;
       L’accroissement relatif |f(xn+1)-f(xn)|/|f(xn)| entre deux approximations
        successives xn et xn+1;
       Ou encore une disjonction de critères choisis dans cette liste.
Références
   Box, M.J., Davies, D., Swann, W.H. (1969). Non-
    linear optimization techniques. Oliver & Boyd
    Editions.
   Dion, J.-G., Gaudet, R. (1996). Méthodes d’analyse
    numérique: de la théorie à l’application. Éditions
    Modulo.
   Larsen, R.J., Marx, M.L. (2001). An introduction to
    mathematical statistics and its applications.
    Prentice-Hall.
   www.mathworld.wolfram.com
Merci.

								
To top