Optimierungsmethoden - Gradientenabstieg

Author: Hans Lohninger

Ziel der Gradientenabstiegs- oder Hill-Climbing-Methode ist ein Maximum oder Minimum einer Response-Fläche zu finden, indem man einem Gradienten hinauf- oder hinunterfolgt. Der große Vorteil eines solchen Modells ist, dass das nächst gelegene Optimum mit relativ wenigen Berechnungen gefunden werden kann. Dennoch zeigen Gradientenabstiegsmethoden auch einige Nachteile, so müssen sie nicht zwangsläufig das globale Optimum finden. Wie Sie aus nachstehender Abbildung sehen können, hängt das Auffinden eines globalen Optimums vom Ausgangspunkt ab.

Ein weiteres Problem dieser Methode ist, dass das Auffinden des Gradienten an einem bestimmten Punkt einer hochdimensionalen Response-Fläche eine beträchtliche Anzahl an Experimenten erfordern kann (man muss einen n-dimensionalen Bereich rund um die gegenwärtige Position testen, um die Richtung des nächsten Schritts zu finden).

Es empfiehlt sich, mehrere unabhängige Hill-Climbing-Ansätze mit unterschiedlichen Startbedingungen durchzuführen. Aus der Klasse der Gradientenabstiegsverfahren sind mehrere konkrete Implementierungen verfügbar, z.B. die Simplexoptimierung.