Variablenauswahl - Rückwärtselimination

Author: Hans Lohninger

Die Rückwärtselimination ist das Gegenstück zur Vorwärtsselektion: Während die Vorwärtsselektion mit nur einer Variablen startet und das Modell durch Addieren von Variablen aufbaut, startet die Rückwärtsselektion mit allen verfügbaren Variablen und entfernt schrittweise alle "unnötigen" Variablen. Diese Methode ist auch als das "Zusammenstreichen" (engl. pruning) der Variablen bekannt.

Der Algorithmus ist so definiert (hier speziell für die multiple lineare Regression beschrieben; trotzdem kann diese Technik auch für andere Modelltypen verwendet werden):

1. Berechnen Sie ein Modell, das alle verfügbaren Variablen beinhaltet.
2. Berechnen Sie alle partiellen F-Werte für jede Variable.
3. Entfernen Sie die Variable mit dem niedrigsten F-Wert, wenn sie unter ein vordefiniertes Limit fällt.
4. Beginnen Sie wieder mit Schritt 1, bis das Abbruchkriterium (z.B. die Zahl der verbleibenden Variablen) erfüllt ist.

Dieser Algorithmus wird alle Variablen entfernen, die fast nichts zur Erklärung der Varianz der abhängigen Variablen Y beitragen.

Anmerkung: Die partiellen F-Werte der Variablen müssen immer wieder neu berechnet werden, nachdem eine Variable entfernt worden ist, da sich dadurch auch die F-Werte der übrigen Variablen ändern.