Ridge Regression

Author: Hans Lohninger

Wie schon erwähnt, besteht ein zentrales Problem der MLR darin, dass die geschätzten Regressionskoeffizienten umso instabiler werden je stärker die unabhängigen Variablen korrelieren (siehe Multikollinearität).

Eine mögliche Abhilfe besteht in der sogenannten "Ridge Regression", bei der durch einen simplen mathematischen Trick die geschätzten Koeffizienten stabilisiert werden. Allerdings um den Preis, dass die Schätzwerte der Koeffizienten nicht mehr "unverzerrt" sind. Außerdem gibt es keine allgemein gültige Lösung, so dass man in Abhängigkeit eines Parameters (λ) das passende Modell manuell wählen muss.

Man erzeugt dazu eine Darstellung der "Ridge Spur" (engl. ridge trace), in der die Parameter des Regressionsmodells sowie das Bestimmtheitsmaß gegen den Parameter λ aufgetragen werden. Den Parameter variiert man zwischen 0 und 1, wobei in den meisten Fällen der Bereich 0 bis 0.1 ausreichend ist, da die Stabilisierung der Parameter meist bei sehr kleinem λ auftritt (typischerweise bei λ ~ 0.01). Ausgewählt wird jener Wert für λ, bei dem das Bestimmtheitsmaß sich noch relativ wenig verkleinert hat, und gleichzeitig die Regressionsparameter sich stabilisiert haben.