Kleinstquadratemethode, gewöhnliche

Für ein einfaches lineares Regressionsmodell Y_i = β₀ + β₁X_i + ε_i ergeben sich die OLS-Schätzer zu

wobei x_i und y_i für die Abweichungen der Variablen X und Y von ihrem jeweiligen Stichprobenmittelwert  und  stehen. Der Schätzer des Parameters β₁ ist also nichts anderes als die Stichprobenkovarianz von X und Y dividiert durch die Stichprobenvarianz von X. Die Residuen der OLS-Schätzung sind im Mittelwert stets null und nicht mit der Variable X korreliert.

Im Fall eines linearen Regressionsmodells, bei dem der bedingte Erwartungswert des Störterms gegeben aller erklärender Variablen null ist und bei dem der Störterm weißes Rauschen darstellt, ergibt die gewöhnliche Kleinstquadratemethode beste lineare unverzerrte Schätzer. Für obiges Modell besitzen die OLS-Schätzer unter diesen Annahmen die Varianzen

geschätzt werden muss. ist der sog. Standardfehler der Regression. Die Wurzeln aus den obigen Varianzen bezeichnet man als Standardfehler der OLS-Schätzer. Sie sind nur dann korrekt, wenn die Annahmen bez. des stochastischen Störterms erfüllt sind.

Treffen die genannten Annahmen nicht vollständig zu, dann verlieren die so bestimmten Schätzer teilweise diese BLUE-Eigenschaft. Die Annahmen sind daher mit geeigneten Testverfahren (Hausman-Test, Autokorrelationstest, Heteroskedastizitätstest) zu überprüfen. Abweichungen von den Annahmen kann u.U. durch folgende "alternative" Schätzverfahren begegnet werden: (1) Kleinstquadratemethode, verallgemeinerte;
(2) Instrumentenvariablenschätzung (Instrumentenvariablenschätzer) oder Kleinstquadratemethode, zweistufige; 
(3) GMM-Schätzung (Momentenmethode, verallgemeinerte) oder Kleinstquadratemethode, dreistufige.

Die Residuen einer gewöhnlichen Kleinstquadrateschätzung sind die Basis für viele ökonometrische Testfunktionen. Da die Kleinstquadrateschätzfunktionen bei einem linearen Einzelgleichungsmodell mit nur exogenen Variablen als erklärenden Variablen lineare Funktionen der stochastischen Störterme sind, lässt sich in diesem Fall aus der Verteilung der Störterme die Verteilung dieser Schätzfunktionen einfach bestimmen. Üblicherweise wird von einer Normalverteilung der Störterme ausgegangen, wodurch auch die OLS-Schätzer normalverteilt sind. Sind die erklärenden Variablen teilweise stochastischer Natur, kann meist nur noch eine asymptotische bzw. approximative Verteilung angegeben werden.