Kalkulator regresji liniowej wielokrotnej
Wpisz wartości zmiennej zależnej oraz dwie lub więcej kolumn predyktorów, aby dopasować regresję liniową wielokrotną metodą najmniejszych kwadratów. Kalkulator zwraca wyraz wolny, współczynniki poszczególnych predyktorów, R², dopasowane równanie oraz wartości przewidywane wraz z resztami.
Dopasowanie wyniku za pomocą wielu predyktorów
Wzór na regresję liniową wielokrotną
Gdzie:
- \(\hat{y}\) — wartość przewidywana zmiennej zależnej
- \(\beta_0\) — wyraz wolny: oczekiwana wartość \(y\), gdy wszystkie predyktory przyjmują wartość zero
- \(\beta_j\) — współczynnik predyktora \(X_j\): oczekiwana zmiana \(y\) przy wzroście \(X_j\) o jednostkę, przy pozostałych predyktorach utrzymywanych na stałym poziomie
- \(p\) — liczba predyktorów
- \(n\) — liczba obserwacji
- \(R^2\) — udział wariancji \(y\) wyjaśniony przez model
Współczynniki szacuje się metodą najmniejszych kwadratów (ang. OLS), która wybiera takie wartości \(\beta\), które minimalizują sumę kwadratów reszt \(\sum (y - \hat{y})^2\). W postaci macierzowej rozwiązanie ma postać \(\hat{\boldsymbol{\beta}} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y}\); ten kalkulator rozwiązuje ten sam problem najmniejszych kwadratów numerycznie stabilnym rozkładem QR, zamiast jawnie tworzyć macierz \(\mathbf{X}^T\mathbf{X}\).
Regresja liniowa wielokrotna – przykład obliczenia
Przykład: osiem obserwacji z wartościami zmiennej zależnej 7; 12; 11; 16; 15; 20; 19; 24 oraz dwa predyktory: \(X_1\) przyjmujący kolejno wartości od 1 do 8 i \(X_2\) naprzemiennie 0, 1, 0, 1, … — dokładnie takie dane domyślne znajdziesz w kalkulatorze.
\[ \hat{y} = 5 + 2X_1 + 3X_2 \]
Wynik: wyraz wolny \(\beta_0 = 5\), współczynniki \(\beta_1 = 2\) i \(\beta_2 = 3\) oraz \(R^2 = 1\). Każda wartość przewidywana pokrywa się z rzeczywistą, więc wszystkie reszty wynoszą 0, a suma kwadratów reszt to 0 przy sumie kwadratów ogółem równej 210. Ten zbiór danych został tak skonstruowany, by pasował idealnie — dlatego \(R^2\) osiąga maksymalną wartość 1; rzeczywiste dane niemal zawsze pozostawiają część zmienności w resztach i dają \(R^2 < 1\).
Jak korzystać z kalkulatora
- Wpisz Wartości zmiennej zależnej (y) — po jednej wartości na obserwację, rozdzielone spacjami, średnikami lub znakami nowego wiersza. Możesz stosować przecinki dziesiętne.
- Wpisz Kolumny predyktorów (X) — po jednej obserwacji w wierszu, a wartości predyktorów tej obserwacji rozdziel spacjami lub średnikami. W każdym wierszu zachowaj tę samą kolejność kolumn i podaj co najmniej dwie kolumny.
- Sprawdź, czy liczba wierszy X zgadza się z liczbą wartości y i czy każdy wiersz zawiera tę samą liczbę wartości. Potrzebujesz co najmniej o dwie obserwacje więcej niż predyktorów.
- Odczytaj wyniki: Wyraz wolny, tabela Współczynników predyktorów, R², tabela Wartości przewidywanych z resztami oraz dopasowane równanie ze szczegółami dopasowania.
Czym jest regresja liniowa wielokrotna?
Regresja liniowa wielokrotna opisuje ciągłą zmienną zależną jako ważoną sumę dwóch lub większej liczby predyktorów plus stałą. Rozszerza ona regresję liniową prostą, opartą na jednym predyktorze, na sytuacje, w których na wynik może jednocześnie wpływać kilka zmiennych — na przykład przewidywanie ceny domu na podstawie powierzchni, liczby pokoi i wieku budynku albo plonu na podstawie opadów, temperatury i dawki nawozu.
Kluczowa zaleta w porównaniu z osobnymi regresjami prostymi polega na tym, że każdy współczynnik wyodrębnia wkład jednego predyktora przy pozostałych uwzględnionych predyktorach utrzymywanych na stałym poziomie. Współczynnik 2 przy \(X_1\) oznacza, że po wzroście \(X_1\) o jednostkę zmienna zależna ma rosnąć średnio o 2 jednostki, niezależnie od wartości pozostałych predyktorów. Właśnie dlatego współczynniki mogą się istotnie różnić od nachyleń uzyskanych z regresji prostych liczonych dla każdego predyktora osobno — model rozdziela nakładające się efekty.
R² mierzy, jak dobrze dopasowana płaszczyzna (lub hiperpłaszczyzna) podąża za danymi: jest to część wariancji \(y\), którą wyjaśniają predyktory. R² równe 0,80 oznacza, że model odtwarza 80% obserwowanej zmienności. Zwróć uwagę, że po dodaniu predyktorów R² może się jedynie utrzymać lub wzrosnąć, więc wysokie R² przy wielu predyktorach nie jest automatycznie dowodem dobrego modelu — opisuje ono wyłącznie dopasowanie do danych użytych do szacowania.
Aby przed dopasowaniem modelu przyjrzeć się zależnościom między zmiennymi parami, wypróbuj kalkulator korelacji rang Spearmana albo kalkulator tau Kendalla.
Założenia, ograniczenia i praktyczne wskazówki
- Liczba obserwacji: przy \(p\) predyktorach i wyrazie wolnym potrzebujesz co najmniej \(p + 2\) obserwacji (kalkulator tego pilnuje). W praktyce warto celować w 10–20 obserwacji na predyktor, aby szacunki były stabilne.
- Brak kolumn redundantnych: predyktory nie mogą być liniowo zależne. Jeśli kodujesz zmienną jakościową kolumnami zero-jedynkowymi, uwzględnij o jedną kolumnę mniej niż liczba kategorii — wyraz wolny wchłania poziom bazowy, tak jak kolumna 0/1 w przykładzie.
- Multikolinearność: predyktory silnie skorelowane ze sobą dają niestabilne i trudne do interpretacji współczynniki, nawet gdy ogólne dopasowanie wygląda dobrze. Najpierw sprawdź zależności parami, a potem usuń lub połącz nakładające się zmienne.
- Liniowość: metoda najmniejszych kwadratów zakłada, że każdy predyktor jest liniowo powiązany ze zmienną zależną przy pozostałych predyktorach utrzymywanych na stałym poziomie. Zależności zakrzywione często da się uwzględnić, dodając jako dodatkowe predyktory przekształcone kolumny (np. wyraz kwadratowy).
- Kontrola reszt: model zakłada błędy niezależne i o w przybliżeniu stałej wariancji. Pomocna bywa analiza reszt w tabeli prognoz; przy danych uporządkowanych w czasie kalkulator autokorelacji może ujawnić pozostałą strukturę w resztach, a kalkulator skośności i kurtozy pomaga wykryć mocno nienormalne dane.
- Zależność to nie przyczynowość: współczynniki opisują jedynie zależności występujące w Twoich danych. Aby mówić o efekcie przyczynowym, potrzebujesz projektu badania, który na to pozwala — samo dobre dopasowanie nie wystarczy.
- Trzymaj się zakresu danych: prognozy znacznie wykraczające poza zakres zaobserwowanych predyktorów to ekstrapolacja i mogą być grubo mylne.
- Brak wnioskowania statystycznego: ten kalkulator podaje wyłącznie dopasowane równanie i dopasowanie na danych użytych do szacowania; błędy standardowe, wartości p i przedziały ufności znajdziesz w pełnym oprogramowaniu statystycznym.
Najczęściej zadawane pytania
Jak obliczyć regresję liniową wielokrotną ręcznie?
Utwórz macierz projektu \\(\\mathbf{X}\) z pierwszą kolumną jedynek odpowiadającą wyrazowi wolnemu, a następnie rozwiąż równania normalne \\((\\mathbf{X}^T\\mathbf{X})\\hat{\\boldsymbol{\\beta}} = \\mathbf{X}^T\\mathbf{y}\). Przy dwóch predyktorach oznacza to rozwiązanie układu liniowego 3×3 dla \\(β_0, β_1, β_2\). Prognozy oblicz z dopasowanego równania, a potem reszty i R² z sum kwadratów. Przy więcej niż kilku obserwacjach jest to żmudne — dlatego kalkulatory stosują rozkład QR dla zapewnienia stabilności numerycznej.
Jakie R² można uznać za dobre w regresji wielokrotnej?
Nie ma uniwersalnego progu. W danych fizycznych czy inżynieryjnych R² powyżej 0,9 to nic rzadkiego; w naukach społecznych lub badaniach medycznych znaczące bywa już 0,3–0,5. O tym, co uchodzi za dobre, decydują szum pomiarowy i dziedzina. Pamiętaj też, że R² automatycznie rośnie po dodaniu predyktorów, więc modele o różnej liczbie zmiennych porównuj za pomocą skorygowanego R², a sam model oceniaj po tym, jak dobrze przewiduje nowe dane, a nie tylko po dopasowaniu do danych, na których go zbudowano.
Dlaczego moje współczynniki różnią się od nachyleń z regresji prostych na poszczególnych zmiennych?
To normalne, a nie błąd. W regresji wielokrotnej każdy współczynnik mierzy efekt danego predyktora przy pozostałych uwzględnionych predyktorach utrzymywanych na stałym poziomie. Jeśli dwa predyktory się nakładają (np. powierzchnia i liczba pokoi), model rozdziela ich wspólną siłę wyjaśniającą między nie, więc współczynniki mogą się zmniejszyć, zmienić znak albo urosnąć w porównaniu z regresjami prostymi liczonymi pojedynczo. Właśnie dlatego regresja wielokrotna jest tak użyteczna: rozplata splecione efekty.
Czy mogę użyć zmiennych jakościowych, np. płci czy miasta?
Tak, ale najpierw zakoduj je jako zmienne zero-jedynkowe (dummy). Dla kategorii o k poziomach utwórz k − 1 kolumn zero-jedynkowych i wpisz je jako osobne predyktory — pominięty poziom staje się punktem odniesienia wchłoniętym przez wyraz wolny. Nigdy nie wpisuj jednej kolumny z arbitralnymi kodami typu 1, 2, 3 dla trzech miast, bo wymusza to na modelu traktowanie kategorii jako równomiernie rozmieszczonych na skali liczbowej, co zwykle jest błędem.
Ile obserwacji potrzebuję w stosunku do liczby predyktorów?
Minimum matematyczne to o dwie obserwacje więcej niż predyktorów (wliczając wyraz wolny) — kalkulator tego pilnuje — ale to o wiele za mało, by wynikom można było zaufać. Powszechna reguła kciuka mówi o 10–20 obserwacjach na predyktor. Przy zbyt małej liczbie obserwacji współczynniki stają się skrajnie wrażliwe na pojedyncze punkty danych, R² mechanicznie zmierza do 1, a model słabo uogólnia się na nowe dane.
Dlaczego pojawia się błąd o liniowo zależnych lub redundantnych kolumnach?
Predyktory muszą zawierać niezależne informacje. Błąd pojawia się, gdy jedna kolumna jest stała, stanowi dokładny wielokrotnik innej albo sumę pozostałych — na przykład gdy uwzględniasz zmienne zero-jedynkowe dla wszystkich poziomów kategorii, które zawsze sumują się do 1 i powielają kolumnę wyrazu wolnego. Usuń lub połącz zbędną kolumnę. Kolumny prawie zależne (np. temperatura w °C i w °F) również wywołują ten błąd, ponieważ dopasowanie staje się numerycznie niestabilne.
Czym różni się R² od skorygowanego R²?
R² mierzy część wariancji y wyjaśnioną przez model, ale nigdy nie maleje po dodaniu predyktora — podnosi go nieznacznie nawet bezużyteczna losowa zmienna. Skorygowane R² uwzględnia karę za liczbę predyktorów względem liczebności próby, więc może spaść po dodaniu zmiennej, która nie zasługuje na swoje miejsce. Do porównywania modeli o różnej liczbie predyktorów używaj skorygowanego R²; ten kalkulator podaje zwykłe R², opisujące dopasowanie do danych estymacyjnych.