Калькулятор множинної лінійної регресії
Введіть значення результативної ознаки та два або більше стовпців предикторів, щоб побудувати множинну лінійну регресію методом найменших квадратів. Калькулятор повертає вільний член, коефіцієнти кожного предиктора, R², рівняння регресії та прогнозні значення із залишками.
Апроксимація залежної змінної за кількома предикторами
Формула множинної лінійної регресії
Де:
- \(\hat{y}\) — прогнозоване значення результативної ознаки
- \(\beta_0\) — вільний член: очікуване значення \(y\), коли всі предиктори дорівнюють нулю
- \(\beta_j\) — коефіцієнт предиктора \(X_j\): очікувана зміна \(y\) при збільшенні \(X_j\) на одну одиницю за незмінних значень решти предикторів
- \(p\) — кількість предикторів
- \(n\) — кількість спостережень
- \(R^2\) — частка дисперсії \(y\), пояснена моделлю
Коефіцієнти оцінюються звичайним методом найменших квадратів (МНК), який підбирає такі значення \(\beta\), щоб мінімізувати суму квадратів залишків \(\sum (y - \hat{y})^2\). У матричній формі розв’язок має вигляд \(\hat{\boldsymbol{\beta}} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y}\); цей калькулятор розв’язує ту саму задачу найменших квадратів за допомогою чисельно стійкого QR-розкладу, а не явним побудованням матриці \(\mathbf{X}^T\mathbf{X}\).
Множинна лінійна регресія — приклад обчислення
Приклад: вісім спостережень зі значеннями результату 7; 12; 11; 16; 15; 20; 19; 24 та два предиктори: \(X_1\) від 1 до 8 і \(X_2\), що чергується 0, 1, 0, 1, … — саме ці дані стоять у калькуляторі за замовчуванням.
\[ \hat{y} = 5 + 2X_1 + 3X_2 \]
Результат: вільний член \(\beta_0 = 5\), коефіцієнти \(\beta_1 = 2\) і \(\beta_2 = 3\), а \(R^2 = 1\). Кожне прогнозоване значення збігається з фактичним результатом, тож усі залишки дорівнюють 0, а сума квадратів залишків становить 0 із загальної суми квадратів 210. Цей набір даних підібрано так, щоб він підходив ідеально, тому \(R^2\) сягає свого максимуму 1; реальні дані майже завжди зберігають певну залишкову варіацію і дають \(R^2 < 1\).
Як користуватися калькулятором
- Введіть значення результату (y) — по одному значенню на кожне спостереження, розділені пробілами, крапками з комою або переносами рядків. Можна вводити десяткові коми.
- Введіть стовпці предикторів (X) — одне спостереження на рядок, зі значеннями предикторів цього спостереження, розділеними пробілами або крапками з комою. Порядок стовпців у всіх рядках має бути однаковим, а стовпців — щонайменше два.
- Перевірте, що кількість рядків X відповідає кількості значень y і що в кожному рядку однакова кількість значень. Спостережень має бути щонайменше на два більше, ніж предикторів.
- Ознайомтеся з результатами: вільний член, таблиця коефіцієнтів предикторів, R², таблиця прогнозних значень із залишками та рівняння регресії з показниками якості моделі.
Що таке множинна лінійна регресія?
Множинна лінійна регресія описує неперервну результативну змінну як зважену суму двох або більше предикторів плюс константу. Вона узагальнює просту лінійну регресію, у якій використовується один предиктор, на випадки, коли на результат водночас можуть впливати кілька змінних — наприклад, прогнозування ціни будинку за площею, кількістю кімнат і віком або врожайності — за кількістю опадів, температурою та обсягом добрив.
Ключова перевага перед окремими простими регресіями в тому, що кожен коефіцієнт виділяє внесок одного предиктора за незмінних значень інших увімкнених предикторів. Коефіцієнт 2 для \(X_1\) означає, що при збільшенні \(X_1\) на одну одиницю результат очікувано зростає на 2 одиниці — незалежно від того, на якому рівні перебувають інші предиктори. Саме тому коефіцієнти можуть суттєво відрізнятися від нахилів, які вийшли б, якщо будувати регресію за кожним предиктором окремо, — модель розділяє ефекти, що перетинаються.
R² показує, наскільки добре підігнана площина (або гіперплощина) слідує за даними: це частка дисперсії \(y\), яку пояснюють предиктори. R² = 0,80 означає, що модель відтворює 80 % спостережуваної варіації. Зауважте: при додаванні предикторів R² може лише залишатися незмінним або зростати, тож високий R² за великої кількості предикторів — ще не автоматичний доказ доброї моделі; він лише описує відповідність моделі даним, на яких її оцінювали.
Щоб дослідити попарні зв’язки між змінними перед побудовою моделі, скористайтеся калькулятором рангової кореляції Спірмена або калькулятором тау Кендалла.
Припущення, обмеження та практичні поради
- Обсяг вибірки: для \(p\) предикторів і вільного члена потрібно щонайменше \(p + 2\) спостережень (калькулятор це контролює). На практиці орієнтуйтеся на 10–20 спостережень на один предиктор — тоді оцінки будуть стабільними.
- Без надлишкових стовпців: предиктори не повинні бути лінійно залежними. Якщо ви кодуєте категоріальну змінну фіктивними стовпцями 0/1, додайте на один фіктивний стовпець менше, ніж є категорій, — базовий рівень поглинається вільним членом, як і стовпець 0/1, що чергується, у прикладі вище.
- Мультиколінеарність: предиктори, що сильно корелюють між собою, дають нестабільні коефіцієнти, які важко інтерпретувати, навіть якщо загальна відповідність моделі виглядає добре. Спочатку перевірте попарні зв’язки та приберіть або об’єднайте змінні, що перетинаються.
- Лінійність: МНК припускає, що кожен предиктор лінійно пов’язаний із результатом за незмінних значень решти предикторів. Криволінійні зв’язки часто можна врахувати, додавши перетворені стовпці (наприклад, квадрат змінної) як додаткові предиктори.
- Аналіз залишків: модель припускає незалежні помилки з приблизно постійною дисперсією. Корисно переглянути залишки в таблиці прогнозів; для впорядкованих у часі даних калькулятор автокореляції може виявити закономірність у залишках, а калькулятор асиметрії та ексцесу допомагає помітити суттєво ненормальні дані.
- Зв’язок — не причинність: коефіцієнти описують зв’язки у ваших даних. Щоб стверджувати причинно-наслідковий ефект, потрібен відповідний план дослідження, а не лише добра відповідність моделі.
- Не виходьте за межі своїх даних: прогнози далеко за межами діапазону спостережуваних предикторів — це екстраполяція, і вона може бути дуже хибною.
- Без статистичних висновків: цей калькулятор повертає лише рівняння регресії та відповідність моделі оціненим даним; для стандартних помилок, p-значень і довірчих інтервалів скористайтеся повноцінним статистичним програмним забезпеченням.
Часті запитання
Як обчислити множинну лінійну регресію вручну?
Складіть матрицю плану \(\mathbf{X}\) з першим стовпцем одиниць для вільного члена, а потім розв’яжіть нормальні рівняння \((\mathbf{X}^T\mathbf{X})\hat{\boldsymbol{\beta}} = \mathbf{X}^T\mathbf{y}\). За двох предикторів це розв’язування лінійної системи 3×3 для \(β_0, β_1, β_2\). Прогнозні значення обчислють із рівняння регресії, а потім — залишки та R² через суми квадратів. Уже за кількох спостережень це виснажлива робота, тому калькулятори застосовують QR-розклад заради чисельної стійкості.
Яке значення R² вважається добрим для множинної регресії?
Універсального порогу немає. У фізичних чи інженерних даних R² понад 0,9 — звичайне явище; у соціологічних або медичних дослідженнях змістовними можуть бути значення 0,3–0,5. Що вважати добрим, залежить від шуму вимірювань і галузі. Також пам’ятайте, що R² автоматично зростає при додаванні предикторів, тому моделі різного розміру порівнюйте за скоригованим R², а якість моделі оцінюйте за тим, наскільки добре вона прогнозує нові дані, а не лише за тим, наскільки добре описує дані, на яких її побудовано.
Чому мої коефіцієнти відрізняються від нахилів простих регресій для кожної змінної?
Це очікувано, а не помилка. У множинній регресії кожен коефіцієнт вимірює вплив відповідного предиктора за сталих значень усіх інших увімкнених предикторів. Якщо два предиктори перетинаються (наприклад, площа будинку та кількість кімнат), модель розподіляє їхню спільну пояснювальну силу між ними, тому коефіцієнти порівняно з простими регресіями «по одній змінній» можуть зменшитися, змінити знак або зрости. У цьому й полягає користь множинної регресії: вона розділяє переплетені ефекти.
Чи можна в цьому калькуляторі використовувати категоріальні змінні, як-от стать чи місто?
Так, але спочатку закодуйте їх фіктивними змінними 0/1. Для категорії з k рівнями створіть k − 1 фіктивних стовпців і введіть їх як окремі предиктори — опущений рівень стає базовим і поглинається вільним членом. Ніколи не вводьте один стовпець із довільними кодами на кшталт 1, 2, 3 для трьох міст: так модель змушена вважати категорії рівномірно розставленими на числовій шкалі, що зазвичай хибно.
Скільки спостережень потрібно порівняно з кількістю предикторів?
Математичний мінімум — на два спостереження більше, ніж предикторів (з урахуванням вільного члена); калькулятор цього вимагає, але для надійних результатів цього надто мало. Поширене емпіричне правило — 10–20 спостережень на один предиктор. Коли спостережень замало, коефіцієнти стають надзвичайно чутливими до окремих точок даних, R² механічно тягнеться до 1, а модель погано узагальнюється на нові дані.
Чому з’являється помилка про лінійно залежні або надлишкові стовпці?
Предиктори мають містити незалежну інформацію. Помилка виникає, якщо один стовпець є константою, точним кратним іншого або сумою кількох інших — наприклад, коли додано фіктивні стовпці для всіх рівнів категорії: їх сума завжди дорівнює 1 і дублює стовпець вільного члена. Приберіть або об’єднайте надлишковий стовпець. Майже залежні стовпці (наприклад, температура одночасно в °C і °F) також спричиняють цю помилку, бо підгонка стає чисельно нестійкою.
Яка різниця між R² і скоригованим R²?
R² вимірює частку дисперсії y, пояснену моделлю, але ніколи не зменшується при додаванні предиктора — навіть непотрібна випадкова змінна трохи його підвищує. Скоригований R² штрафує кількість предикторів відносно обсягу вибірки, тому може знизитися, коли додана змінна не виправдовує свого місця в моделі. Для порівняння моделей з різною кількістю предикторів використовуйте скоригований R²; цей калькулятор повертає звичайний R², який описує відповідність моделі даним, за якими її оцінювали.