Випадкові величини X i Y називають стохастично залежними, якщо зміна однієї з них призводить до зміни розподілу другої. Зокрема, може змінюватися той чи інший параметр розподілу. Якщо зі зміною однієї випадкової величини зміщається центр розподілу другої, тобто її середнє значення, то стохастичний зв’язок між величинами зветься кореляційним.
(13.1)
Рівняння виду (13.1) визначає кореляційну залежність Y від X, його називають рівнянням регресії Y по X. Ламана, побудована за емпіричними даними, являється емпіричною лінією регресії. Теоретичною лінією регресії служить графік функції f(x).
Аналогічно рівняння регресії X по Y задається рівністю
(13.2)
Якщо обидві функції f(x) i φ(y) лінійні, то кореляцію між X i Y називають лінійною.В протилежному випадку говорять про нелінійну кореляцію.
В теорії кореляції розглядають такі дві основні задачі:
1) встановити вигляд функції регресіїf(x) i φ(y);
2) оцінити "тісноту" кореляційного зв’язку випадкових величин.
Якщо які-небудь теоретичні передумови відсутні, то вибір функцій (13.1) і (13.2) можна здійснити у такий спосіб: припустимо, наприклад, що f(x) – лінійна функція, що задовольняє рівнянню
, (13.3)
де параметри k і b треба знайти за вибірковими даними. Як правило, ці параметри шукають методом найменших квадратів. У найпростішому випадку залежність (13.3) дає нев’язку (відхил)
, (13.4)
яка у загальному випадку відмінна від нуля.
Величина
(13.5)
характеризує сумарну похибку наближення даної сукупності точок (xi, yi) за допомогою прямої
, (13.6)
Зі змінною k і b змінюється і величина F, обчислена за формулою (13.5), тобто F залежить від k і b:
F=F(k, b). (13.7)
Підберемо параметри k і b так, щоб сума квадратів відхилень точок (хі, уі) від прямої (13.6) була найменшою, тобто, щоб мінімальне значення приймала функція
. (13.8)
У цьому і полягає суть методу найменших квадратів.
Для знаходження мінімуму функції (13.8) знайдемо частинні похідні функції F за змінними k і b, а потім прирівняємо їх до нуля.
Маємо
або
(13.9)
Ця система зветься нормальною системою рівнянь, яку можна розв’язати відносно k і b.