Статистические выводы: оценки и проверка гипотез

Перед выборами социологи опрашивают 1000 человек и сообщают: «52% ± 3%». Чайная фабрика взвешивает 30 пачек, а не все миллионы, которые выпускает. Учитель хочет понять, действительно ли новый метод повысил баллы или классу просто повезло. На такие вопросы отвечают статистические выводы: как по случайной выборке сделать надёжное заключение обо всей генеральной совокупности и насколько в нём можно быть уверенным.

Генеральная совокупность, выборка и оценки

Почему n − 1? Отклонения отсчитываются от x̄, подогнанного по тем же данным, поэтому в среднем они получаются чуть меньше, чем надо. Сумма отклонений всегда равна 0, так что свободны лишь n − 1 из них (число степеней свободы). Деление на n − 1 вместо n в точности устраняет это смещение.

Доверительные интервалы для среднего

Одно число x̄ никогда точно не попадает в μ. Доверительный интервал — промежуток, построенный так, что в 95% выборок он накрывает μ. По центральной предельной теореме x̄ ≈ N(μ, σ²/n), поэтому с вероятностью 0,95 μ отстоит от x̄ не более чем на 1,96 стандартной ошибки.

Проверка статистических гипотез

1. 1
   Сформулируй гипотезы

   Нулевая гипотеза H₀ — утверждение «ничего особенного нет» (μ = 500 г, метод не действует). Альтернативная H₁ — то, что мы подозреваем (μ < 500 г, метод помогает).

2. 2
   Выбери уровень значимости

   α — допустимый риск ошибочно отвергнуть верную H₀; обычно α = 0,05 (иногда 0,01).

3. 3
   Вычисли статистику критерия

   Она показывает, насколько данные удалены от H₀ в единицах стандартной ошибки, например z или t.

4. 4
   Найди p-значение

   Вероятность при верной H₀ получить результат, не менее «крайний», чем наблюдаемый.

5. 5
   Прими решение

   Если p ≤ α, H₀ отвергают (результат статистически значим). Если p > α, H₀ не отвергают: данных недостаточно для вывода, но это не доказывает, что H₀ верна.

t-критерий. Если σ неизвестно, его заменяют на s и сравнивают t с распределением Стьюдента (df = n − 1). Двухвыборочный t-критерий сравнивает средние двух групп, например классов, обучавшихся по новому и старому методу: разность средних делят на её стандартную ошибку. Распределение опубликовал в 1908 году Уильям Госсет, работавший на пивоварне Guinness в Дублине, под псевдонимом «Стьюдент».

Корреляция и линейная регрессия

Линию регрессии ŷ = b₀ + b₁x выбирают методом наименьших квадратов: она минимизирует сумму квадратов вертикальных отклонений S(b₀, b₁) = ∑(yᵢ − b₀ − b₁xᵢ)². Приравняв к нулю частные производные ∂S/∂b₀ и ∂S/∂b₁, получаем два линейных уравнения (нормальные уравнения); их решение:

import numpy as np
from scipy import stats

tea = np.array([98, 102, 101, 97, 102])
se = tea.std(ddof=1) / np.sqrt(len(tea))
low, high = stats.t.interval(0.95, df=4, loc=tea.mean(), scale=se)
print(round(low, 2), round(high, 2))

t, p = stats.ttest_1samp(tea, 103)
print(round(t, 3), round(p, 3))

hours = [1, 2, 3, 4, 5]
score = [52, 58, 65, 70, 80]
b1, b0 = np.polyfit(hours, score, 1)
print(round(b1, 2), round(b0, 2), round(np.corrcoef(hours, score)[0, 1], 3))

97.09 102.91
-2.86 0.046
6.8 44.6 0.994