Статистические выводы: оценки и проверка гипотез

От выборки к генеральной совокупности: оценки, доверительные интервалы для среднего, проверка гипотез с p-значением, уровнем значимости и ошибками I и II рода, t-критерий, корреляция и линейная регрессия методом наименьших квадратов.

  • Университет
  • 32 мин
  • 10 вопросов
  • Урок 91 из 92

В этом уроке ты узнаешь

  • Вычислять несмещённые оценки среднего и дисперсии по выборке
  • Строить доверительный интервал для среднего и правильно его толковать
  • Проводить z- или t-тест и правильно понимать p-значение
  • Находить коэффициент корреляции и линию регрессии методом наименьших квадратов

Перед выборами социологи опрашивают 1000 человек и сообщают: «52% ± 3%». Чайная фабрика взвешивает 30 пачек, а не все миллионы, которые выпускает. Учитель хочет понять, действительно ли новый метод повысил баллы или классу просто повезло. На такие вопросы отвечают статистические выводы: как по случайной выборке сделать надёжное заключение обо всей генеральной совокупности и насколько в нём можно быть уверенным.

Генеральная совокупность, выборка и оценки

Генеральная совокупность и выборкаОпределение

Генеральная совокупность — всё множество интересующих нас объектов (все избиратели, все пачки). Выборка — та часть, которую мы реально измеряем; она должна быть случайной, чтобы у каждого объекта был одинаковый шанс попасть в неё. Числа, описывающие генеральную совокупность (μ, σ, p), — параметры; числа, вычисленные по выборке (x̄, s, p̂), — статистики, они служат оценками параметров.

x̄ = (x₁ + x₂ + … + xₙ) / ns² = ∑(xᵢ − x̄)² / (n − 1)x̄ = (x₁ + x₂ + … + xₙ) / ns² = ∑(xᵢ − x̄)² / (n − 1)

Где

x̄
выборочное среднее, оценка μ
s²
исправленная выборочная дисперсия, оценка σ²
s
выборочное среднеквадратическое отклонение
n
объём выборки

Обе оценки несмещённые: в среднем по всем возможным выборкам M(x̄) = μ и M(s²) = σ².

Почему n − 1? Отклонения отсчитываются от x̄, подогнанного по тем же данным, поэтому в среднем они получаются чуть меньше, чем надо. Сумма отклонений всегда равна 0, так что свободны лишь n − 1 из них (число степеней свободы). Деление на n − 1 вместо n в точности устраняет это смещение.

Пять пачек чая

Задача

В пачке должно быть 100 г чая. Масса пяти пачек: 98, 102, 101, 97 и 102 г. Найдите x̄, s² и s.

Показать решениеСкрыть решение

Решение

x̄ = (98 + 102 + 101 + 97 + 102)/5 = 500/5 = 100 г.
Отклонения: −2, 2, 1, −3, 2 (сумма 0 ✓); квадраты: 4, 4, 1, 9, 4, сумма 22.
s² = 22/(5 − 1) = 5,5 г², s = √5,5 ≈ 2,35 г.
Деление на 5 дало бы 4,4 г² и занизило бы разброс.

Чтобы читать дальше, зарегистрируйся бесплатно

Остальные разделы урока, тест и заметки открываются с аккаунтом Educora. Регистрация занимает минуту, а прогресс сохраняется на всех твоих устройствах.

Доверительные интервалы для среднего

Одно число x̄ никогда точно не попадает в μ. Доверительный интервал — промежуток, построенный так, что в 95% выборок он накрывает μ. По центральной предельной теореме x̄ ≈ N(μ, σ²/n), поэтому с вероятностью 0,95 μ отстоит от x̄ не более чем на 1,96 стандартной ошибки.

x̄ ± z* · σ/√nx̄ ± z* · σ/√n

Где

z*
критическое значение: 1,645 для 90%, 1,96 для 95%, 2,576 для 99%
σ/√nσ/√n
стандартная ошибка среднего
σ
известное среднеквадратическое отклонение генеральной совокупности

Применяется, когда σ известно (или n велико — тогда вместо σ можно брать s).

x̄ ± t* · s/√ndf = n − 1x̄ ± t* · s/√ndf = n − 1

Где

t*
критическое значение распределения Стьюдента с n − 1 степенями свободы
s
выборочное среднеквадратическое отклонение

Применяется, когда σ неизвестно, особенно для малых выборок: у распределения Стьюдента «хвосты» тяжелее, чем у нормального, поэтому интервал шире.

Уровень доверияz*t* (df = 4)t* (df = 9)t* (df = 29)
90%1,6452,1321,8331,699
95%1,9602,7762,2622,045
99%2,5764,6043,2502,756
Критические значения для двусторонних интервалов. С ростом n t* приближается к z*.

Время на учёбу

Задача

В случайной выборке из 36 студентов среднее время учёбы в день x̄ = 2,4 часа; по прошлым опросам σ = 0,9 ч. Постройте 95%-й доверительный интервал для среднего μ.

Показать решениеСкрыть решение

Решение

Стандартная ошибка: σ/√n = 0,9/√36 = 0,9/6 = 0,15 ч.
Предельная погрешность: 1,96 · 0,15 ≈ 0,29 ч.
Интервал: 2,4 ± 0,29, то есть [2,11; 2,69] ч.
Смысл: применённый метод накрывает истинное среднее в 95% выборок.

Малая выборка: интервал Стьюдента

Задача

Постройте 95%-й доверительный интервал для средней массы пачек чая (n = 5, x̄ = 100 г, s ≈ 2,35 г).

Показать решениеСкрыть решение

Решение

σ неизвестно, n мало, поэтому берём распределение Стьюдента с df = 4: t* = 2,776.
Стандартная ошибка: s/√n = 2,345/√5 ≈ 1,049 г.
Погрешность: 2,776 · 1,049 ≈ 2,91 г.
Интервал: [97,09; 102,91] г. Он содержит 100 г, так что данные не противоречат этикетке, но интервал широк, потому что n мало.

Проверка статистических гипотез

  1. Сформулируй гипотезы

    Нулевая гипотеза H₀ — утверждение «ничего особенного нет» (μ = 500 г, метод не действует). Альтернативная H₁ — то, что мы подозреваем (μ < 500 г, метод помогает).

  2. Выбери уровень значимости

    α — допустимый риск ошибочно отвергнуть верную H₀; обычно α = 0,05 (иногда 0,01).

  3. Вычисли статистику критерия

    Она показывает, насколько данные удалены от H₀ в единицах стандартной ошибки, например z или t.

  4. Найди p-значение

    Вероятность при верной H₀ получить результат, не менее «крайний», чем наблюдаемый.

  5. Прими решение

    Если p ≤ α, H₀ отвергают (результат статистически значим). Если p > α, H₀ не отвергают: данных недостаточно для вывода, но это не доказывает, что H₀ верна.

z = (x̄ − μ₀) / (σ/√n)t = (x̄ − μ₀) / (s/√n)z = (x̄ − μ₀) / (σ/√n)t = (x̄ − μ₀) / (s/√n)

Где

μ₀
среднее, утверждаемое гипотезой H₀
z
статистика критерия при известном σ (нормальное распределение)
t
при неизвестном σ: распределение Стьюдента с n − 1 степенями свободы

Не легче ли батоны?

Задача

Пекарня утверждает, что средняя масса её батонов 500 г, σ = 12 г. Инспектор взвесил 36 батонов и получил x̄ = 495 г. Проверьте при α = 0,05, легче ли батоны, чем заявлено.

Показать решениеСкрыть решение

Решение

H₀: μ = 500 г; H₁: μ < 500 г (односторонний критерий).
z = (495 − 500)/(12/√36) = −5/2 = −2,5.
p-значение = P(Z ≤ −2,5) = 1 − Φ(2,5) = 1 − 0,9938 ≈ 0,006.
p ≈ 0,006 < 0,05, значит, H₀ отвергаем: данные убедительно говорят, что батоны в среднем легче 500 г.
Заметим: 5 г — мелочь для одного батона, но для 36 батонов стандартная ошибка всего 2 г.
РешениеH₀ вернаH₀ неверна
H₀ отвергнутаОшибка I рода (вероятность α)Верное решение (мощность 1 − β)
H₀ не отвергнутаВерное решениеОшибка II рода (вероятность β)
Меньшее α — меньше «ложных тревог», но больше пропущенных эффектов; увеличение объёма выборки уменьшает обе ошибки.

t-критерий. Если σ неизвестно, его заменяют на s и сравнивают t с распределением Стьюдента (df = n − 1). Двухвыборочный t-критерий сравнивает средние двух групп, например классов, обучавшихся по новому и старому методу: разность средних делят на её стандартную ошибку. Распределение опубликовал в 1908 году Уильям Госсет, работавший на пивоварне Guinness в Дублине, под псевдонимом «Стьюдент».

Корреляция и линейная регрессия

r = ∑(xᵢ − x̄)(yᵢ − ȳ) / √(∑(xᵢ − x̄)² · ∑(yᵢ − ȳ)²)r = ∑(xᵢ − x̄)(yᵢ − ȳ) / √(∑(xᵢ − x̄)² · ∑(yᵢ − ȳ)²)

Где

r
коэффициент корреляции Пирсона, −1 ≤ r ≤ 1
r ≈ ±1
точки лежат почти на одной прямой
r ≈ 0
линейной связи нет

Линию регрессии ŷ = b₀ + b₁x выбирают методом наименьших квадратов: она минимизирует сумму квадратов вертикальных отклонений S(b₀, b₁) = ∑(yᵢ − b₀ − b₁xᵢ)². Приравняв к нулю частные производные ∂S/∂b₀ и ∂S/∂b₁, получаем два линейных уравнения (нормальные уравнения); их решение:

b₁ = ∑(xᵢ − x̄)(yᵢ − ȳ) / ∑(xᵢ − x̄)²b₀ = ȳ − b₁ · x̄b₁ = ∑(xᵢ − x̄)(yᵢ − ȳ) / ∑(xᵢ − x̄)²b₀ = ȳ − b₁ · x̄

Где

b₁
угловой коэффициент: среднее изменение y при росте x на 1
b₀
свободный член (ŷ при x = 0)
ŷ
предсказанное значение

Прямая всегда проходит через точку (x̄; ȳ), а r² — доля изменчивости y, объяснённая прямой.

Часы учёбы и баллы

Задача

Пять студентов: часы учёбы x = 1, 2, 3, 4, 5 и баллы за тест y = 52, 58, 65, 70, 80. Найдите линию регрессии и r, предскажите балл при 6 часах.

Показать решениеСкрыть решение

Решение

x̄ = 3, ȳ = 325/5 = 65.
x − x̄: −2, −1, 0, 1, 2; y − ȳ: −13, −7, 0, 5, 15.
∑(x − x̄)(y − ȳ) = 26 + 7 + 0 + 5 + 30 = 68; ∑(x − x̄)² = 10; ∑(y − ȳ)² = 169 + 49 + 0 + 25 + 225 = 468.
b₁ = 68/10 = 6,8 балла за час, b₀ = 65 − 6,8 · 3 = 44,6, то есть ŷ = 44,6 + 6,8x.
r = 68/√(10 · 468) ≈ 68/68,41 ≈ 0,994, r² ≈ 0,99.
Прогноз: ŷ(6) = 44,6 + 40,8 = 85,4 балла.

Интерактив

Загрузка симуляции…
Прямая наименьших квадратов ŷ = 44,6 + 6,8x (a = b₀, b = b₁). Она проходит рядом с точками (1; 52), (2; 58), (3; 65), (4; 70), (5; 80); любые другие a или b дают сумму квадратов ошибок больше 5,6.
Python
import numpy as np
from scipy import stats

tea = np.array([98, 102, 101, 97, 102])
se = tea.std(ddof=1) / np.sqrt(len(tea))
low, high = stats.t.interval(0.95, df=4, loc=tea.mean(), scale=se)
print(round(low, 2), round(high, 2))

t, p = stats.ttest_1samp(tea, 103)
print(round(t, 3), round(p, 3))

hours = [1, 2, 3, 4, 5]
score = [52, 58, 65, 70, 80]
b1, b0 = np.polyfit(hours, score, 1)
print(round(b1, 2), round(b0, 2), round(np.corrcoef(hours, score)[0, 1], 3))
Ожидаемый результат
97.09 102.91
-2.86 0.046
6.8 44.6 0.994
scipy проверяет примеры: интервал Стьюдента для пачек чая, t-критерий для H₀: μ = 103 г (t = −2,86, p = 0,046: отвергается при α = 0,05, но не при α = 0,01) и линию регрессии вместе с r.

Запомни

  • x̄ и s² = ∑(xᵢ − x̄)²/(n − 1) — несмещённые оценки μ и σ²; выборка должна быть случайной.
  • 95%-й доверительный интервал: x̄ ± 1,96σ/√n, а при неизвестном σ — x̄ ± t*·s/√n.
  • H₀ отвергают при p ≤ α; p-значение — не вероятность того, что H₀ верна.
  • Ошибка I рода — отвергнуть верную H₀ (α); ошибка II рода — принять неверную H₀ (β).
  • Регрессия: b₁ = ∑(x − x̄)(y − ȳ)/∑(x − x̄)², b₀ = ȳ − b₁x̄; прямая проходит через (x̄; ȳ).
  • r измеряет только линейную связь, а корреляция не означает причинности.
Заметил ошибку или неточность в уроке?

Проверь себя

Вопросов: 10. Каждый правильный ответ приносит XP.

Вопрос 1 / 10

Вопрос 1 / 10. n = 100, x̄ = 50, σ = 10. Каков 95%-й доверительный интервал для μ?