İstatistiksel çıkarım: tahmin ve hipotez testi

Bir seçimden önce anket şirketi 1000 kişiye soruyor ve “%52 ± %3” sonucunu açıklıyor. Bir çay fabrikası ürettiği milyonlarca paketin hepsini değil, 30'unu tartıyor. Bir öğretmen yeni yöntemin puanları gerçekten artırıp artırmadığını, yoksa sınıfın yalnızca şanslı mı olduğunu merak ediyor. İstatistiksel çıkarım bu tür soruları yanıtlar: rastgele bir örneklemden bütün anakütle hakkında nasıl güvenilir bir sonuca varılır ve bu sonuçtan ne kadar emin olabiliriz.

Anakütle, örneklem ve tahmin ediciler

Neden n − 1? Sapmalar, aynı verilere uydurulmuş x̄'den ölçülür; bu yüzden ortalamada biraz küçük çıkar. Sapmaların toplamı her zaman 0'dır, yani bunlardan yalnızca n − 1 tanesi serbesttir (serbestlik derecesi). n yerine n − 1'e bölmek bu yanlılığı tam olarak düzeltir.

Ortalama için güven aralıkları

Tek bir x̄ sayısı μ'yü hiçbir zaman tam olarak bulmaz. Güven aralığı, örneklemlerin %95'inde μ'yü kapsayacak biçimde kurulan bir aralıktır. Merkezi limit teoremine göre x̄ ≈ N(μ, σ²/n) olduğundan μ, 0,95 olasılıkla x̄'den en fazla 1,96 standart hata uzaktadır.

Hipotez testi

1. 1
   Hipotezleri yaz

   Sıfır hipotezi H₀, “özel bir şey yok” iddiasıdır (μ = 500 g, yöntemin etkisi yok). Alternatif hipotez H₁ ise şüphelendiğimiz durumdur (μ < 500 g, yöntem işe yarıyor).

2. 2
   Anlamlılık düzeyini seç

   α, doğru bir H₀'ı yanlışlıkla reddetme riskidir; genellikle α = 0,05 (bazen 0,01).

3. 3
   Test istatistiğini hesapla

   Verilerin H₀'dan standart hata biriminde ne kadar uzak olduğunu ölçer; örneğin z veya t.

4. 4
   p-değerini bul

   H₀ doğruyken gözlenen kadar ya da ondan daha uç bir sonuç elde etme olasılığı.

5. 5
   Karar ver

   p ≤ α ise H₀ reddedilir (sonuç istatistiksel olarak anlamlıdır). p > α ise H₀ reddedilmez: veriler yeterince güçlü kanıt değildir; ama bu, H₀'ın doğru olduğunu kanıtlamaz.

t-testi. σ bilinmediğinde yerine s konur ve t, Student t dağılımıyla (df = n − 1) karşılaştırılır. İki örneklem t-testi, örneğin yeni ve eski yöntemle ders gören sınıflar gibi iki grubun ortalamalarını karşılaştırır: ortalamalar arasındaki fark, kendi standart hatasına bölünür. t dağılımını 1908'de, Dublin'deki Guinness bira fabrikasında çalışan William Gosset “Student” takma adıyla yayımladı.

Korelasyon ve doğrusal regresyon

ŷ = b₀ + b₁x regresyon doğrusu en küçük kareler yöntemiyle seçilir: dikey hataların karelerinin toplamı olan S(b₀, b₁) = ∑(yᵢ − b₀ − b₁xᵢ)² ifadesini en küçük yapar. ∂S/∂b₀ ve ∂S/∂b₁ kısmi türevleri sıfıra eşitlenirse iki doğrusal denklem (normal denklemler) elde edilir; çözümleri şudur:

import numpy as np
from scipy import stats

tea = np.array([98, 102, 101, 97, 102])
se = tea.std(ddof=1) / np.sqrt(len(tea))
low, high = stats.t.interval(0.95, df=4, loc=tea.mean(), scale=se)
print(round(low, 2), round(high, 2))

t, p = stats.ttest_1samp(tea, 103)
print(round(t, 3), round(p, 3))

hours = [1, 2, 3, 4, 5]
score = [52, 58, 65, 70, 80]
b1, b0 = np.polyfit(hours, score, 1)
print(round(b1, 2), round(b0, 2), round(np.corrcoef(hours, score)[0, 1], 3))

97.09 102.91
-2.86 0.046
6.8 44.6 0.994