The p-value Explained

The Lady Tasting Teaचाय चखने वाली महिला品茶的女士

Rothamsted research station, England, in the early 1920s. A group of scientists are having afternoon tea. A colleague — the algae expert Dr Muriel Bristol — says she can tell, just by tasting, whether the milk was poured before or after the tea. The statistician Ronald Fisher doubts it. So he designs a fair test.

Rothamsted research station, England, 1920 के दशक की शुरुआत। कुछ वैज्ञानिक दोपहर की चाय पी रहे हैं। एक सहकर्मी — शैवाल (algae) विशेषज्ञ Dr Muriel Bristol — कहती हैं कि वे सिर्फ़ चखकर बता सकती हैं कि दूध चाय से पहले डाला गया या बाद में। Statistician Ronald Fisher को शक है। इसलिए वे एक निष्पक्ष test बनाते हैं।

20 世纪 20 年代初，英国洛桑（Rothamsted）研究站。一群科学家在喝下午茶。一位同事 —— 藻类专家 Muriel Bristol 博士 —— 说她仅凭品尝就能分辨牛奶是在茶之前还是之后倒入的。统计学家罗纳德·费希尔对此表示怀疑，于是他设计了一个公平的检验。

The test uses eight cups: four milk-first and four tea-first, served in random order. She is told there are four of each and must pick the four milk-first cups. If she is only guessing, there are 70 equally likely ways to pick 4 cups out of 8 — and only one of them is fully correct. The story goes that she got all 8 right. The chance of that by pure guessing is 1 in 70 — about 1.4%.

Test में आठ कप हैं: चार milk-first और चार tea-first, random क्रम में। उन्हें बताया जाता है कि हर तरह के चार हैं, और उन्हें चार milk-first कप चुनने हैं। अगर वे सिर्फ़ अंदाज़ा लगा रही हैं, तो 8 में से 4 कप चुनने के 70 बराबर संभावित तरीके हैं — और सिर्फ़ एक पूरी तरह सही है। कहानी के अनुसार उन्होंने सभी 8 सही बताए। सिर्फ़ अंदाज़े से ऐसा होने का chance 70 में 1 — लगभग 1.4% है।

检验用了八杯茶：四杯先加奶、四杯先加茶，随机顺序端上。她被告知每种各四杯，要挑出四杯先加奶的。如果她只是瞎猜，从 8 杯中挑 4 杯共有 70 种等可能的方式 —— 只有一种完全正确。据说她8 杯全对。纯靠猜做到这一点的概率是 七十分之一 —— 约 1.4%。

The p-value is probably the most used — and most misunderstood — number in science. It appears in medical journals, psychology studies, A/B test reports and quality dashboards. Knowing what it means, and what it does not mean, is one of the most useful skills a data scientist can have.

p-value शायद विज्ञान की सबसे ज़्यादा इस्तेमाल होने वाली — और सबसे ज़्यादा ग़लत समझी जाने वाली — संख्या है। यह medical journals, psychology studies, A/B test reports और quality dashboards में दिखता है। इसका मतलब, और यह क्या नहीं बताता, जानना एक data scientist का सबसे उपयोगी हुनर है।

p 值可能是科学界用得最多、也最常被误解的数字。它出现在医学期刊、心理学研究、A/B 测试报告和质量看板中。理解它的含义，以及它不代表什么，是数据科学家最有用的技能之一。

What Exactly Is a p-value?p-value असल में क्या है?p 值到底是什么？

Try a thought experiment first. You suspect a coin favours heads. You flip it 10 times and get 9 heads. Ask: "If this coin were perfectly fair, how often would I see a result this extreme just by chance?" The answer is the p-value.

पहले एक सोच-प्रयोग करें। आपको शक है कि coin heads की ओर झुका है। आप उसे 10 बार उछालते हैं और 9 heads आते हैं। पूछें: "अगर यह coin पूरी तरह fair होता, तो सिर्फ़ संयोग से इतना extreme नतीजा कितनी बार दिखता?" इसका जवाब p-value है।

先做个思想实验。你怀疑一枚硬币偏向正面。你抛了 10 次，得到 9 次正面。问自己：“如果这枚硬币完全公平，仅凭偶然看到这么极端的结果的频率有多高？”答案就是 p 值。

The p-value in Pictures — Understand Before the Mathsतस्वीरों में p-value — गणित से पहले समझें图解 p 值 — 先理解，再算数

Every p-value is built the same way. Imagine the world where H₀ is true. List everything that could happen there and how likely it is. Then add up the chances of everything at least as extreme as what you actually saw.

हर p-value एक ही तरह बनता है। उस दुनिया की कल्पना करें जहाँ H₀ सच है। वहाँ जो कुछ हो सकता है और उसकी संभावना, सब लिखें। फिर जो आपने असल में देखा, उससे कम से कम उतना extreme हर चीज़ के chances जोड़ें।

每个 p 值的构造方式都一样：想象 H₀ 为真的世界，列出那里可能发生的一切及其概率，然后把至少与你实际看到的一样极端的所有情况的概率加起来。

The Coin Flip — A Visual WalkthroughCoin Flip — एक visual walkthrough抛硬币 — 图解演示

We flip a coin 10 times and see 9 heads. H₀: the coin is fair, P(heads) = 0.5. We use a two-tailed test, because a coin biased towards tails would be just as interesting. So "at least as extreme" means 9 or 10 heads or 0 or 1 heads.

हम coin 10 बार उछालते हैं और 9 heads देखते हैं। H₀: coin fair है, P(heads) = 0.5. हम two-tailed test लेते हैं, क्योंकि tails की ओर झुका coin भी उतना ही दिलचस्प होता। इसलिए "कम से कम इतना extreme" का मतलब है 9 या 10 heads या 0 या 1 heads.

我们抛 10 次硬币，看到 9 次正面。H₀：硬币公平，P(正面) = 0.5。我们用双侧检验，因为偏向反面的硬币同样值得关注。所以“至少一样极端”指 9 或 10 次正面，或 0 或 1 次正面。

The p-value on a Normal CurveNormal Curve पर p-value正态曲线上的 p 值

For continuous data — means, differences — the p-value is an area under the normal (or t) curve. The test statistic (a z-score or t-value) says how many standard errors your result sits from the H₀ value. The p-value is the area in the tail(s) beyond that point.

Continuous data — means, अंतर — के लिए p-value, normal (या t) curve के नीचे का area है। Test statistic (z-score या t-value) बताता है कि आपका नतीजा H₀ value से कितने standard errors दूर है। p-value उस बिंदु के आगे की tail(s) का area है।

对于连续数据（均值、差异），p 值是正态（或 t）曲线下的一块面积。检验统计量（z 分数或 t 值）表示你的结果离 H₀ 值有几个标准误。p 值就是该点之外尾部的面积。

What the p-value Is NOT — Six Mythsp-value क्या नहीं है — छह भ्रमp 值不是什么 — 六大误区

In 2016 the American Statistical Association published its first-ever formal statement on a specific matter of statistical practice: the p-value. It gave six principles to stop common misuse. The myths below are closely linked to those principles.

2016 में American Statistical Association ने statistical practice के किसी ख़ास विषय पर अपना पहला औपचारिक बयान जारी किया: p-value. इसमें आम ग़लत इस्तेमाल रोकने के लिए छह सिद्धांत थे। नीचे के भ्रम उन्हीं सिद्धांतों से जुड़े हैं।

2016 年，美国统计协会首次就某一具体统计实践问题发表正式声明：p 值。声明提出六条原则，以纠正常见的误用。下面的误区与这些原则密切相关。

The p-value Scale — How to Read the Evidencep-value का पैमाना — सबूत कैसे पढ़ेंp 值刻度 — 如何解读证据

Not all significant results are equally convincing, and not all non-significant results are equally weak. Many statisticians use rough labels to describe the strength of evidence. Fisher himself treated p as a smooth measure of evidence and suggested 0.05 only as a convenient guide — the labels below are a common modern convention, not a law.

हर significant नतीजा बराबर भरोसेमंद नहीं, और हर non-significant नतीजा बराबर कमज़ोर नहीं। कई statisticians सबूत की ताक़त बताने के लिए मोटे labels इस्तेमाल करते हैं। Fisher ख़ुद p को सबूत का लगातार माप मानते थे और 0.05 को सिर्फ़ सुविधाजनक मार्गदर्शक बताते थे — नीचे के labels एक आम आधुनिक परंपरा हैं, क़ानून नहीं।

并非所有显著结果都同样有说服力，也并非所有不显著结果都同样无力。许多统计学家用粗略的标签描述证据强度。费希尔本人把 p 视为连续的证据量度，只把 0.05 当作方便的参考 —— 下面的标签是现代常用惯例，而非定律。

Step by Step: Computing a p-value by HandStep by Step: हाथ से p-value निकालना一步一步手算 p 值

A hospital claims its average patient wait is 30 minutes. An auditor thinks it is longer. She samples 40 patients at random and finds x̄ = 34.2 minutes and s = 10.5 minutes. Is that enough evidence against the claim?

एक अस्पताल का दावा है कि मरीज़ों का औसत इंतज़ार 30 मिनट है। एक auditor को लगता है कि यह ज़्यादा है। वह random 40 मरीज़ लेती है और x̄ = 34.2 मिनट, s = 10.5 मिनट पाती है। क्या यह दावे के ख़िलाफ़ काफ़ी सबूत है?

一家医院声称患者平均等待 30 分钟。审计员认为更长。她随机抽取 40 名患者，得到 x̄ = 34.2 分钟、s = 10.5 分钟。这足以反驳医院的说法吗？

Python ImplementationPython ImplementationPython 实现

Exact p-values for the tea and coin examplesचाय और coin उदाहरणों के सटीक p-values品茶与抛硬币的精确 p 值

from math import comb
from scipy import stats

# Lady Tasting Tea: 8 cups, 4 milk-first. She must pick the 4 milk-first cups.
ways = comb(8, 4)                       # 70 ways to choose 4 cups
print(f"Ways to choose 4 cups of 8: {ways}")
print(f"P(all 8 right by guessing) = 1/{ways} = {1/ways:.4f}")

# Coin: 9 heads in 10 flips, H₀: P(heads) = 0.5
res = stats.binomtest(9, n=10, p=0.5, alternative='two-sided')
print(f"Coin, two-tailed p-value  = {res.pvalue:.4f}  (11 + 11 outcomes of 1,024)")

p-value from first principles — hospital wait timesशुरुआत से p-value — अस्पताल का इंतज़ार从原理出发求 p 值 —— 医院等待时间

import numpy as np
from scipy import stats

# Hospital wait time example
# H0: mu <= 30  |  H1: mu > 30  (right-tailed)
np.random.seed(42)
sample = np.random.normal(loc=34.2, scale=10.5, size=40)

mu_0  = 30
x_bar = np.mean(sample)
s     = np.std(sample, ddof=1)
n     = len(sample)
se    = s / np.sqrt(n)
df    = n - 1

# t-statistic
t_stat = (x_bar - mu_0) / se

# p-value: right-tailed = area to the RIGHT of t_stat
p_right = stats.t.sf(t_stat, df=df)          # sf = 1 - cdf

# For two-tailed: double the smaller tail
p_two   = 2 * stats.t.sf(abs(t_stat), df=df)

# Critical t-value at alpha=0.05, right-tailed
t_crit = stats.t.ppf(0.95, df=df)

print(f"Sample mean x̄:       {x_bar:.4f} min")
print(f"Standard Error SE:    {se:.4f} min")
print(f"t-statistic:          {t_stat:.4f}")
print(f"Degrees of freedom:   {df}")
print(f"t-critical (right):   {t_crit:.4f}")
print(f"p-value (right-tail): {p_right:.4f}")
print(f"p-value (two-tail):   {p_two:.4f}")
print()
print(f"Conclusion: {'REJECT H0' if p_right < 0.05 else 'FAIL TO REJECT H0'}")

What changes the p-value?p-value को क्या बदलता है?什么会改变 p 值？

import numpy as np
from scipy import stats

# How sample size and effect size each change the p-value
mu_0  = 30      # null hypothesis value
x_bar = 34.2    # sample mean (fixed)
s     = 10.5    # std dev (fixed)

print("Same effect (4.2 min), same s — only n changes:")
for n in [10, 20, 40, 100, 500]:
    se     = s / np.sqrt(n)
    t_stat = (x_bar - mu_0) / se
    p      = stats.t.sf(t_stat, df=n-1)
    sig    = "REJECT H0" if p < 0.05 else "fail to reject"
    print(f"  n={n:4d}  SE={se:.3f}  t={t_stat:6.3f}  p={p:.2g}  {sig}")

print()
print("Same n (40), same s — only the sample mean changes:")
for mean in [30.5, 31.0, 32.0, 34.2, 38.0]:
    se     = s / np.sqrt(40)
    t_stat = (mean - mu_0) / se
    p      = stats.t.sf(t_stat, df=39)
    sig    = "REJECT H0" if p < 0.05 else "fail to reject"
    print(f"  x̄={mean:.1f}  t={t_stat:6.3f}  p={p:.2g}  {sig}")

With the same 4.2-minute difference, p falls from 0.12 to 3.7 × 10⁻¹⁸ as n grows from 10 to 500. The effect did not change at all — only the precision did.

उसी 4.2 मिनट के अंतर पर, n के 10 से 500 होने पर p, 0.12 से 3.7 × 10⁻¹⁸ हो जाता है। Effect बिल्कुल नहीं बदला — सिर्फ़ precision बदली।

差异同样是 4.2 分钟，n 从 10 增至 500 时，p 从 0.12 降到 3.7 × 10⁻¹⁸。效应完全没变 —— 变的只是精度。

A complete report: p-value, CI and effect sizeपूरी report: p-value, CI और effect size完整报告：p 值、置信区间与效应量

import numpy as np
from scipy import stats

def full_test_report(sample, mu_0, alpha=0.05, tail="two"):
    """One-sample t-test with p-value, CI and effect size."""
    n      = len(sample)
    x_bar  = np.mean(sample)
    s      = np.std(sample, ddof=1)
    se     = s / np.sqrt(n)
    df     = n - 1
    t_stat = (x_bar - mu_0) / se

    if tail == "two":
        p = 2 * stats.t.sf(abs(t_stat), df=df)
    elif tail == "right":
        p = stats.t.sf(t_stat, df=df)
    else:
        p = stats.t.cdf(t_stat, df=df)

    lo, hi = stats.t.interval(0.95, df=df, loc=x_bar, scale=se)
    d = (x_bar - mu_0) / s                  # Cohen's d (one sample)
    d_label = ("negligible" if abs(d) < 0.2 else "small" if abs(d) < 0.5
               else "medium" if abs(d) < 0.8 else "large")
    evidence = ("very strong" if p < 0.001 else "strong" if p < 0.01
                else "moderate" if p < 0.05 else "weak" if p < 0.10 else "little or none")

    print("=" * 52)
    print(f"  One-sample t-test ({tail}-tailed)   H₀: μ = {mu_0}, α = {alpha}")
    print("=" * 52)
    print(f"  n = {n}   x̄ = {x_bar:.3f}   s = {s:.3f}   SE = {se:.3f}")
    print(f"  t({df}) = {t_stat:.4f}   p = {p:.4f}")
    print(f"  95% CI for μ: ({lo:.2f}, {hi:.2f})")
    print(f"  Cohen's d = {d:.3f} ({d_label})   evidence: {evidence}")
    verdict = "REJECT H₀" if p < alpha else "FAIL TO REJECT H₀"
    print(f"  DECISION: {verdict}")
    print("=" * 52)

np.random.seed(42)
wait_times = np.random.normal(34.2, 10.5, 40)
full_test_report(wait_times, mu_0=30, alpha=0.05, tail="right")

Why one study is never enoughएक study कभी काफ़ी क्यों नहीं为什么一项研究永远不够

import numpy as np
from scipy import stats

# 1,000 studies where H₁ is TRUE: μ_true = 32, μ₀ = 30, σ = 10.5, n = 40
rng = np.random.default_rng(0)
n_studies, n, mu_true, mu_0, sigma = 1000, 40, 32, 30, 10.5

samples  = rng.normal(mu_true, sigma, (n_studies, n))
p_values = stats.ttest_1samp(samples, popmean=mu_0, axis=1).pvalue

print(f"Studies with p < 0.05:  {(p_values < 0.05).mean()*100:.1f}%")
print(f"Studies with p ≥ 0.05:  {(p_values >= 0.05).mean()*100:.1f}%")
print(f"Median p-value:         {np.median(p_values):.3f}")
print(f"Smallest / largest p:   {p_values.min():.5f} / {p_values.max():.3f}")

Here H₁ is true (μ = 32, not 30), but the effect is small (d ≈ 0.19). With n = 40 only about 23% of studies reach p < 0.05 — more than three out of four studies miss a real effect. The median p is 0.22. This is the power problem.

यहाँ H₁ सच है (μ = 32, 30 नहीं), पर effect छोटा है (d ≈ 0.19)। n = 40 पर सिर्फ़ लगभग 23% studies में p < 0.05 आता है — चार में से तीन से ज़्यादा studies असली effect चूक जाती हैं। Median p = 0.22. यही power की समस्या है।

这里 H₁ 为真（μ = 32，而不是 30），但效应很小（d ≈ 0.19）。n = 40 时只有约 23% 的研究达到 p < 0.05 —— 四项研究中有三项以上错过了真实效应。p 的中位数是 0.22。这就是检验力问题。

import numpy as np
from scipy import stats

# 20 tests on pure noise, repeated 10,000 times
rng = np.random.default_rng(3)
k, reps, n, alpha = 20, 10_000, 30, 0.05
a = rng.normal(0, 1, (reps, k, n)); b = rng.normal(0, 1, (reps, k, n))
p = stats.ttest_ind(a, b, axis=2).pvalue           # shape (reps, k)

print(f"Average false positives per 20 tests:      {(p < alpha).sum(axis=1).mean():.2f}")
print(f"P(at least one p < 0.05)  — no correction: {(p < alpha).any(axis=1).mean()*100:.1f}%")
print(f"P(at least one p < 0.05/20) — Bonferroni:  {(p < alpha / k).any(axis=1).mean()*100:.1f}%")

p-value vs Confidence Interval — Two Sides of One Coinp-value vs Confidence Interval — एक सिक्के के दो पहलूp 值 vs 置信区间 — 一枚硬币的两面

For the usual t-test, a p-value and a confidence interval are built from the same numbers, so they always agree. But the interval also shows how big the effect is and how precisely it is known — so it usually tells you more.

आम t-test में p-value और confidence interval एक ही संख्याओं से बनते हैं, इसलिए हमेशा सहमत होते हैं। पर interval यह भी दिखाता है कि effect कितना बड़ा है और कितनी सटीकता से पता है — इसलिए यह आम तौर पर ज़्यादा बताता है।

对常见的 t 检验，p 值和置信区间由同样的数字构造，所以总是一致。但区间还能显示效应有多大、估计有多精确 —— 因此通常信息更多。

Golden RulesGolden Rules黄金法则