Significance Level (α)

The Judge's Threshold ⚖️Judge की सीमा ⚖️法官的门槛 ⚖️

Picture a courtroom. The judge must decide how much evidence is "enough" to convict. Set the bar too low and innocent people go to prison. Set it too high and guilty people walk free. Before the trial begins, society agrees on a standard: "beyond reasonable doubt".

एक अदालत की कल्पना करें। Judge को तय करना है कि सज़ा के लिए कितना सबूत "काफ़ी" है। सीमा बहुत नीची रखें तो बेगुनाह जेल जाते हैं। बहुत ऊँची रखें तो दोषी छूट जाते हैं। मुक़दमा शुरू होने से पहले समाज एक मानक पर सहमत होता है: "संदेह से परे"।

想象一个法庭。法官必须决定多少证据才“足够”定罪。门槛太低，无辜者会入狱；门槛太高，罪犯会逍遥法外。审判开始前，社会已就一个标准达成共识：“排除合理怀疑”。

In statistics that threshold is the significance level, written α (alpha). You choose it before collecting data. It fixes how much evidence you need before you reject the null hypothesis H₀.

Statistics में वह सीमा significance level है, जिसे α (alpha) लिखते हैं। आप इसे data जुटाने से पहले चुनते हैं। यह तय करता है कि null hypothesis H₀ को reject करने से पहले कितना सबूत चाहिए।

在统计学中，这个门槛就是显著性水平，记作 α（alpha）。你要在收集数据之前选定它。它决定了拒绝原假设 H₀ 需要多少证据。

Most people meet α = 0.05 and never question it. Where did 0.05 come from? What does it really mean? What happens when you change it, and how should you choose it? This tutorial answers all of it — with stories, pictures, live simulations and code.

ज़्यादातर लोग α = 0.05 देखते हैं और कभी सवाल नहीं करते। 0.05 कहाँ से आया? इसका असली मतलब क्या है? इसे बदलने पर क्या होता है, और इसे कैसे चुनें? यह tutorial सबका जवाब देता है — कहानियों, तस्वीरों, live simulations और code के साथ।

大多数人见到 α = 0.05 就从不质疑。0.05 从何而来？它到底是什么意思？改变它会怎样？又该如何选择？本教程用故事、图片、实时模拟和代码一一解答。

Where Did α = 0.05 Come From? 📜α = 0.05 कहाँ से आया? 📜α = 0.05 从何而来？📜

The story of Ronald FisherRonald Fisher की कहानी罗纳德·费希尔的故事

In 1925 Ronald Fisher, a statistician at the Rothamsted agricultural research station in England, published Statistical Methods for Research Workers. Discussing the normal curve, he noted that a value beyond about 2 standard deviations happens by chance only about 1 time in 20, and that it is "convenient" to take this point as a limit for judging whether a difference is significant.

1925 में England के Rothamsted कृषि अनुसंधान केंद्र के statistician Ronald Fisher ने Statistical Methods for Research Workers प्रकाशित की। Normal curve पर बात करते हुए उन्होंने लिखा कि लगभग 2 standard deviations से आगे की value संयोग से सिर्फ़ लगभग 20 में 1 बार आती है, और किसी अंतर को significant मानने के लिए इस बिंदु को सीमा मानना "सुविधाजनक" है।

1925 年，英国洛桑农业研究站的统计学家罗纳德·费希尔出版了《研究工作者的统计方法》。在讨论正态曲线时，他指出超过约 2 个标准差的值仅凭偶然大约每 20 次出现 1 次，并认为把这个点作为判断差异是否显著的界限是“方便的”。

Fisher chose 1-in-20 as a handy rule of thumb for field experiments — did a new fertiliser really raise yields, or was it soil variation? Over the next century the 0.05 line spread from farming into medicine, psychology, economics and engineering, and became a near-universal default.

Fisher ने 1-in-20 को खेत के प्रयोगों के लिए एक आसान अंगूठा-नियम के रूप में चुना — क्या नए fertiliser ने सच में पैदावार बढ़ाई, या यह मिट्टी का बदलाव था? अगली सदी में 0.05 की रेखा खेती से medicine, psychology, economics और engineering तक फैल गई, और लगभग सार्वभौमिक डिफ़ॉल्ट बन गई।

费希尔选择“二十分之一”作为田间试验的简便经验法则 —— 新肥料是真的提高了产量，还是只是土壤差异？此后一百年，0.05 这条线从农业扩散到医学、心理学、经济学和工程学，几乎成了通用默认值。

What α Actually Means — Preciselyα का असली मतलब — सटीक रूप सेα 的确切含义

Many textbooks are vague here. Let us be exact. Setting α = 0.05 means four things:

कई किताबें यहाँ अस्पष्ट रहती हैं। सटीक बात करें। α = 0.05 रखने का मतलब चार बातें हैं:

很多教材在这里含糊其辞。我们说得精确些。设定 α = 0.05 意味着四件事：

α in Pictures — Understand Before the Maths 📊तस्वीरों में α — गणित से पहले समझें 📊图解 α — 先理解，再算数 📊

Choosing α means drawing lines on the H₀ curve. Everything beyond the lines is the rejection region, and its area is exactly α. A bigger α gives a bigger region: rejecting H₀ becomes easier, but false alarms become more common.

α चुनने का मतलब H₀ curve पर रेखाएँ खींचना है। रेखाओं के आगे सब कुछ rejection region है, और उसका area ठीक α है। बड़ा α बड़ा region देता है: H₀ reject करना आसान होता है, पर झूठे alarms ज़्यादा होते हैं।

选择 α 就是在 H₀ 曲线上画线。线外的一切都是拒绝域，其面积正好是 α。α 越大，区域越大：拒绝 H₀ 更容易，但误报也更常见。

α and the Two Types of Error 🎯α और दो तरह की Errors 🎯α 与两类错误 🎯

Choosing α is a trade-off between two kinds of mistake. The "right" α depends on which mistake costs more in your situation.

α चुनना दो तरह की ग़लतियों के बीच सौदा है। "सही" α इस पर निर्भर है कि आपकी स्थिति में कौन-सी ग़लती ज़्यादा महँगी है।

选择 α 是在两种错误之间权衡。“正确”的 α 取决于在你的情境中哪种错误代价更高。

Story 1 — The Nuclear Safety Inspector ☢️कहानी 1 — Nuclear Safety Inspector ☢️故事 1 — 核安全检查员 ☢️

An engineer monitors radiation dose at a nuclear plant. H₀: the average dose is within the safe limit (μ ≤ 50 mSv per year). She tests whether it has risen. What should α be? Compare the two mistakes:

एक engineer nuclear plant में radiation dose पर नज़र रखती है। H₀: औसत dose सुरक्षित सीमा में है (μ ≤ 50 mSv प्रति साल)। वह जाँचती है कि क्या यह बढ़ा है। α क्या हो? दोनों ग़लतियों की तुलना करें:

一位工程师监测核电站的辐射剂量。H₀：平均剂量在安全限值内（μ ≤ 每年 50 mSv）。她要检验剂量是否升高。α 应取多少？比较两种错误：

Here a miss is far worse than a false alarm. To lower β, she raises α — a monitoring screen might use α = 0.10, accepting more alarms to catch real problems sooner. (Real plants also use fixed action limits and many independent checks; this is a simplified example.)

यहाँ चूक, झूठे alarm से कहीं बुरी है। β घटाने के लिए वह α बढ़ाती है — एक monitoring screen α = 0.10 ले सकती है, असली समस्या जल्दी पकड़ने के लिए ज़्यादा alarms स्वीकार करते हुए। (असली plants तय action limits और कई स्वतंत्र जाँचें भी इस्तेमाल करते हैं; यह सरल उदाहरण है।)

在这里，漏报远比误报糟糕。为降低 β，她提高 α —— 监测筛查可能采用 α = 0.10，接受更多警报以便更早发现真实问题。（实际电站还会使用固定的行动限值和多重独立检查；这是简化示例。）

Story 2 — The Clinical Drug Trial 💊कहानी 2 — Clinical Drug Trial 💊故事 2 — 临床药物试验 💊

A company develops a new cancer drug. H₀: the drug does not extend survival. H₁: it does. Here the costs look different from the nuclear case:

एक कंपनी नई cancer दवा बनाती है। H₀: दवा जीवन नहीं बढ़ाती। H₁: बढ़ाती है। यहाँ क़ीमतें nuclear मामले से अलग दिखती हैं:

一家公司研发了一种新抗癌药。H₀：药物不能延长生存期。H₁：能。这里的代价与核电站情况不同：

Regulators therefore keep α small. The usual standard for a confirmatory trial is two-sided α = 0.05 (equivalent to one-sided 0.025). Traditionally the US FDA has also expected two such trials, or one trial with especially strong evidence — which makes the overall chance of a false approval far smaller than 5%.

इसलिए regulators α को छोटा रखते हैं। Confirmatory trial का आम मानक two-sided α = 0.05 है (one-sided 0.025 के बराबर)। परंपरागत रूप से US FDA ने दो ऐसे trials, या असाधारण मज़बूत सबूत वाले एक trial की भी उम्मीद रखी है — जिससे ग़लत मंज़ूरी का कुल chance 5% से बहुत कम हो जाता है।

因此监管机构会把 α 定得较小。确证性试验的常用标准是双侧 α = 0.05（相当于单侧 0.025）。传统上，美国 FDA 还要求两项这样的试验，或一项证据特别有力的试验 —— 这使错误批准的总体概率远低于 5%。

Story 3 — The Particle Physics Standard 🔬कहानी 3 — Particle Physics का मानक 🔬故事 3 — 粒子物理的标准 🔬

In July 2012, CERN announced the discovery of the Higgs boson. Did they use α = 0.05? Not even close. Particle physics uses the "5-sigma" standard: the result must be more than 5 standard deviations from what background noise alone would give. That is a one-sided α of about 2.9 × 10⁻⁷ — roughly 1 in 3.5 million.

July 2012 में CERN ने Higgs boson की खोज की घोषणा की। क्या उन्होंने α = 0.05 लिया? बिल्कुल नहीं। Particle physics "5-sigma" मानक इस्तेमाल करती है: नतीजा सिर्फ़ background शोर से मिलने वाले मान से 5 standard deviations से ज़्यादा दूर होना चाहिए। यह लगभग 2.9 × 10⁻⁷ — मोटे तौर पर 35 लाख में 1 का one-sided α है।

2012 年 7 月，欧洲核子研究中心宣布发现希格斯玻色子。他们用的是 α = 0.05 吗？差得远。粒子物理采用“5σ”标准：结果必须比仅由背景噪声产生的结果偏离超过 5 个标准差。这对应的单侧 α 约为 2.9 × 10⁻⁷ —— 约 350 万分之一。

Why so strict? Physicists search for bumps across many energy ranges and channels, so some bump will appear somewhere by chance — the "look-elsewhere effect". Hidden measurement errors are also hard to rule out. And a claim of a new particle is extraordinary, so it needs extraordinary evidence. (CERN's two experiments, ATLAS and CMS, each reached about 5 sigma independently.)

इतना सख़्त क्यों? Physicists कई energy ranges और channels में उभार ढूँढते हैं, इसलिए संयोग से कहीं न कहीं कोई उभार दिखेगा — "look-elsewhere effect"। छिपी माप-ग़लतियों को भी पूरी तरह हटाना मुश्किल है। और नए कण का दावा असाधारण है, इसलिए असाधारण सबूत चाहिए। (CERN के दोनों प्रयोग, ATLAS और CMS, अलग-अलग लगभग 5 sigma तक पहुँचे।)

为什么这么严格？物理学家在许多能量区间和通道中寻找“凸起”，所以某处总会偶然出现一个凸起 —— 即“别处效应”。隐藏的测量误差也难以完全排除。而且宣布新粒子是非同寻常的主张，需要非同寻常的证据。（欧洲核子研究中心的两个实验 ATLAS 和 CMS 各自独立达到了约 5σ。）

α vs p-value — The Most Common Confusionα vs p-value — सबसे आम उलझनα vs p 值 — 最常见的混淆

Students often mix up α and the p-value. They are different things, and confusing them leads to wrong conclusions.

छात्र अक्सर α और p-value को मिला देते हैं। ये अलग चीज़ें हैं, और इन्हें मिलाने से ग़लत निष्कर्ष निकलते हैं।

学生常把 α 和 p 值混为一谈。它们是不同的东西，混淆会导致错误结论。

Worked Comparison — Same Data, Three Values of αहल की गई तुलना — वही Data, α के तीन मान对比例题 — 同样数据，三个 α

A marketing team tests a new website design on 500 users. A right-tailed z-test gives z = +1.75. Watch how the conclusion depends on α.

एक marketing team 500 users पर नया website design जाँचती है। Right-tailed z-test से z = +1.75 आता है। देखें कि निष्कर्ष α पर कैसे निर्भर है।

营销团队在 500 名用户上测试新网站设计。右侧 z 检验得到 z = +1.75。看结论如何取决于 α。

How to Choose Your α — A Field Guideअपना α कैसे चुनें — एक Field Guide如何选择 α — 实用指南

α, Sample Size and Statistical Powerα, Sample Size और Statistical Powerα、样本量与检验力

α, sample size n and power (1 − β) are tied together — with the effect size, they form the four corners of every study design.

α, sample size n और power (1 − β) आपस में जुड़े हैं — effect size के साथ ये हर study design के चार कोने हैं।

α、样本量 n 和检验力（1 − β）相互关联 —— 加上效应量，它们构成每个研究设计的四个角。

Python ImplementationPython ImplementationPython 实现

Critical values for common α — including 5σ and GWASआम α के critical values — 5σ और GWAS समेत常用 α 的临界值 —— 含 5σ 与 GWAS

from scipy import stats

print(f"{'alpha':>10} {'two-tailed z*':>14} {'one-tailed z*':>14}")
for a in [0.10, 0.05, 0.01, 0.001]:
    print(f"{a:>10} {stats.norm.ppf(1 - a/2):>14.3f} {stats.norm.ppf(1 - a):>14.3f}")

# Particle physics: "5 sigma" is a one-sided tail beyond z = 5
p5 = stats.norm.sf(5)
print(f"\n5-sigma: alpha = {p5:.2e}  (about 1 in {1/p5:,.0f})")
# Genomics (GWAS): 0.05 / 1,000,000 tests
print(f"GWAS threshold 0.05/1e6 = {0.05/1e6:.0e} -> z* = {stats.norm.ppf(1 - 5e-8/2):.2f}")

One result, several α — the three storiesएक नतीजा, कई α — तीनों कहानियाँ一个结果，多个 α —— 三个故事

from scipy import stats

def decide(stat, p, alphas):
    for a in alphas:
        print(f"   α = {a:<6} → {'REJECT H₀' if p < a else 'fail to reject H₀'}")

# Story 1 — nuclear plant, right-tailed z-test (σ known)
z = (53.2 - 50) / (12 / 36 ** 0.5)
p = stats.norm.sf(z)
print(f"Nuclear: z = {z:.2f}, p = {p:.4f}")
decide(z, p, [0.10, 0.05, 0.01])

# Story 2 — drug trial, right-tailed one-sample t-test on 25 paired differences
t = 4.2 / (6.5 / 25 ** 0.5)
p = stats.t.sf(t, df=24)
print(f"\nDrug: t = {t:.3f}, df = 24, p = {p:.4f}")
decide(t, p, [0.05, 0.01, 0.001])

# Story 3 — A/B test, right-tailed z
z = 1.75
p = stats.norm.sf(z)
print(f"\nA/B: z = {z:.2f}, p = {p:.4f}")
decide(z, p, [0.10, 0.05, 0.01])

α really is the false-positive rate — simulationα सच में false-positive दर है — simulationα 就是假阳性率 —— 模拟

import numpy as np
from scipy import stats

# 100,000 experiments where H₀ is TRUE. How often do we reject?
rng = np.random.default_rng(42)
n, reps = 30, 100_000
x = rng.normal(0, 1, (reps, n))
p = stats.ttest_1samp(x, popmean=0, axis=1).pvalue

for a in [0.10, 0.05, 0.01, 0.001]:
    print(f"α = {a:<6} false-positive rate = {np.mean(p < a)*100:6.2f}%")

The price of a smaller α: power and sample sizeछोटे α की क़ीमत: power और sample size更小 α 的代价：检验力与样本量

from scipy import stats

# Power of a right-tailed z-test: true effect δ = 2.5 standard errors
delta = 2.5
print(f"{'alpha':>7} {'power':>7} {'beta':>7}")
for a in [0.10, 0.05, 0.01, 0.001]:
    power = stats.norm.sf(stats.norm.ppf(1 - a) - delta)
    print(f"{a:>7} {power*100:6.1f}% {(1-power)*100:6.1f}%")

# Sample size per group for 80% power, two-sided, effect d = 0.5
for a in [0.05, 0.01]:
    n = 2 * ((stats.norm.ppf(1 - a/2) + stats.norm.ppf(0.80)) / 0.5) ** 2
    print(f"α = {a}: about {n:.0f} people per group for 80% power (d = 0.5)")

Many tests: family-wise error and Bonferroniकई tests: family-wise error और Bonferroni多重检验：族错误率与 Bonferroni

# Family-wise error rate: chance of at least one false positive in m tests
for m in [1, 5, 20, 100]:
    raw = 1 - (1 - 0.05) ** m
    bon = 1 - (1 - 0.05 / m) ** m
    print(f"m = {m:>3}: no correction {raw*100:5.1f}%   Bonferroni (α/m = {0.05/m:.4f}) {bon*100:4.1f}%")

The Golden Rules of αα के Golden Rulesα 的黄金法则