What is Correlation

The Story That Explains Correlationवह कहानी जो Correlation समझाती है一个讲清相关性的故事

A city council notices that on days when more ice cream is sold, more people drown. A worried councillor proposes banning ice cream to save lives.

एक city council देखती है कि जिन दिनों ज़्यादा ice cream बिकती है, उन दिनों ज़्यादा लोग डूबते हैं। एक चिंतित councillor जान बचाने के लिए ice cream पर रोक लगाने का प्रस्ताव रखता है।

市议会发现：冰淇淋卖得多的日子，溺水的人也多。一位忧心忡忡的议员提议禁售冰淇淋来挽救生命。

Correlation is a number that measures how strongly two variables move together. Knowing what it shows — and what it cannot show — is a core data-science skill.

Correlation एक संख्या है जो मापती है कि दो variables कितनी मज़बूती से साथ चलते हैं। यह क्या दिखाता है — और क्या नहीं दिखा सकता — यह जानना data science का एक मुख्य कौशल है।

相关系数是一个数字，衡量两个变量一起变化的紧密程度。知道它能说明什么、不能说明什么，是数据科学的核心技能。

Correlation in Pictures — Understand Before the Mathsतस्वीरों में Correlation — गणित से पहले समझें图解相关性 — 先理解，再算数

Where does r come from? Draw a line through the mean of x and the mean of y. Every point then makes a box with the centre. Points in the top-right or bottom-left give a positive box (green); points in the other two corners give a negative box (red). r is the total of these boxes, scaled so it always lands between −1 and +1.

r आता कहाँ से है? x के mean और y के mean से lines खींचें। हर point केंद्र के साथ एक box बनाता है। ऊपर-दाएँ या नीचे-बाएँ के points positive box (हरा) देते हैं; बाक़ी दो कोनों के points negative box (लाल)। r इन boxes का कुल जोड़ है, scale किया हुआ ताकि हमेशा −1 और +1 के बीच रहे।

r 是从哪来的？过 x 的均值和 y 的均值各画一条线。每个点都和中心围成一个方块。右上或左下的点构成正方块（绿色）；另外两个角的点构成负方块（红色）。r 就是这些方块的总和，经过缩放后始终落在 −1 到 +1 之间。

What Is Correlation?Correlation क्या है?什么是相关性？

Correlation measures the strength and direction of the relationship between two numerical variables. Pearson's r measures the straight-line part of that relationship: when one variable goes up, does the other tend to go up or down — and how consistently?

Correlation दो numerical variables के रिश्ते की ताक़त और दिशा मापता है। Pearson का r उस रिश्ते का सीधी-line वाला हिस्सा मापता है: जब एक variable बढ़ता है, तो क्या दूसरा बढ़ता या घटता है — और कितनी लगातार?

相关性衡量两个数值变量之间关系的强度和方向。Pearson r 衡量其中的直线部分：一个变量上升时，另一个倾向于上升还是下降 —— 有多一致？

The Correlation Coefficient (r)Correlation Coefficient (r)相关系数 r

The Pearson correlation coefficient, written r, is the most common measure. It is always between −1 and +1.

Pearson correlation coefficient, जिसे r लिखते हैं, सबसे आम माप है। यह हमेशा −1 और +1 के बीच होता है।

Pearson 相关系数记作 r，是最常用的度量，永远在 −1 到 +1 之间。

The cut-offs are rules of thumb, and real values change from study to study. A "weak" r can still matter in medicine or finance; a "strong" r can still be useless if the relationship is not causal.

ये सीमाएँ अंगूठा-नियम हैं, और असली values हर study में बदलती हैं। "कमज़ोर" r भी medicine या finance में मायने रख सकता है; "मज़बूत" r भी बेकार हो सकता है अगर रिश्ता causal न हो।

这些分界只是经验法则，真实数值因研究而异。“弱”的 r 在医学或金融中仍可能很重要；“强”的 r 如果不是因果关系，也可能毫无用处。

Step-by-Step CalculationStep-by-Step गणना分步计算

A teacher records study hours and exam scores for 5 students:

एक teacher 5 छात्रों के study hours और exam scores लिखता है:

老师记录了 5 名学生的学习时长和考试分数：

Python ImplementationPython ImplementationPython 实现

Manual calculationहाथ से गणना手动计算

import math

x = [2, 4, 6, 8, 10]       # study hours
y = [50, 60, 72, 80, 95]   # exam scores

n = len(x)
x_mean = sum(x) / n
y_mean = sum(y) / n

numerator   = sum((xi - x_mean) * (yi - y_mean) for xi, yi in zip(x, y))
denom_x     = sum((xi - x_mean) ** 2 for xi in x)
denom_y     = sum((yi - y_mean) ** 2 for yi in y)
denominator = math.sqrt(denom_x * denom_y)

r = numerator / denominator
print(f"Sum of products: {numerator:.1f}")
print(f"Sum of squares:  x = {denom_x:.1f}, y = {denom_y:.1f}")
print(f"Pearson r: {r:.4f}")

Using NumPyNumPy से使用 NumPy

import numpy as np

x = [2, 4, 6, 8, 10]
y = [50, 60, 72, 80, 95]

# np.corrcoef returns a correlation matrix
corr_matrix = np.corrcoef(x, y)
r = corr_matrix[0, 1]   # [0,0] and [1,1] are always 1.0 (self-correlation)

print(f"Pearson r: {r:.4f}")
print("Full correlation matrix:")
print(np.round(corr_matrix, 4))

Using pandas on a DataFrameDataFrame पर pandas से在 DataFrame 上使用 pandas

import pandas as pd

df = pd.DataFrame({
    'study_hours':   [2, 4, 6, 8, 10, 3, 7, 5, 9, 1],
    'exam_score':    [50, 60, 72, 80, 95, 55, 78, 65, 88, 40],
    'sleep_hours':   [8, 7, 7, 6, 5, 8, 6, 7, 5, 9],
    'anxiety_level': [3, 4, 4, 6, 7, 3, 5, 4, 8, 2],
})

r = df['study_hours'].corr(df['exam_score'])
print(f"Study hours vs exam score: r = {r:.4f}")

print("Full correlation matrix:")
print(df.corr().round(3))

With 10 students instead of 5, r is 0.9963. Notice how strongly sleep and anxiety are linked to study hours in this tiny made-up table — real data is rarely this tidy.

5 की जगह 10 छात्रों के साथ r = 0.9963 है। ध्यान दें कि इस छोटी बनाई हुई table में नींद और anxiety, study hours से कितनी मज़बूती से जुड़े हैं — असली data शायद ही कभी इतना साफ़ होता है।

换成 10 名学生后，r = 0.9963。注意在这张虚构的小表里，睡眠和焦虑与学习时长的关联有多强 —— 真实数据很少这么整齐。

Visualising with a scatter plotScatter plot से दिखाना用散点图可视化

import matplotlib.pyplot as plt
import numpy as np

x = [2, 4, 6, 8, 10]
y = [50, 60, 72, 80, 95]
r = np.corrcoef(x, y)[0, 1]

fig, ax = plt.subplots(figsize=(7, 4.5))
ax.scatter(x, y, color='#378add', s=100, zorder=3, edgecolors='white', linewidths=1)

m, b = np.polyfit(x, y, 1)                       # straight line of best fit
x_line = np.linspace(min(x) - 0.5, max(x) + 0.5, 100)
ax.plot(x_line, m * x_line + b, color='#f59e0b', linewidth=2, linestyle='--',
        label=f'Trend line: y = {m:.1f}x + {b:.1f}')

for xi, yi, lb in zip(x, y, ['Alice', 'Bob', 'Carol', 'Dan', 'Eve']):
    ax.annotate(lb, (xi, yi), textcoords='offset points', xytext=(8, -12),
                fontsize=9, color='#888780')

ax.set_title(f'Study Hours vs Exam Score  (r = {r:.3f})', fontsize=13)
ax.set_xlabel('Study hours'); ax.set_ylabel('Exam score')
ax.legend(); ax.grid(alpha=0.3)
plt.tight_layout(); plt.show()

print(f"Slope: {m:.2f} marks per extra hour, intercept: {b:.2f}")

Real-World Stories — Why Correlation Is Not Causationअसली कहानियाँ — Correlation, Causation क्यों नहीं真实故事 — 为什么相关不等于因果

When two variables are correlated, there are four common explanations. Only the first is "X causes Y":

जब दो variables correlated हों, तो चार आम कारण होते हैं। सिर्फ़ पहला "X, Y का कारण है" है:

两个变量相关时，常见的解释有四种，只有第一种是“X 导致 Y”：

Story 1 — The sunscreen paradoxकहानी 1 — Sunscreen का विरोधाभास故事 1 — 防晒霜悖论

A study finds that regions with higher sunscreen sales also have higher skin-cancer rates. A headline says: "Sunscreen causes cancer."

एक study पाती है कि जिन इलाक़ों में sunscreen ज़्यादा बिकती है, वहाँ skin cancer भी ज़्यादा है। Headline कहती है: "Sunscreen से cancer होता है।"

一项研究发现，防晒霜销量越高的地区，皮肤癌发病率也越高。标题写道：“防晒霜致癌。”

Story 2 — Netflix and shoe sizeकहानी 2 — Netflix और shoe size故事 2 — Netflix 和鞋码

Imagine a dataset of children and adults in which bigger shoe sizes go with more Netflix hours (r = +0.71). Should Netflix target large-footed customers?

कल्पना करें कि बच्चों और बड़ों के एक dataset में बड़े shoe size के साथ ज़्यादा Netflix घंटे आते हैं (r = +0.71)। क्या Netflix को बड़े पैरों वाले customers को target करना चाहिए?

设想一个包含儿童和成人的数据集，鞋码越大，看 Netflix 的时间越长（r = +0.71）。Netflix 应该瞄准大脚顾客吗？

Story 3 — Support tickets and revenueकहानी 3 — Support tickets और revenue故事 3 — 客服工单与收入

An e-commerce company finds a strong correlation (r = +0.82) between support tickets and revenue. A manager suggests cutting support to reduce tickets and save money.

एक e-commerce company support tickets और revenue के बीच मज़बूत correlation (r = +0.82) पाती है। एक manager tickets घटाने और पैसा बचाने के लिए support काटने का सुझाव देता है।

一家电商公司发现客服工单数与收入强相关（r = +0.82）。一位经理建议削减客服，以减少工单、节省开支。

Removing a confounder in PythonPython में confounder हटाना在 Python 中去除混杂变量

import numpy as np

rng = np.random.default_rng(1)
temp = rng.uniform(15, 40, 365)                            # daily temperature, °C
ice_cream = 20 * temp + rng.normal(0, 60, 365)             # sales depend on heat
drownings = 0.15 * temp + rng.normal(0, 0.8, 365)          # swimming depends on heat

print(f"r(ice cream, drownings) = {np.corrcoef(ice_cream, drownings)[0, 1]:.2f}")

# Control for temperature: remove what temperature explains, correlate the rest
def residuals(v, z):
    slope, intercept = np.polyfit(z, v, 1)
    return v - (slope * z + intercept)

partial = np.corrcoef(residuals(ice_cream, temp), residuals(drownings, temp))[0, 1]
print(f"Partial r, controlling for temperature = {partial:.2f}")

This is a partial correlation: regress each variable on temperature, keep the leftovers (residuals) and correlate those. The raw r of 0.74 falls to 0.03.

यह partial correlation है: हर variable को temperature पर regress करें, बचा हुआ हिस्सा (residuals) रखें और उनका correlation निकालें। Raw r 0.74 से गिरकर 0.03 हो जाता है।

这就是偏相关：把每个变量对气温做回归，保留剩下的部分（残差），再计算残差之间的相关。原始 r 从 0.74 降到 0.03。

Pearson vs Spearman — Which to Use?Pearson vs Spearman — कौन सा इस्तेमाल करें?Pearson vs Spearman — 用哪个？

Pearson measures linear association. Spearman ranks both variables first and then applies Pearson to the ranks, so it measures monotonic association — "when x goes up, does y go up (or down), at any rate?"

Pearson linear रिश्ता मापता है। Spearman पहले दोनों variables को rank करता है और फिर ranks पर Pearson लगाता है, इसलिए यह monotonic रिश्ता मापता है — "x बढ़ने पर क्या y किसी भी रफ़्तार से बढ़ता (या घटता) है?"

Pearson 衡量线性关联。Spearman 先把两个变量转成名次，再对名次计算 Pearson，所以它衡量的是单调关联 ——“x 上升时，y 是否（以任意速度）上升或下降？”

from scipy import stats

x = [2, 4, 6, 8, 10, 3, 7, 5, 9, 1]                   # study hours
y = [50, 60, 72, 80, 95, 55, 78, 65, 88, 40]          # exam scores

pearson_r, pearson_p = stats.pearsonr(x, y)
spearman_r, spearman_p = stats.spearmanr(x, y)
print(f"Pearson r  = {pearson_r:.4f}  (p = {pearson_p:.2e})")
print(f"Spearman ρ = {spearman_r:.4f}  (p = {spearman_p:.2e})")

# Add one student who studied 12 hours but was ill on exam day
x2, y2 = x + [12], y + [30]
print(f"\nWith one outlier → Pearson r = {stats.pearsonr(x2, y2)[0]:.4f}, "
      f"Spearman ρ = {stats.spearmanr(x2, y2)[0]:.4f}")

In this data the exam score rises every time study hours rise, so the ranks match perfectly: Spearman ρ = 1.0000 exactly. One sick student (12 hours, 30 marks) drags Pearson from 0.996 to 0.35 — Spearman drops too, to 0.50, so "robust" does not mean "unaffected".

इस data में study hours बढ़ने पर हर बार exam score बढ़ता है, इसलिए ranks पूरी तरह मेल खाते हैं: Spearman ρ ठीक 1.0000 है। एक बीमार छात्र (12 घंटे, 30 marks) Pearson को 0.996 से 0.35 तक खींच देता है — Spearman भी गिरकर 0.50 हो जाता है, यानी "robust" का मतलब "अप्रभावित" नहीं।

在这组数据中，学习时长每增加一次，考试分数都随之上升，所以名次完全一致：Spearman ρ 正好等于 1.0000。一个生病的学生（学 12 小时，考 30 分）就把 Pearson 从 0.996 拉到 0.35 —— Spearman 也降到 0.50，可见“稳健”不等于“不受影响”。

Is the Correlation Real? p-values and Sample Sizeक्या Correlation असली है? p-values और Sample Size相关是真的吗？p 值与样本量

from scipy import stats
import numpy as np

# Small sample: r = 0.6 from just 6 points
x_small = [1, 2, 3, 4, 5, 6]
y_small = [3, 5, 2, 6, 4, 7]
r_s, p_s = stats.pearsonr(x_small, y_small)

# Large sample: about the same r from 100 points
rng = np.random.default_rng(42)
x_large = rng.uniform(1, 10, 100)
y_large = 0.6 * x_large + rng.normal(0, 2, 100)
r_l, p_l = stats.pearsonr(x_large, y_large)

print(f"Small sample (n=6):   r = {r_s:.3f}  p = {p_s:.3f}")
print(f"Large sample (n=100): r = {r_l:.3f}  p = {p_l:.2e}")

# 95% confidence interval for r (scipy >= 1.9)
for name, res in [('n=6', stats.pearsonr(x_small, y_small)), ('n=100', stats.pearsonr(x_large, y_large))]:
    ci = res.confidence_interval(0.95)
    print(f"{name:<6} 95% CI for r: {ci.low:.2f} to {ci.high:.2f}")

Same r, very different certainty. With 6 points the 95% confidence interval for r runs from −0.41 to 0.95 — the true correlation could even be negative. With 100 points it is 0.47 to 0.72.

एक जैसा r, पर निश्चितता बहुत अलग। 6 points पर r का 95% confidence interval −0.41 से 0.95 तक है — असली correlation negative भी हो सकता है। 100 points पर यह 0.47 से 0.72 है।

同样的 r，可信程度天差地别。6 个点时，r 的 95% 置信区间是 −0.41 到 0.95 —— 真实相关甚至可能是负的。100 个点时则是 0.47 到 0.72。

Correlation Matrix — Many Variables at OnceCorrelation Matrix — एक साथ कई Variables相关矩阵 — 同时看多个变量

Real datasets have many columns. A correlation matrix shows r for every pair at once, and a heatmap makes it easy to scan.

असली datasets में बहुत से columns होते हैं। Correlation matrix हर जोड़े का r एक साथ दिखाती है, और heatmap इसे देखना आसान बनाता है।

真实数据集有很多列。相关矩阵一次展示每一对变量的 r，热力图让人一眼扫完。

import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
import numpy as np

rng = np.random.default_rng(42)
n = 100

df = pd.DataFrame({
    'study_hours': rng.uniform(1, 12, n),
    'sleep_hours': rng.uniform(4, 9, n),
    'anxiety':     rng.uniform(1, 10, n),
})
# Build realistic relationships
df['exam_score'] = (df['study_hours'] * 6 + df['sleep_hours'] * 3
                    - df['anxiety'] * 2 + rng.normal(20, 6, n)).clip(0, 100)
df['salary_k'] = (df['exam_score'] * 0.4 + rng.normal(30, 8, n)).clip(20, 120)

corr = df.corr().round(2)
print(corr)

fig, ax = plt.subplots(figsize=(7, 5.5))
sns.heatmap(corr, annot=True, fmt='.2f', cmap='coolwarm', vmin=-1, vmax=1, center=0,
            square=True, linewidths=0.5, ax=ax)
ax.set_title('Correlation Matrix — Student Data', fontsize=13)
plt.tight_layout(); plt.show()

Four Warnings About CorrelationCorrelation के बारे में चार चेतावनियाँ关于相关性的四个警告

Warning 1 — Anscombe's quartetचेतावनी 1 — Anscombe's quartet警告 1 — Anscombe 四重奏

In 1973, statistician Francis Anscombe built four small datasets with the same means, the same correlation (r ≈ 0.816) and the same best-fit line — but completely different pictures.

1973 में statistician Francis Anscombe ने चार छोटे datasets बनाए, जिनके means, correlation (r ≈ 0.816) और best-fit line एक जैसे थे — पर तस्वीरें बिल्कुल अलग।

1973 年，统计学家 Francis Anscombe 构造了四个小数据集，它们的均值、相关系数（r ≈ 0.816）和最佳拟合直线都相同 —— 画出来却截然不同。

import matplotlib.pyplot as plt
import numpy as np
from scipy import stats

x123 = [10, 8, 13, 9, 11, 14, 6, 4, 12, 7, 5]
datasets = [
    (x123, [8.04, 6.95, 7.58, 8.81, 8.33, 9.96, 7.24, 4.26, 10.84, 4.82, 5.68]),
    (x123, [9.14, 8.14, 8.74, 8.77, 9.26, 8.10, 6.13, 3.10, 9.13, 7.26, 4.74]),
    (x123, [7.46, 6.77, 12.74, 7.11, 7.81, 8.84, 6.08, 5.39, 8.15, 6.42, 5.73]),
    ([8, 8, 8, 8, 8, 8, 8, 19, 8, 8, 8],
     [6.58, 5.76, 7.71, 8.84, 8.47, 7.04, 5.25, 12.50, 5.56, 7.91, 6.89]),
]

fig, axes = plt.subplots(2, 2, figsize=(9, 7))
for i, (ax, (x, y)) in enumerate(zip(axes.flatten(), datasets), 1):
    r = np.corrcoef(x, y)[0, 1]
    m, b = np.polyfit(x, y, 1)
    ax.scatter(x, y, color='#378add', s=60, zorder=3)
    xs = np.array([3, 20])
    ax.plot(xs, m * xs + b, color='#f59e0b', linewidth=1.5, linestyle='--')
    ax.set_title(f'Dataset {i}  (r = {r:.3f})', fontsize=11)
    ax.set_xlim(2, 21); ax.set_ylim(2, 14); ax.grid(alpha=0.3)
    rho = stats.spearmanr(x, y)[0]
    print(f"Dataset {i}: mean y = {np.mean(y):.2f}, r = {r:.3f}, "
          f"line y = {m:.2f}x + {b:.2f}, Spearman ρ = {rho:.3f}")

plt.suptitle("Anscombe's Quartet — same r, completely different data", fontsize=13)
plt.tight_layout(); plt.show()

Warning 2 — Non-linear relationshipsचेतावनी 2 — Non-linear रिश्ते警告 2 — 非线性关系

import numpy as np
import matplotlib.pyplot as plt
from scipy import stats

rng = np.random.default_rng(0)
x = np.linspace(-3, 3, 100)
y = x ** 2 + rng.normal(0, 0.2, 100)     # a U-shape plus a little noise

print(f"Pearson r  = {np.corrcoef(x, y)[0, 1]:.4f}")
print(f"Spearman ρ = {stats.spearmanr(x, y)[0]:.4f}")

fig, ax = plt.subplots(figsize=(7, 4))
ax.scatter(x, y, color='#378add', s=30, alpha=0.7)
ax.set_title(f'y ≈ x² — strong relationship, but r = {np.corrcoef(x, y)[0, 1]:.3f}')
ax.set_xlabel('x'); ax.set_ylabel('y'); ax.grid(alpha=0.3)
plt.tight_layout(); plt.show()

Warning 3 — Sample size mattersचेतावनी 3 — Sample size मायने रखता है警告 3 — 样本量很重要

See Section 9: with few points, r jumps around a lot, and chance alone can produce a large r. Always report n (and ideally a confidence interval) with r.

Section 9 देखें: कम points पर r बहुत उछलता है, और सिर्फ़ संयोग से बड़ा r बन सकता है। r के साथ हमेशा n (और हो सके तो confidence interval) बताएँ।

见第 9 节：点少时 r 波动很大，仅凭偶然就可能得到很大的 r。报告 r 时一定附上 n（最好再加置信区间）。

Warning 4 — Correlation does not tell you the slopeचेतावनी 4 — Correlation slope नहीं बताता警告 4 — 相关系数不告诉你斜率

Correlation in Machine LearningMachine Learning में Correlation机器学习中的相关性

Feature selection — find highly correlated featuresFeature selection — बहुत correlated features ढूँढना特征选择 — 找出高度相关的特征

import pandas as pd
import numpy as np

rng = np.random.default_rng(0)
n = 200
df = pd.DataFrame({
    'age':         rng.integers(22, 65, n),
    'performance': rng.uniform(1, 10, n),
    'team_size':   rng.integers(2, 20, n),
    'salary':      rng.normal(60, 15, n),
})
df['years_exp']   = (df['age'] - 22 - rng.integers(0, 6, n)).clip(0)   # tied to age
df['monthly_pay'] = df['salary'] / 12                                   # same info as salary

corr = df.corr().abs()
upper = corr.where(np.triu(np.ones(corr.shape), k=1).astype(bool))
pairs = upper.stack().sort_values(ascending=False)
print("Most correlated pairs:")
print(pairs.head(3).round(3))

to_drop = [col for col in upper.columns if (upper[col] > 0.85).any()]
print(f"\nFeatures to consider dropping: {to_drop}")

monthly_pay is just salary / 12 (r = 1.000), and years_exp is almost fully determined by age (r = 0.991). Each pair carries nearly the same information.

monthly_pay बस salary / 12 है (r = 1.000), और years_exp लगभग पूरी तरह age से तय है (r = 0.991)। हर जोड़े में लगभग एक ही जानकारी है।

monthly_pay 就是 salary / 12（r = 1.000），years_exp 几乎完全由 age 决定（r = 0.991）。每一对携带的信息几乎相同。

Golden RulesGolden Rules黄金法则