A/B 测试显著性 & 样本量计算器 — 免费在线工具

A/B 测试显著性 & 样本量计算器是 CintaBox 芯塔盒在线工具箱提供的免费在线工具：填对照组/实验组的访客数与转化数 → 用两比例 z 检验算出 p 值、是否统计显著、绝对/相对提升与提升的置信区间;再填基线转化率 + 最小可检测提升 + 显著性 + 统计功效 → 算每组所需样本量。产品/增长/运营/营销做 A/B 实验必备:判断「这版提升是真的还是碰运气」「实验要跑多少量才够」。精确 p 值与样本量依赖正态分布 CDF Φ 与其反函数 Φ⁻¹(无闭式, 要多项式逼近), AI 在对话里报的常不准且不可复现 → 确定性引擎才可信。与 edu/math/statistics(描述统计: 均值/方差)互补——本工具做推断统计(假设检验)。纯浏览器本地, 0 vendor, 不上传。 ⛔ v0.2 三处订正：①「把握度(1−p) 96.45%」这一栏是工具自己造出来的 —— 1−p 只是 p 值的补数，不是把握度也不是「B 更好的概率」；露馅之处可测：同一份数据只把单尾/双尾切一下，它从 **96.45% 跳到 98.23%**，而同一个事实的可信程度不该因为你事先选了单尾还是双尾就变。字段已删。②「95% 置信区间」在单尾模式下**不是 95%**：临界值原取 Φ⁻¹(1−α/tails)，单尾时是 1.6449，而 1.6449·SE 是一个 **90%** 的双尾区间。现在恒用双尾临界值，另给单侧下界。③ 新增 **Fisher 精确检验**与 z 检验**并排给**：实测 100000/2 vs 100000/9 → z 检验 p=0.034803 判**显著**、Fisher 精确 p=0.065422 判**不显著**，同一份数据结论相反。⛔ 不用「期望计数 ≥5 还是 ≥10」这种阈值替用户二选一 —— 把最小期望计数和两个 p 都摆出来。 ⭐ v0.3 光看 p 值永远看不出来的两件事：**偷看**（每收一批样本看一次 p、一显著就停）会把假阳性率从名义的 5% 抬到 —— 看 1 次 5.70%、看 10 次 **20.45%**、看 40 次 **30.45%**（两组真实转化率一模一样时的模拟，固定种子可复现，蒙特卡洛标准误一并显示）；**多变体**同时试 k 个，「至少错认一个」是 1−(1−α)^k，k=3 时是 **14.26%** 而不是 5%，并给出 Bonferroni 与 Šidák 校正后的门槛。**相对提升终于有了置信区间**（Katz 对数法）：⛔ 把绝对区间两端各除以基线是错的（那等于假装对照组没有抽样误差，区间偏窄）—— 实测 [1.698%, 66.178%] vs 那种除法的 [2.068%, 57.932%]。 ⭐⭐ v0.4 把「那 p 值到底是什么」这句话说完：新增 **P(B 更好)** （均匀先验的 Beta 后验封闭式，对数域求和），同一份数据 p=0.0355 而 **P(B 更好)=98.22%** —— 两个数不一样很正常，它们问的不是同一件事，界面上两个都给并写明各自在回答什么，⛔ 不做「贝叶斯说显著」这种翻译。封闭式与独立写的**蒙特卡洛交叉验证**（20 万次抽样，四组数据差 ~3e−4）。另加**功效曲线**（固定样本量反问「多大的提升才查得出来」，与样本量公式互为反函数）、**分享直链**（只带输入不带结论）与帮助弹窗。Node selfTest 34 → **108/0**，三轮变异 **13/22/32 条全红**；375px 实测无横向溢出。无需注册、无需安装软件，打开网页即可使用，处理全程在浏览器本机完成，文件不上传服务器。