pandas 使用t检验的A/B检验

yeotifhr 于 2023-10-14 发布在其他

关注(0)|答案(1)|浏览(117)

我正在运行一些模拟来测试对当前模型的更改，让我们将更改称为新算法。我的模型预测了两条可能路线之间的特定交易路线。成功率被定义为总成功/总交易。下面的格子有两列旧的和新的。旧算法具有14天的每日成功率，而新算法具有14天的每日成功率，
Q1.我想得出一个新算法是否优于旧算法的结论，我可以只比较14天的平均值，但我想运行一些统计措施。我已经写了下面的代码，但如果我交换新列和旧列，它仍然会产生相同的p值。我基本上想得出新的比旧的好的结论，但我认为这个测试告诉我，两种算法的结果是明显不同的。我需要一些帮助才能得出结论
Q2.我可以告诉我的结果（新旧差异B/w）的置信区间吗？

import pandas as pd
from scipy import stats

data = pd.DataFrame({
    'old': [74.9254,73.7721,73.6018,68.6855,63.4666,63.9204,70.6977,62.6488,67.8088,70.2274,71.1197,64.8925,73.1113,70.7065],  # Replace with your old algorithm results
    'new': [74.8419,73.7548,73.6677,68.9352,63.8387,64.1143,70.9533,62.6026,67.9586,70.7,71.1263,65.1053,72.9996,70.5899],
})

# Perform a paired t-test
t_statistic, p_value = stats.ttest_rel(data['new'], data['old'])

# Define your significance level (alpha)
alpha = 0.05

# Print the t-statistic and p-value
print(f"Paired t-statistic: {t_statistic}")
print(f"P-value: {p_value}")

# Compare p-value to the significance level
if p_value < alpha:
    print("Reject the null hypothesis. The new algorithm is performing significantly better.")
else:
    print("Fail to reject the null hypothesis. There is no significant difference between the algorithms.")

pandas

来源：https://stackoverflow.com/questions/77236080/a-b-testing-using-t-test

1条答案

按热度按时间

bweufnob1#

您已经正确地确定了应该使用配对t检验进行比较，因为您正在比较两个相关的组。我会按顺序回答你的问题
问题1：当你交换“新”和“旧”时，你得到相同的p值的原因是因为p值测试了均值相同的零假设。t统计量将改变符号，但p值保持不变。在你的例子中，重要的是t统计量的符号。如果它是正的，则表明新算法的平均值高于旧算法。如果它是负的，则表明旧算法的均值高于新算法。
因此，按照这种方式修改决策逻辑：

if p_value < alpha:
    if t_statistic > 0:
        print("Reject the null hypothesis. The new algorithm is performing significantly better.")
    else:
        print("Reject the null hypothesis. The old algorithm is performing significantly better.")
else:
    print("Fail to reject the null hypothesis. There is no significant difference between the algorithms.")

Q2：是的，您可以计算差异的置信区间。举例来说：

# Compute the difference and its standard error
difference = data['new'] - data['old']
se = difference.std() / (len(difference)**0.5)

# Compute the confidence interval
ci_low = difference.mean() - (se * stats.t.ppf(1 - (alpha / 2), len(difference) - 1))
ci_high = difference.mean() + (se * stats.t.ppf(1 - (alpha / 2), len(difference) - 1))

print(f"Confidence Interval (95%): ({ci_low:.4f}, {ci_high:.4f})")

在本例中，您计算了95%的置信区间，这对应于0.05的alpha水平。如果该区间不包含0，则提供了拒绝零假设的进一步证据（类似于p值检验）。此外，区间为两种算法的均值之间的差异提供了一个合理的值范围。

赞(0）回复(0）举报 2023-10-14

我来回答

pandas 使用t检验的A/B检验

1条答案

相关问题

热门标签

最新问答