技术交流:策略

Jono,

我没有指出的一点是，样本应该反映人口的混合情况。如果你的样本是随机的，并且紧密地反映了整个人群的构成，那么你确实可以将每个站点的样本扩大到150，并且有95%的把握，结果将反映+/- 5%以内的人群。这就是统计的结果。当然，如果+/-5%的误差太大(就像如果两个样本的结果重叠，如果你加上+/-5%，那么它们看起来是一样的)，那么就需要更多的抽样。但是，如果你分别取150个样本，结果是邮件a有20%的回复，邮件B有40%的回复，那么你可以95%肯定邮件B更好。然而，如果你想对邮件B的结果做出推断，如果你把它发送给你的人群(比如说，1,000,000)，那么你只能说，在95%的置信度下，人群的回复率将在32%到48%之间。(误差幅度为8%)。如果你想纠正这个问题，使推断的误差在+/-5%以内，那么每个样本中都需要384个样本。如果你想要+/-1%(95%置信水平)，你需要9513个。如果你想在误差不超过1%的情况下获得99%的置信度，那么你需要每个数据都有16,317个置信度。

然而，在误差范围和置信水平的边界内，你当然可以用一个群体中小到150万到100万的样本或整个宇宙中的整个受访者群体来扩大结果……如果样本是随机的，并且反映了宇宙的总体(确保你包含了足够多的ET)。

Wayde

这是一个有趣的线索，我学到了很多。谢谢大家的插话。

Wayde:谢谢你在讨论中引入误差幅度。如果我理解正确的话，听起来我可以使用这样的计算器来确定在我的电子邮件列表上运行测试的误差范围?

https://www.americanresearchgroup.com/sams.html

举个例子，如果我有一个500人的电子邮件列表，用主题行A向250人的随机样本发送邮件活动，主题行B向另外250人的随机样本发送邮件，并且打开率的差异大于5%的误差范围，我得到了一个有效的测试?

Jono,

不完全是。你的测试在每个测试中有250个样本是有效的。事实上，在95%的置信度下，每个样本中有250个样本，您可以检测到+/-4%的差异。然而，你上面链接的计算器将允许你测试一个样本，并为你提供所需的样本量，以确保你的样本结果反映总体(只要样本中的成员反映总体，随机抽取，等等)。

我认为我发送的那个(但我发现它不起作用)可以让你在得到结果时测量两个样本的误差范围和置信水平，当你达到预期的误差范围时，你可以停止。我认为这个链接对你有用:

https://www.dimensionresearch.com/resources/calculators/ztest.html

但是，让我来帮你想一下!当您发现两个样本是不同的——其中一个具有更高的打开率——您将希望知道该打开率的估价值。如果您的总体中有128,063人或更多，则每组中需要384人，以便样本结果反映+/-5%范围内的总体结果，置信度为95%。250会有6.19%的误差。如果这样可以，那就顺其自然吧。否则，使用384。用这个计算器进行单个样本测试，而不是你发布的那个:

https://www.raosoft.com/samplesize.html

明白吗?


Wayde

马太福音谈到了善变。根据他对善变的定义，“用户会因为天气、新闻、是否周四而变得很善变”，这种被称为善变的行为是随机的。我向你保证，当我们计算样本量并确定可以做出的推论时，统计数据完全理解随机性。统计学是基于过程的随机性质，如果过程不是随机的，统计学就不会起作用。

让我们这样看:如果你有四种反应:
1)那些觉得主题有趣又开放的人
2)发现主题无趣而不打开的人
3)不小心打开邮件，但发现主题不有趣的人
4)觉得主题有意思但不打开的人

3和4是错误。错误是随机的。如果我们取150人的样本，3和4在整个人群中的误差变化是相同的，那么有些人今天会打开它，因为他们觉得这个主题有趣，明天就不会打开了，因为随机事件阻止了他们。同样的，有些人今天不打开邮件是因为邮件主题无趣，明天又不小心打开了。因此，今天随机抽取150人的样本，明天会反映出同样的结果，即使同一个人今天和明天的行为不同。另一个人会有不同的表现，弥补随机的行为。

我在上面的帖子中解释的统计数据是有效的——前提是样本是随机抽取的，并且在样本中导致错误的行为是随机的。在这种情况下，我相信这是真的。我们的直觉反应是，要了解人口，需要大量的信息。事实上，更多的数据意味着样本结果更接近地反映总体(例如，95%确定你在总体结果的+/- 5%范围内)。然而，统计数据告诉我们我们还有多远。我们是否在抽样上投入更多以获得更精确的数据取决于数据的价值以及我们如何使用它，而不是更多抽样的成本(时间和金钱)。如果你有无限的预算，那就永远尝试。如果你没有，那么抽样，直到你达到抽样成本与精确度的收益递减。

Wayde

不用说，我在大学里没有上过统计学课程，所以我想确保我没有弄错。

假设我的电子邮件列表上有15818个人。我在给我那些过世的捐款人发募捐邮件。版本A是没有图片的申诉，版本B是有图片的申诉。

我将版本A随机发送给7902人，其中692人点击了我的捐赠按钮。
我将版本B随机发送给7916人，其中582人点击了我的捐赠按钮。

假设我在用计算器(https://www.dimensionresearch.com/resources/calculators/ztest.html)正确，看起来我可以有99.9%的信心评级，认为版本a每次都将优于版本B。

我说对了吗?

谢谢:)

好工作!你做得很好!是的，没错。现在，如果你想要推断如果你向128,063人或更多的人发送电子邮件，选项A会有多好，你可以使用:

https://www.raosoft.com/samplesize.html

你可以说，选项A的结果是95%的置信度，人口打开率是8.76% +/- 1.1%。

Wayde

韦德-向前一步，后退一步。

我不太明白你是怎么用的www.raosoft.com/samplesize.html以确定选项A将导致95%的置信度，人口打开率将为8.76% +/- 1.1%。

请告知?

没问题。在下面的第三个方框中，将人口规模设置为1,000,000。其他一切保持不变。在页面底部，在“备用场景”下-如果您将“100”更改为7902。下面是1.1%。这是95%置信度的误差范围。你的A选项比例是8.76%。(692/7902)。因此，从这个样本中，你可以有95%的信心说，对于1,000,000或更高的种群，“开放”的总体平均值将是8.76% +/- 1.1%。

Wayde

你的名单上有15818人。

对失足捐赠者的募捐呼吁。版本A没有图像，版本B有图像。

根据您的发现和计算，您有99.9%的信心评级，版本a (NO IMAGES)每次都将优于版本B，对吗?

呃?我说，这仅仅是基于一封邮件吗?如果是这样，那么，唉，亲爱的小伙子。我不这么认为。事实上。错了。原因如下:

许多人会说数字从不说谎。但这些人忘记了，数字可以用来歪曲结果，捏造假设和假设。在非营利性基金中，在支票兑现之前，什么都不要假设!然后计算你的成功。

对数字坚如磐石的信仰有极大的危险。

如果你给那些参加过你的非营利性活动(黑领结活动、开幕式、舞会等)的人发送邮件，他们更倾向于积极地回复你的带有图片的邮件，因为这些图片显示了和他们一样的人，也就是说，和他们社会群体、经济背景等相同的人，都过得很开心。

这是人的本性，老伙计:物以类聚。

同样地，如果你发送的邮件与节日或公认的日子有关(万圣节，7月4日，女王的生日，等等)，并且邮件显示了以前万圣节活动的人，同样，收件人会看到这些图像，然后看到他们自己在做那件事并采取那项行动，因为现在，他们有了你包含的图像的参考框架。

混合你的信息和图片的比例，并将这些图片与一个事件，一个主题，或以前的经历(收件人玩得很开心，或者他们认识的人和照片中的人玩得很开心)联系起来，向更少的人发送更小的邮件，你会得到不同的结果。

当你发送邮件时，邮件内容、邮件内容、或者邮件在人们脑海中描绘的画面同样重要。

我希望这个观点不会把事情弄得太离谱，但值得记住的是，一个人永远不应该假定自己的数字没有说谎。

引用本杰明·迪斯雷利的话(这句话后来被马克·吐温推广开来)“有谎言，该死的谎言，还有统计数据。”

祝你好运。

加里纰漏
威尔明顿，德，美国
mr.garybloomer

毫无疑问，统计数据是万恶之源。在最早的基督教、伊斯兰教、犹太教和佛教文献中，当提到邪恶时，会给出百分比——作者95%确信85%以上的统计学家是邪恶的。

我相信穴居人在RockProfs上发表过一个讨论，说火也不好。毕竟，如果不小心使用，可能会伤害到你。如果鲁莽使用，它可以摧毁整个文明。它还可能被恶意使用。然而，当小心翼翼的穴居人蜷缩在寒冷之中时，一些学会了如何正确使用火并理解所有必要的注意事项的人却在屋里，温暖无比。

在几乎每一项科学进步中，统计学都被用作决策和降低风险的工具。如果没有统计数据，我们可能不会登上月球——至少在9年内，而且在这个过程中至少不会损失几十个人。但是，还有一些穴居人不相信我们成功登上了月球。你正在阅读这篇文章的电脑——如果没有统计学的使用，可能就不可能制造出来。嗯，它不会像现在这么小，也不会那么便宜。你接收信号的互联网——电信是基于统计的。

然而，就像火一样，统计只是一种工具。统计学的定义是:收集、组织和解释数字数据的数学。统计学不能取代科学、理性或常识。我们都听过这样的讽刺:如果我把手放进一桶冰和一桶沸水中，我的身体平均温度是50摄氏度。

通过起草一堆问题并将其发送给大量潜在受访者并使用由此产生的统计数据来进行“调查”是愚蠢的。调查问题有设计指南，只有经过多个步骤的重点测试和试点过程后，任何有知识和受人尊敬的市场研究人员才会发布这样的调查。来自调查的数据将被仔细分析许多参数，包括相互关联，偏差等。

这样的调查很少会成为研究的唯一工具。市场研究有两个分支——定量研究和定性研究。我们一直在讨论定量分支。在定量研究中，调查和相关统计等工具通常基于属性数据。属性数据是Yes/No，或者“从七个选项中选择评级”。虽然管理每个数据点的成本较低，但信息的价值较低。需要更多的样本才能有统计学意义的数据。定量统计的另一个分支使用可变数据。可变数据被测量，如速度或长度。在电子邮件营销活动中，很难想出任何有意义的变量数据来衡量。 But, if we could, we'd need much a smaller sample size than we could with attributes data - like some place around 70 max ever.

至于市场研究的另一方面，定性方面，这个分支依赖于一对一的测试。想想焦点小组。使用多种不同的方法，直接的反馈和观察可以使理解更加全面。正如garybloomer先生所建议的，与少数客户的对话比从一百万受访者那里得到的调查结果更有价值，因为你可以问你想问的问题，然后，如果你需要澄清——“为什么”——你也可以问。你的回答会让你有一个更全面的了解。定性数据在早期尤其重要。进行一系列的焦点小组测试可以帮助制定基于结果的电子邮件“规则”。然而，定性研究有两个利弊:首先，它很昂贵。第二，正因为如此，很难覆盖一个具有代表性的群体，这样你就可以确定测试中的个体是整个群体的代表。一般来说，定性统计是用来提出假设，定量统计是用来证明。 So we'd do focus group testing initially, develop some ideas, and then prove those ideas using a survey across a broad sample. In the case of an email where there are content questions - proportion of pictures and kinds of images, wording of calls to action, etc - the survey may be split into many more splits than two so that you can look at these aspects. Another area of statistics would be employed - experimental design - and sample sizes of each "split" would be determined that way.

然而，并不是所有的事情都需要一遍又一遍地进行统计测试。使用“最佳实践”通常是最好的途径，因为这些最佳实践可能已经被证明过了，再次测试它们是一种资源浪费。所以，从了解和使用最佳实践开始，如果有你不知道的实践，就进行测试。加里布卢姆和其他人讨论了许多最佳实践。

如果这里的问题真的是“如何提高我的打开率”，答案是更严格地遵循最佳实践。事实上，问题是，如果人口少于5万，分割测试在统计学上是否相关。统计相关性是“可测试的”，意味着一些非常精确的东西。并且在满足所有条件的前提下，分裂检验具有统计相关性。网络研讨会给予者声明的另一部分，“使用最佳实践”——正如其他人所说，为什么不使用最佳实践而不考虑分割测试呢?

请注意，当我讨论统计推论时，我使用了精确的语言来陈述结果:“在99.9%的置信度下，样本a的打开率高于样本b。”此外，在95%的置信度下，真实的人口打开率将为8.76% +/-1.1%。我也明确了条件。该样本必须是随机抽取的，并能代表整个人口。“随机”有说明符。想象一下“把15000个名字放在帽子里，然后把它们画出来。”至于样本在多大程度上代表了总体，有统计学检验。

然而，这一切都回到了数据的价值。一般来说，您将进行统计测试，直到数据的成本等于它的价值。用经济学术语来说，当数据的边际值为零时，就停止测试。此外，如果你的整个人口是500人(甚至可能是15,000人)，考虑与他们每个人交谈而不是“测试”的可能性。如果人口是10万或100万，那么这是不可能的。

因此，这应该足以将世界完全分化为“善”和“恶”两派，甚至可能将一些人转变为邪恶一方，为大战做准备。或者至少可以帮助一些失眠症患者。

Wayde