因果关系与分析的实例研究论文

Trustworthy Online Controlled Experiments Part 2 Chap 11

为什么重要

随机对照实验是确定因果关系的金标准，但有时无法进行这样的实验。很多公司都在大量的收集数据，尽管信任度较低，但观察性因果关系研究还是可用于评估因果关系。如果无法进行在线控制的实验，那么了解可能进行的实验和常见的陷阱还是很有用的。

如果用户将手机从iPhone切换到三星，对产品参与度有何影响？如果我们强行退出，有多少用户回来？如果将优惠券作为业务模型的一部分引入，对收入会产生什么影响？对于所有这些问题，分析目标是发现因果关系。这需要将受干预人群的结果与未干预人群的结果进行比较。 “因果推论的原理”（瓦里安，2016年）为：

并表明，将实际影响（对被治疗人群的影响）与反事实（对未治疗人群的影响）进行比较是确定因果关系的关键。

对照实验是评估因果关系的金标准，因为在将样本随机分配的情况下，第一项是观察到的治疗和对照之间的差异，第二项是预期值为零。

但是，有时无法运行适当控制的实验。这些情况包括：

在上述情况下，最好的方法通常是使用证据层次较低的多种方法来评估效果，也就是说，使用多种方法来回答问题，包括小规模的用户体验研究，调查和观察性研究。有关其他几种技术的介绍，请参见第10章。

在本章中，我们的重点是估计观察性研究的因果效应，我们将其称为观察性因果研究。一些书，例如Shadish等。 （2001年），术语“观察性（因果）研究”是指没有干预受试者的研究，术语“准实验设计”是指将样本分配给不同干预组但分配不是随机的研究。有关更多信息，请参见Varian（2016）和Angrist and Pischke（2009，2014）。请注意，我们将观察性因果研究与更一般的观察性或回顾性数据分析区分开来。两者都基于历史日志数据，观察性因果关系研究的目标是尝试尽可能接近因果关系结果，而正如第10章所讨论的，回顾性数据分析有不同的目标，它包括从总结分布到发现某些行为模式的普遍性，分析可能的指标以及寻找可以受控实验中进行测试的假设。

观察型因果关系研究有如下挑战：

中断间序列（ITS）是一种准实验设计，可以在其中控制系统中的变量，但不能随机化干预方案以进行适当的控制和干预。取而代之的是，将相同的人群用于控制和治疗，并且随着时间的推移，会改变人群的体验。

具体来说，它会在一段时间之内多次测量干预，以创建一个模型，该模型可以在干预后为感兴趣的指标提供一个反事实估计值 。干预后，进行多次测量，并将治疗效果定义为指标的实际值与模型预测的值之间的平均差（Charles and Melvin 2004，130）。简单ITS的一种扩展是引入干预，然后将其逆转，可以选择重复多次此过程。例如，使用多种治疗干预措施，估计警用直升机监视对家庭入室盗窃的影响，几个月以来，实施了几次监视并撤回了几次。每次实施直升机监视，入室盗窃的数量都会减少。每次取消监视，入室盗窃的数量都会增加（Charles and Melvin 2004）。在在线环境中，一个类似的例子是了解在线广告对与搜索相关的网站访问的影响。注意，可能需要复杂的建模来推断干预影响，可以用贝叶斯结构时间序列分析（Charles and Melvin 2004）。

观察性因果研究的一个常见问题是，当存在某种混杂的影响时，需要排除这种干扰的影响。 ITS最常见的混淆是基于时间的影响，因为实验要在不同的时间点进行比较。季节性是明显的例子，但是其他潜在的系统更改也可能造成混淆。来回更改多次将有助于降低这种可能性。使用ITS时的另一个问题是用户体验：用户会注意到他们的体验来回翻转吗？如果是这样，那么这种缺乏一致性可能会以某种方式使用户烦恼或沮丧，这种影响可能不是由于更改而是由于不一致引起的。

交错实验设计是用于评估排名算法更改（例如在搜索引擎中或在网站上进行搜索）的常用设计（Chapelle等人，2012； Radlinski和Craswell，2013）。假设在一个交错实验中，有两个排序算法X和Y。算法X将按该顺序显示结果 而算法Y将显示 。交错实验会散布混合在一起的结果，例如 并删除重复的结果。

一种评估算法的方法是比较两种算法结果的点击率。尽管这是功能强大的实验设计，但其适用性受到限制，因为结果必须同质。如果通常情况下，如果第一个结果占用更多空间或影响页面的其他区域，那么结果就会比较复杂。

回归不连续性设计（RDD）是一种方法，只要有明确的阈值可以识别干预人群，就可以使用该方法。基于该阈值，我们可以通过将刚好在阈值以下的人口识别为对照，并与 刚好 在阈值之上的人口进行比较来减少选择偏误。

例如，当获得奖学金时，容易识别出接近获奖者（Thistlewaite and Campbell 1960）。如果奖学金的阈值是80分，则认为分数 刚好高于80 的治疗组与分数 刚好低于80 的对照组相似。但是当参与者可能影响施加在他身上的干预时，该假设就会被违反；例如，如果“治疗”适用于及格分数，但学生能够说服老师“怜悯及格”（McCrary 2008）。（学生干预了对学生的评分）

使用RDD的一个示例是评估饮酒对死亡的影响：21岁以上的美国人可以合法饮酒，因此我们可以按生日查看死亡，如图所示。 “死亡率风险会在二十一岁生日那天突然爆发……相对于基线水平，那一天的死亡数会升高100~150例。 21岁的飙升似乎并不是通常遇到的的生日聚会效应。如果这一高峰仅反映了生日聚会，那么其他相近年岁的生日也应该出现类似的变化（20,22岁），但这并没有发生（Angrist和Pischke，2014年）。

就像上面的例子一样，一个关键问题还是混杂因素。在RDD中，阈值不连续性可能会受到共享同一阈值的其他因素的污染。例如，一项关于酒精影响的研究选择了21岁的法定年龄作为阈值，这一事实也可能被污染，因为这也是合法赌博的法定年龄。（21岁是合法喝酒和赌博的法定年龄，因此无法区分）

当存在生成分数的算法并且基于该分数的阈值发生某些事情时，RDD最常适用。请注意，当这种情况在软件中发生时，虽然一种选择是使用RDD，但这种情况也很容易使其适用于随机对照实验，或两者的某种混合体（Owen和Varian 2018）。

工具变量（IV）是一种试图近似随机分配的技术。具体而言，目标是确定一种工具，使我们能够近似随机分配（自然实验中自然发生）（Angrist和Pischke 2014，Pearl 2009）。

例如，为了分析退伍军人与非退伍军人之间的收入差异，越南战争征兵抽签类似于将个人随机分配给军队；特许学校的座位是通过抽签分配的，因此对于某些学习来说可能是不错的选择。在这两个示例中，抽签均不能保证出席率，但对出席率影响很大。然后通常使用两阶段最小二乘回归模型来估计效果。

有时，可能会发生“好于随机”的自然实验。在医学上，单卵双生子允许进行双生子研究作为自然实验（Harden等人，2008； McGue 2014）。在研究社交网络或对等网络时，进行受控实验可能具有挑战性，因为由于成员之间的交流，其效果可能不会受到治疗人群的限制。但是，通知队列和消息传递顺序是自然实验的类型，可以利用它们来了解干预的影响。

这里的另一类方法是构造可比较的“控制和干预”人群，通常是按照常见的干扰因素对用户进行细分，类似于分层抽样。这样做的目的是确保对照人群和治疗人群之间的比较不会由于人群结构的变化而引起。例如，如果我们正在研究从Windows更改为iOS的用户的影响的外源性变化，我们要确保我们没有衡量人口的人口差异。

我们可以通过采用倾向得分匹配（PSM）来进一步采用这种方法，该方法不是匹配协变量上的单位，而是匹配一个数字：构造的倾向得分（Rosenbaum and Rubin 1983，Imbens and Rubin 2015）。这种方法已用于在线空间，例如，用于评估在线广告活动的影响（Chan等，2010）。关于PSM的主要问题是只考虑观察到的协变量，因此无法测量的因素可能会导致隐藏的偏见。 Judea Pearl（2009，352）写道：“ Rosenbaum和Rubin……在警告从业者时说的非常清楚，倾向得分仅在 '考虑了足够多的潜在因素' 条件下起作用。但是，他们没有意识到的是，仅仅警告人们注意自己无法识别的危险是不够的。”金和尼尔森（King and Nielsen，2018年）声称，PSM“结果往往和预期目标相反，从而加剧了不平衡，低效，模型依赖性和偏见。”

对于以上所有这些方法，关键问题是混淆因素 （confounding factors）。

上面的许多方法着重于如何发现与治疗组尽可能相似的对照组。鉴于此，一种衡量干预效果的方法是差异中的差异（DD或DID），假设存在共同趋势，则将差异归因于干预。特别是，这些群体“在没有治疗的情况下可能会有所不同，但会平行发展”（Angrist and Pischke 2014）。

基于地理位置的实验通常使用这种技术。您想了解电视广告对的作用。在一个DMA中投放电视广告，然后将其与另一个DMA进行比较。 如图所示，在时间T1对治疗组进行了更改。在T1之前和之后的T2分别对治疗和对照进行测量。假定对照组中两个时期之间的关注指标（例如OEC）之间的差异是为了捕获外部因素（例如，季节性，经济实力，通货膨胀），从而呈现出与实际情况相反的事实。将治疗效果估算为相关指标的差异减去同一期间内该指标的对照差异。

请注意，即使不进行干预，更改是外部发生的，也可以应用此方法。例如，当新泽西州的最低工资发生变化时，想要研究其对快餐店就业水平的影响的研究人员，将其与宾夕法尼亚州东部的情况进行了比较，宾夕法尼亚州的东部与新泽西州有很多共同点（Card and Krueger 1994）。

尽管有时观察性因果关系研究是最好的选择，但应注意一些陷阱（有关更详尽的列表，请参见Newcomer等人（2015年））。如上所述，进行观察性因果关系研究的主要陷阱，无论采用何种方法，都是意料之外的混杂因素，这些混杂因素会影响所测得的效果以及因果关系对利益变化的影响。由于这些混杂因素，观察因果关系研究需要付出很大的努力才能产生可信赖的结果。另外，有许多对观察因果关系研究的反驳（请参阅本专栏的“对观察因果关系研究的反驳”，以及本章后面的第17章）。

混淆的一种常见类型是无法识别的原因。例如，在人类中，手掌大小与预期寿命密切相关：平均而言，手掌越小，寿命就越长。但是，手掌较小和预期寿命较长的常见原因是性别：女性手掌较小，平均寿命更长（在美国大约为6年）。

再举一个例子，对于包括Microsoft Office 365在内的许多产品，遇到更多Bug的用户的的流失率通常会更低！但是，从直觉就可以判断出来， 肯定不是bug导致了用户更喜爱该产品。这种相关性是由于以下常见原因造成的：经常使用该产品的用户会看到更多错误，并且流失率更低。对于功能所有者来说，新功能用户流失率较低的情况并不少见，但这并不一定意味着新功能可以留住用户。也许是使用新功能的往往是重度用户， 这些用户很累流失， 倒是是哪一种原因？在这些情况下，要评估新功能是否确实可以减少客户流失，需要受控实验（并分别分析新用户和老用户）。

要注意的另一个陷阱是虚假或欺性的关联。欺性的相关性可能是由强烈的异常值引起的，例如，如图所示，营销公司可以声称其能量饮料与运动表现高度相关，并暗示因果关系：喝我们的能量产品，您的运动表现将会改善（Orlin 2016）。

几乎总是可以找到虚假的相关性（Vigen 2018）。当我们检验许多假设时，并且当我们没有直觉来拒绝因果主张时，就像我们在上面的例子中那样，我们可能会相信它。例如，如果某人告诉你，他发现了一个因素，这个因素与被毒蜘蛛杀死有很强相关性（r = ） ，那么你可能会倾向于对这些信息采取行动。但是这个因素是National Spelling Bee 测试中单词的长度，如图，那你肯定不会试图缩短单词长度以减少死亡率，这是不合理的。

在真实世界中，即使采取了谨慎措施，也无法保证观察性因果研究中没有包含可能影响结果的其他因素。试图得出反事实以进行比较，并由此建立因果关系的准实验方法需要做出许多假设，其中任何一个都可能是错误的，并且某些假设是隐含的。错误的假设可能会导致实验缺乏内部有效性，同时，不合适的假设及其局限性，也会影响研究的外部有效性。如第1章所述，建立直觉可以帮助提高假设的质量，但是直觉并不能消除所有可能出现的问题。因此，建立因果关系的科学金标准仍然是受控实验。

要从观测数据中得出因果关系，需要多个无法测试且容易违背的假设。虽然后来许多随机对照实验证实了许多观察性因果关系研究（Concato，Shah和Horwitz 2000），其他的实验则被反驳了。约阿尼迪斯（Ioannidis，2005年）评估了来自高引研究的结果；在他的研究中包括六项观察性因果研究，其中五项无法重复。 Stanley Young和Alan Karr（2019）使用观察性因果研究（即非对照）和被认为更可靠的随机临床试验，比较了医学已发表结果，这些结果都是统计显著的。在12篇论文中的52项结果中，没有一项在随机对照试验中可重复。在52例中的5例中，在与观察因果关系研究相反的方向上具有统计学意义。他们的结论是：“来自观察性研究的任何说法非常有可能是错误的。”

在线领域的一个例子是如何衡量在线广告的有效性，换句话说，在线广告是否导致了品牌活动的增加甚至用户参与度的提高。通常需要观察性因果研究来衡量效果，因为干预（广告）和效果（用户注册或参与）通常位于不同的位置，因此在不同的控制范围内。 Lewis，Rao和Reiley（2011）比较了观察性因果研究相对于“黄金标准”对照实验所估计的在线广告的有效性，发现观察性因果研究大大高估了效果。具体来说，他们进行了三个实验。

首先，向用户显示广告（展示广告），研究的问题是：使用与广告中显示的品牌相关的关键字进行搜索的用户数量增加了多少？ 通过对5千万用户的观察性因果研究，包括3个带有Control变量的回归分析，估计的提升幅度为871％至1198％。该估计比通过对照实验测得的％的提升高出几个数量级。混淆因素是用户访问Yahoo!的常见原因。积极访问Yahoo!的用户在特定日期更有可能看到展示广告并执行Yahoo!搜索。广告的曝光率和搜索行为高度正相关，但展示广告对搜索的因果影响很小。(没太看明白原文的意思，附原文)

接下来，网站向用户展示了视频，问题是这些视频是否会导致活动增加。用户是通过Amazon Mechanical Turk招募的，其中一半暴露于宣传服务的30秒视频广告（即“治疗”），一半暴露于政治性视频广告（“对照”），其目的是衡量用户访问Yahoo!的活动是否有所增加。 研究人员进行了两项分析：

最后，在Yahoo!上向用户展示了一个广告系列。目的是评估观看广告的用户在观看广告当天是否更有可能在竞争对手的网站上进行注册。观察性因果研究对比了当天看了广告的用户以及这些用户一周之前的行为，而控制实验则对当天访问了Yahoo！ 看到和没看到那个广告的用户进行了比较。根据观察性因果研究的结论，与前一周相比，看过广告的用户更有可能在看到广告的那一天在竞争对手的网站上进行注册。但是，从对照实验中，实验人员观察到， 是否看广告对受试者的行为没有影响。该结果类似于我们之前对客户流失的错误的讨论：活跃的用户只是更有可能更活跃。这里，活跃度是一个混淆因素。

这只是一个故事。最近的一项比较研究还发现，观察性因果研究的准确性不如在线对照实验（Gordon et ）。我们在 上提供了更多故事，其中显示了常见的未知原因，时间敏感的混杂因素，人口差异导致缺乏外部有效性等示例。在使用观察性因果研究的时候， 一定要当心。

现实中的哲学 道这些不是关键，最重要的是将理论具体化、简单化。毛泽东在这方面可称得上是全能的大师。搞社会主义，前人研究了一百多年，只有马克思才系统的总结了一套革命理论。拿到中国来完全对号入座，那是机械的教条主义。陈独秀吃的就是这个亏。然毛泽东通晓中国历史体察民情，在革命理论和革命实践上，知国情、知自己、知国民党、知民众。这几个“知”字，正好是兵法“知己知彼”的原则，针对中国革命的特殊性：半封建、半殖民地，敌强我弱，要将无产阶级的理论变成现实，最重要的就是客观的分析敌我双方的客观实际，用自己的长处克制敌人的短处，这样革命才不至于空谈。结合革命理论，具体化到现实生活中的各个细节上，那样，理论也就成了具体的生活常识，谁都能看的懂，也会用，这样胜利就有了起码的保证了。 回想一下我们几十岁的生涯，其实也是从生活到工作很多地方结合自我实际走过来的，只是在每个细节上，过多的认识了自己的优点，忽略了或少看了他人的优点，时间长了也就形成了一个认识上的误区：以为自己是一盏明灯，总想照亮他人，却忘了我以外的东西闪光的地方很耀眼。这就犯了一个致命的错误：只知自己，不知他人。我们虽然不是在硝烟弥漫的战场中厮杀，但人生之路也到处充满了火药味，兵法上说，知自己，知对方，才能百战不殆，联系到我们的人生，之所以走到今天的地步，正是不知己，也不知彼的结果。 社会是一个动态环境，其中每个人都在运动之中，所以我们的认识论最基本的要求应该是活的，行为的方法论也应该多样化。拿着真理，最好不要视为“纯金”的，因为我们面前的诸事、诸人都是在变化之中，今天你用“真理”对上号了，那么“真理”就有价值；明天对不上号了，那“真理”也就成了谬误。战争的形式有两种：一是，阵地战；一是，运动战。在征战中究竟用那种形式，最后的胜利者往往取决于根据客观实际，采取最有效的策略。我们的人生大体也是如此：今天的成就，说明“知和行”统一在一条线上了，但不能预示明天的结果，明天是什么样子，还要待以后去验证。 很多时候，对诸事、诸人，常常用既有的“模式”套着来认识，这是常人的认识论。正如同你自己的一顶帽子，逢人便拿将出来，不去看人家脑袋的大小，楞往上戴，肯定合适的成分少，不合适的成分多，这叫什么？“唯心主义”吗！认识问题总喜欢从自己的角度出发，忘了在我之外，还有许多和我一样的人。战争中很多失败者，往往不在装备的好赖，不在兵少将寡，而在“发动战争的人”，是否充分的认识了所面临的客观实际，在于那些运作的人，如何把握时机，去争取胜利。若无视客观实际，用一种虚幻来指导行动，不打败仗才怪呢？ 我们学任何东西，不要“精益求精”，应该是“知其大略”即可，到了现在这个地步，我们已不可能成为专家，学者了，我们应该是现实生活中的人。很多琐碎的生活小事缠绕自身，想超越自我，重心应放在客观实际上来，在一言一行中能做到闪闪发光，实际也就是超越了自我。生活中的很多人，之所以不成功，恐怕都是那个“唯心主义”在做怪。有些时候，我们拿一种理论，一个知识去认识某一事物或某一个人，常常会发现那事物，那人很多地方不合于那个理论，那个常识，于是会得出：错、错、错的结论，这个结论是不是表面化了。 黑格尔讲，存在即为合理。也就是大千全世界，你存在我也存在，都有其合理之成分。这种既定的存在构成了大千世界的多彩性，若让人家用你的模式去思维、去办事，最关键的是，让人家都用你的模式去生存必须有个先天的条件，你必须掌握他人的生命线，如果这个条件不具备，我就是我，你还是你。 这些不正是哲学在我们生活之中吗？那深奥的理论一旦变成现实其光彩将照耀着人们前进。

用批判的眼光看社会----------浅谈马克思主义哲学唯物辨证法哲学是时代精神的精华，是人类思维和智慧的最高产物和结晶。哲学以其独有的方式引导人们深层次地思考自然、社会和人生。马克思主义哲学是科学的世界观和方法论，是现代文明的产物，是现时代的时代精神的精华，是人类优秀哲学思想的结晶。通过一学期的马哲学习，我知道了马克思主义哲学是科学的世界观和方法论，对其中阐述的哲学理念和思想精华有了一定的了解。但是，哲学博大精深，又因为自己的人生阅历有限，可能对它的了解只触及皮毛，对深层次的问题了解不够，在这只是浅谈马克思主义哲学。上大学来，随着年岁的增长和知识层次的加深及知识面的扩广，对书上的一些内容和观点有了自己的想法，也能够对其作出一些判断和评价。在接受马哲课本中一些诸如唯物论，辨证法的观点时，我觉得也应该对一些内容提出自己的一些疑问。俗语道：“思想是行动的先锋。”有了正确的思想作旗帜，我们的在工作、学习、生活中就有理可依，有矩可循。同时，马克思主义还作为我们党领导人民的思想指南，实践也证明它是经受得住考验的。时代是发展的，马克思主义哲学中的一些内容由于其时代局限性，我们也应该用发展的眼光去看待它，对其中一些观点予以思考再赋予其鲜明的时代特征，而不是要我们墨守成规地去接受其中的思想。每个人的观点都是不同的，教科书也是现实生活中的学者们编写的，毕竟有其不完善的地方，此谓“智者千虑，必有一失”吧。这就要求我们在学习过程中勤思考，多动脑去发现其中那些不完善的细节部分，将自己的一些观点多和老师同学们交流，从而达到在批判中学习，在思考中成长。如今，几乎整个人类都浸泡在经济的海洋中，思想的花朵开始枯萎，哲学成了不合时宜的“文物”。所以，“批判”这个带有浓重理性色彩的词语几乎被人们忘却，人们在现实生活中感性地体验着“竞争”的乐趣。但是，在近现代思想史上，“批判”一词曾经红火过，在今天回忆起这个词语，或许能够获得些微的学术乐趣。因为一个无批判和不再需要批判的时代，可能恰恰是从激烈的批判时代衍生而来的。我想老师出的关于批判性的题目也是想要我们静下心来，对课本以及身边的一些事进行辨证而又理性的思考吧！首先来看看“批判”在哲学家眼中的发展变化吧。在德国哲学家眼中，“批判”一词是倍受青睐的。自从康德用“三大批判”构建起哲学大厦以来，批判就成了哲学家手中的法宝。在黑格尔哲学解体的过程中，“青年黑格尔派”曾使批判泛滥过。在20世纪，法兰克福学派再一次滥用批判，把哲学批判发展到顶点，以致于再也无路可走了。法兰克福学派的社会批判理论是批判的终结，因为，这种批判对现实中的一切存在所作的绝对否定，使哲学不再是人类的理性，而完全成为哲学家愤世嫉俗的牢骚。其次是我对“批判”的一些观点。对一件事情为什么有的人持肯定意见也有的持否定意见呢？另外，即使是同一件事情同一个人也会产生两种截然不同的意见，为什么呢？这即是哲学上的辨证思想了。辩证法这个概念已经蕴含着否定的含义，即通过否定达到肯定。我们对周边发生的事情或者现象能提出自己批判性见解那代表着我们还在理性的思考，即使这种批判带着个人主义色彩，毕竟那也是我们自己的一种想法，人区别于其他动物的本质就在于人能理性的思考。同时我觉得辩证思考是一种尊重客观事实的思维方式，是关于社会和自然的对抗的普遍解释原则。当然，作为普遍解释原则的辩证法决不停留在对表层的解释上，而是要求对现实的内在联系作以批判性反思。拿身边的例子来说吧，针对当前学生中普遍的反日情绪及抵制日货的行为，部分自视理智的人便站出来指手画脚了，说作为当代大学生我们应该保持冷静，不应该感情用事，要拿出我们大学生应有的素质来对待这件事情。后者可谓是对前者行为的批判性思考了。然而，在想想呢，既然我们是热血澎湃的知识青年，日本以前对我们的侵略和迫害姑且不说，但是他在今天还不能就历史问题有个清醒而明确的表态，还不能反省他所犯下的历史罪行，同时还一再篡改日本历史教科书。请问这样的行为我们能容忍吗？此外，日本还不遵循国际法上的有关规定，对权属我国的东海大陆架和钓鱼岛也进行了一定程度上的霸占。再问这样的耻辱我们能一再的忍气吞声吗？最近，日本在不承认历史问题的前提下还要吼着成为联合国常任理事国，我想任何一个有点理性的中国人都不会同意的！总的说来，任何事情我们都要用辨证方法去思考，用批判的眼光（即用怀疑的眼光）去看问题，对事情的一个侧面进行质疑，从而可以看到事情的另一个侧面，这样就可以更全面更客观更准确的看待事情。这个是我以前自己写的作业，电脑里还存着，你看下，如果合适就给我分吧。毕竟咱复制粘贴是复制自家的东西。

哲学是门很深奥的学科，我之前写这种论文的时候~是看（哲学进展）这本OA期刊，你也可以去看下吧~下载些文献下来参考参考也是可以的