黑箱社会：控制金钱和信息的数据法则
The Black Box Society The Secret Algorithms That Control Money and Information
在过去的10年间，通过隐藏技术获取的巨额财富让保密行为越来越具有诱惑性。在跃升为科技老大的过程中，Google公司一直在不遗余力地护卫着它的“秘密武器”——用于对网站进行排名的复杂算法。投资银行和对冲基金可以通过诱骗伎俩从卖家和买家那里获得数十亿美元的收益，因为这些卖家根本不清楚他们所持股份的价值，买家也不知道他们所购股份中存在的问题。
当我们点击一则打折广告时，很可能幕后就有一个程序正在计算如何进行额外加价，而加价的依据可能是我们所处的位置，也可能是我们正在使用的电脑（苹果电脑还是普通电脑），甚至可能是我们的法庭记录。不只是国家安全局渴望拥有一个庞大的数据库，市场营销者们也抱有同样的目标，他们希望利用无穷无尽的数据集来建立起关于我们的详细档案。
数据经纪商可以利用私密和公开信息，例如结婚、离婚、置业、投票或成千上万的其他事项来影响我们任何一个人的生活。法律禁止政府收集某些类型的信息，但数据经纪商并不受此限制。并且一旦信息被收集上来，政府便可以随意购买。于是，企业和政府在“数据监督”方面开始协同合作，并对个人生活的私密信息进行交易。
去哪儿揭秘”网站的事例就突出表现了这种不可预测性。如果这些评分规则不能公之于众，那么即使是循规蹈矩的公民也难免会陷入麻烦。当某个用户主动降低自己的信贷限额时，他可能只是想预防诈骗或者节约开支，可他也许不知道征信局会专门留意那些缩小自己信用额度的用户，于是他不但没有因为自己的谨慎而获得一个更高的信用评分，反而会惊讶地发现随之升高的“债信比”在不断地拉低他的评分。
由于1%的病人占据着5%以上的医保成本，而且5%的病人会占据将近一半以上的成本，所以保险商希望“优选出”那些健康的投保人，同时“筛选掉”患病概率大的人群。相对于为所有申请人投保的做法，“筛选”法可以大大提升保险商的利润。
相对于不良数据，不良推论可能会产生更大的问题。因为公司可以将它们以“意见”而非“事实”的形式加以呈现。我们可以对谎言提起诉讼，但对于意见却难以证其真伪，因此很难根据美国宪法第一修正案提出质询。例如
但试想，一位负责医疗案件的律师可能完全有能力处理有关区域项目整体协约（ZPIC）的事务，但由于他的简历中没有采用“区域项目整体协约”的缩写形式，而自动软件的搜索目标又恰好设置成了缩写形式，那么她就很可能连面试的机会都无法获得。她也许永远不会知道这个小小的失误就是造成她求职失利的主要或者是唯一的原因。
人们对于黑箱评分的持续焦虑表明，自然科学方法常常被错误地应用到社会领域。土木工程师们可能会使用来自1 000座桥梁的数据来评估接下来会有哪座桥倒塌；如今，数量分析专家们通过成百上千万笔交易来预测哪些用户可能违约。但不同的是，土木工程师的研究不会对桥梁构成影响，而信用评分系统一旦将某人定为高风险用户并随即提高贷款利率，那么就会增加这个客户的违约概率。另外，秘密评分的“科学”并没有采用科学的方法来提供核心保障：公开可测的公平化程序和监督。只要分析过程处于保密状态，社会歧视问题便会依然存在并且难以解决。
现在我们知道，美国政府一直都热衷于建立有关美国公民的“情报库”。美国国家安全局的过度干涉和不负责任的行为让人们感到非常愤怒。但我不想谈论这个问题，我们只看其中的一个方面：政府在勤于情报采集的过程中已经和许多利益集团建立了强大的秘密联盟，而这些利益集团关注的不是公众福祉，而是私人利益和个人成就。
军队和密探向来都隐秘行事，毕竟如俗语所言：口风不严战舰沉。然而，保密行为也会牵涉到利益问题。当Google在网络监测方面与国土安全部和美国国家安全局并肩作战时，它还用得着担心可能会违犯反垄断条款吗？就像那些“大到不可能倒闭”的银行一样，Google公司“在监测方面的地位太重要了”，以至于政府要对其维护到底。事实上，2013年的泄密文件已经揭示出，美国国家安全局（或英国的合作伙伴）曾与负责调查Google违反欧盟竞争法的官员进行过接洽。更多的资料显示，政府和企业之间不仅是交易关系，它们还在利益交换方面存在着一种隐秘的联姻关系。
人员流动的问题也很显著。有些政府官员会极力创造机会，以便将来能够在他们当前管辖的公司中谋职。很多安全局的官员在离开公共事业岗位后都会任职于收入颇丰的私营部门。“国土安全部——行业联合企业”对威胁认知进行着操纵，这不但符合公司的利益，也充盈了政府部门的钱袋。
虽然它们在极力营造一种中立氛围，但几大国际搜索平台都已经卷入了争议的旋涡，而争议的焦点就是它们的偏见和权力滥用问题。如果能够知道冲突何时发生以及如何解决，我们就会安心很多。但是大型公司拒绝披露任何有意义的信息，并且它们的决策过程都处于科技手段和定型化契约的掩盖之下。无论发生了什么，都不在我们目之所及的范围内。
当然，我刚刚建立起来的信心经不起推敲。Intex输出信息的稳定性完全取决于用户假设项目的有效性。”但如果不采纳这份30秒钟得出的计算机报告，我们就必须分析“数百页艰涩难懂的法律文件”，也许还需要进行大量的推算。难怪这个黑箱具有强大的吸引力了。由此促成的“自动化偏见”让人们以为，由机器驱动的软件系统能够提供比人工判断更好的结果。当出现一定程度的风险时，自动化偏见就会变为异想天开或者更加不切实际的愿望：通过大量使用模型的投机做法来验证瞬息万变的商业行为。
经济大萧条期间创建的美国证券交易委员会希望能够确保投资者对其承担的风险有着清晰的理解，但政府不想涉足评级和排名投资领域。因此，证券交易委员会注册了一家非营利性的私人信用评级机构，该机构成为国家认可的评级组织。穆迪、惠誉和标准普尔都是重要的国家认可的评级组织。它们将投资项目划分成若干等级，最高级别是超级安全（AAA），其次是投机性投资，再次，不客气地说就是垃圾债券。
到2008年，美国国际集团已经积累了数百亿美元的信用违约掉期产品组合，并高高兴兴地从想要对风险证券进行投保的公司那里收集了保费，而它的储备资金却和投保金额相差甚远。那些从美国国际集团购买了保险的公司自信地认为自己的资产有了保障，任何收益损失都会由美国国际集团的信用违约掉期承担。似乎美国国际集团这个私有企业可以履行联邦存款保险公司的公共职能，即投保项目全军覆没的情况下还可以全额赔付。
联邦政府同意收购该公司79.9％的股份，为了避免把美国国际集团前景堪忧的财务状况掺入自己的资产负债表中，他们最多只能购买这些股份。后来经过重新协商，美国国际集团获得了更加有利的紧急救助条款。最初的严厉条款帮助政府和企业成功躲避了舆论的抨击，而公众的注意力转移之后，他们就重新制定了更为宽松的条款。