B在2012年，谷歌以为我是个男人。
让我倒回去。当年1月，这家搜索巨头发布了一项新的隐私政策，首次试图将用户的使用数据从其一系列产品(包括谷歌搜索、Gmail、谷歌日历、YouTube等)汇总到一个个人资料中。这种变化引起一场轰动,内外科技圈,结果,用户聚集到“广告偏好”部分的概要文件,在谷歌上市类别用户似乎感兴趣,推断从他们的网络使用模式“电脑和电子产品,”或“养育”。除了这些类别，谷歌还列出了它认为你的年龄范围和性别。它以为我是个男人，大概在35岁到44岁之间。我28岁。
很快，我意识到不仅仅是我:我的职业圈子里有很多女性在推特上议论这件事——都被贴上了男性的标签。女性作家也是如此Mashable，科技媒体网站;玛丽苏，从女性主义的角度涵盖极客流行文化;和《福布斯》，商业杂志。那么，我们所有人有什么共同点呢?我们的搜索历史充斥着网络开发、金融和科幻等主题。换句话说，我们像男人一样搜索。至少谷歌是这么想的。
谷歌所做的事情现在在科技产品中已经司空见惯:它使用了代理。代理是真实知识的替代物——类似于设计师用来代替真实受众的人物角色。但在本例中，我们讨论的是代理数据:当你没有想要的用户信息时，你需要使用数据来推断该信息。在这里，谷歌想要追踪我的年龄和性别，因为广告商对这些信息非常重视。但由于谷歌当时没有人口统计数据，它试图从它拥有的大量数据中推断出这些事实:我的行为数据。
然而，这种代理的问题在于，它依赖于假设——随着时间的推移，这些假设会越来越根深蒂固。因此，如果你的模型根据它过去的所见所闻，假设大多数对科技感兴趣的人都是男性，那么它就会将访问科技网站的用户编码为男性更有可能。一旦这一假设被接受，它就会扭曲结果:女性被错误地贴上男性标签的频率越高，看起来就越像是男性主导着科技网站——而且系统开始更强烈地将科技网站的使用与男性联系起来。
代理人“定义他们自己的现实，并用它来证明他们的结果。”
简而言之，随着时间的推移，代理数据实际上会使系统的准确性降低，而不是提高，甚至您都没有意识到这一点。然而，存储在我们身上的很多数据都是代理数据，从邮政编码被用来预测信誉，到SAT分数被用来预测青少年的驾驶习惯。
谷歌经常搞错性别，这并不重要;毕竟，它只是利用这些信息来提供更“相关”的广告。如果我们大多数人宁愿无视广告，谁会在乎呢?但考虑一下潜在的后果:例如，谷歌经常将2012年在科技行业工作的女性编码为男性，那么它可能扭曲了科技出版物读者人数的数据，使其看起来比实际更男性化。运营媒体网站的人密切关注他们的受众数据，并利用它来做决定。如果他们相信他们的观众比他们自己更多的是男性，他们可能会想，“好吧，也许女性只是不太关心技术”——这是一个他们以前肯定听过的论点。这可能会扭曲出版物对科技公司性别差距的报道，让它们更多地关注“管道”，而不是将女性拒之门外的结构和文化问题。毕竟，如果不存在对科技感兴趣的女性，雇主怎么能雇用她们呢?
当然，这只是理论上的:我不知道谷歌在当时是否经常搞错性别，我也不知道这对人们对科技行业的看法有多大影响。但这就是问题所在:谷歌也没有。数据科学家凯西·奥尼尔(Cathy O’neil)在书中写道，代理通常是不精确的数学毁灭武器．更糟糕的是，他们会自我延续:他们“定义自己的现实，并用它来证明自己的结果。”
现在，谷歌觉得我不再是个男人了。在过去五年的某个时候，它对我进行了整理(这并不奇怪，因为谷歌现在对我有了更多的了解，包括我是否经常购买裙子和搜索发型的想法)。但这并不能阻止其他科技公司依赖代理，包括Facebook。2016年秋天，在ProPublica发现Facebook允许广告商根据他们的种族定位客户，甚至当他们在做住房广告时——自1968年联邦公平住房法案以来，这是公然的非法行为。为了测试这个系统，ProPublica和一个50美元的预算发布一个广告,选择目标用户标记为“可能”或有兴趣的话题像“买房子”(这些数量巨大的属性我们前面谈到),而不包括用户非裔美国人,亚裔美国人,西班牙裔。广告马上就被批准了。然后他们向民权律师约翰·雷尔曼展示了结果。他气喘吁吁地说。“这太可怕了，”他告诉他们。“这是严重非法的。”
但先等等:Facebook实际上并没有让我们把自己的种族放在个人资料上。那么它是如何让广告商按照这种方式细分的呢?当然是通过代理。你看，Facebook给广告商提供的并不是真正根据种族和民族定位的能力。它以种族亲和力为目标。换句话说，如果你喜欢的帖子或页面(根据Facebook的算法)表明你对某个特定种族或民族的内容感兴趣，那么你可能会被包括在内。但Facebook并没有在广告客户面前这样定位:什么时候ProPublica在创建广告时，Facebook将种族亲和性菜单放在了“人口统计”部分——这是一个清晰的信号，表明这个选择不仅仅关乎兴趣，还关乎身份。
Facebook提供基于种族的目标是有正当理由的——例如，为黑人女性设计的护发产品实际上是针对黑人女性的，或者是一个西班牙裔社区团体接触到西班牙裔人。这是有意义的。由于ProPublica在这份报告中，Facebook已经开始排除某些类型的广告，如住房、信贷和就业广告，使用种族亲和力目标。但通过使用代理数据，Facebook不仅为歧视性广告打开了大门;它还打开了一个潜在的法律漏洞:他们可以否认自己在非法经营，因为他们没有根据种族过滤用户，而是只根据对种族相关内容的兴趣。确定。
信息研究学者萨菲亚·诺布尔(Safiya Noble)表示，Facebook在后端为用户分配身份，而不允许这些用户在系统前端选择自己的身份，这也让人深感担忧。“我们正在被一个甚至不允许我们宣布自己的种族和民族的平台塑造种族形象，”她告诉我。“不允许在平台上显示文化和种族特征意味着什么?”
这意味着Facebook控制着用户在网上的表现方式——阻止人们选择他们想要的方式来标识自己，同时让广告商能够做出假设。而且因为所有这些都是通过代理数据发生的，所以它被掩盖了——所以我们大多数人甚至都没有意识到它正在发生。
Sara Wachter-Boettcher是一名网络顾问，也是这本即将出版的书的作者技术上的错误:性别歧视的应用程序，有偏见的算法和有毒技术的其他威胁。
摘自技术上的错误:性别歧视的应用程序，有偏见的算法和有毒技术的其他威胁莎拉Wachter-Boettcher。©2017 Sara Wachter-Boettcher。经出版商W.W. Norton & Company, Inc.许可使用。保留所有权利。
