分析和人工智能领域七个值得引起警惕的灾难性错误

2017 年，《经济学人》宣称，数据已经超越石油成为世界上最有价值的资源。从那以后，这种说法一直在重复。各个行业的企业一直并将继续在数据和分析领域进行大量投入。但就像石油一样，数据和分析领域也有其阴暗面。

根据《2022 年首席信息官状况》报告，35% 的 IT 领导者表示，数据和业务分析领域将在今年推动其公司进行最大的 IT 投资。20% 的 IT 领导者表示，机器学习/人工智能将推动企业进行最大的 IT 投资。从机器学习算法驱动的业务举措和从分析工作中获取的洞察力可为企业带来竞争优势，但一些错误可能会使企业在声誉、收入甚至生命方面付出高昂的代价。

了解你的数据以及其中所包含的信息，这很重要，了解你使用的工具、了解你的数据以及牢记自己企业的价值观也很重要。

以下是过去十年中一些在分析和人工智能领域备受瞩目的错误，以说明哪些方面可能会出现问题。

人工智能算法可识别所有东西，但不包括新冠病毒

自新冠疫情开始以来，许多企业都在试图利用机器学习算法来帮助医院更快地诊断或分诊患者。但据英国国家数据科学和人工智能中心“图灵研究所”(Turing Institute) 称，预测工具几乎没有带来多少影响。

《麻省理工科技评论》(MIT Technology Review) 记录了许多失败案例，其中大部分失败案例源于工具训练或测试方式的错误。使用错误标记的数据或使用来自未知来源的数据是常见的问题起因。

剑桥大学机器学习技术研究员德里克·德里格斯 (Derek Driggs) 和他的同事在《自然-机器智能》(Nature Machine Intelligence) 刊物上发表了一篇论文，探讨了使用深度学习模型来诊断病毒。该论文明确指出，这一技术不适合临床使用。例如，德里格斯的团队发现他们自己的模型存在缺陷，因为该模型是基于一个数据集来训练的，而该数据集包括躺卧患者的扫描图和站立患者的扫描图。躺卧患者更有可能患有重病，因此，该算法学会了根据扫描图中患者的身体位置来识别新冠病毒风险。

一个类似的例子是使用含有健康儿童胸部扫描图的数据集进行训练的一个算法。该算法学会了如何识别儿童，而不是识别高危患者。

由于购房算法的灾难性错误，Zillow 公司损失了数百万美元，并大幅裁员

2021 年 11 月，在线房地产公司 Zillow 告诉股东，公司将在未来几个季度结束其 Zillow Offers 业务，并将裁掉 25% 的公司员工(约 2000 名员工)。这家炒房公司的困境就是因为其用于预测房价的机器学习算法中的错误率所导致。

Zillow Offers 是一个程序，该公司通过该程序对某一房产给出现金报价，而该报价则是基于“Zestimate 房产估价软件”的机器学习算法而得出的房屋价值。其想法是对这些房产进行翻新，然后迅速卖出。但 Zillow 公司的一位发言人告诉美国有线电视新闻网 (CNN)，该算法的错误率中位数为 1.9%，而对于未上市房屋的错误率可能更高，高达 6.9%。

美国有线电视新闻网报道称，Zillow 公司自 2018 年 4 月推出 Zillow Offers以来，通过此项业务购买了 27000 套房屋，但到 2021 年 9 月底仅售出 17000 套。新冠疫情和家庭装修劳动力短缺等黑天鹅事件也导致了该算法的准确率出现问题。

Zillow 公司表示，该算法导致公司无意中以高于当前预计的未来售价购买房屋，从而导致 2021 年第三季度的库存房屋跌价为 3.04 亿美元。

在该消息发布后，Zillow 公司联合创始人兼首席执行官里奇·巴顿 (Rich Barton) 在与投资人举行的电话会议上表示，或许可以对该算法进行调整，但最终其风险太大。

因超出电子表格的数据限制，英国丢失了数千个新冠病毒病例

2020 年 10 月，负责统计新冠病毒新增感染病历的英国政府机构“英国公共卫生部”(PHE) 透露，在 9 月 25 日至 10 月 2 日期间，有近 16000 例冠状病毒病例没有上报。其罪魁祸首是什么?Microsoft Excel 表格中的数据限制。

英国公共卫生部使用自动化流程将新冠病毒阳性实验室结果以 CSV 文件形式转入 Excel 模板中，然后用于报告仪表板和接触人追踪。不幸的是，Excel 电子表格的每个工作表最多允许有 1048576 行和 16384 列。此外，“英国公共卫生部”按列而不是按行列出感染病例。当这些病例超过 16384 列的限制时，Excel 表格会切断底部的 15841 条记录。

这个“小故障”并没有影响接受病毒检测的个人收到他们的结果，但这确实阻碍了接触者追踪工作，使英国国家卫生署 (NHS) 更难找到和通知与病毒感染者密切接触的个人。英国公共卫生部 (PHE) 临时首席执行官迈克尔·布罗迪在 10 月 4 日的一份声明中表示，英国国家卫生署的测试和追踪部门和英国公共卫生部已迅速解决了这一问题，并已将所有未解决病例立即转移到英国国家卫生署的测试和追踪部门的接触者追踪系统中。

英国公共卫生部实施了“快速缓解措施”，将大文件进行拆分，并对所有系统进行了全面的端到端审查，以防止未来发生类似事件。

医疗服务算法未能标记黑人患者

2019 年，发表在《科学》杂志上的一项研究显示，美国各地的医院和保险公司使用一种医疗服务预测算法来找出需要加入“高风险护理管理”计划的患者，但这种算法不太可能单独挑出黑人患者。

高风险护理管理计划可为慢性病患者提供训练有素的护理人员和初级护理监测，以防止出现严重的并发症。但该算法更有可能将这些项目推荐给白人患者，而不是黑人患者。

该项研究发现，这一算法使用医疗支出作为确定某人是否需要医疗服务的指标。但据《科学美国人》(Scientific American) 杂志报道，病情较重的黑人患者的医疗费用与更健康的白人的医疗费用相当，这意味着即使黑人患者的医疗需求更高，但他们的风险评分也会较低。

该项研究的研究人员表示，可能有几个因素在起作用。首先，有色人种更有可能收入较低，即使有保险，也可能使他们不太可能获得医疗服务。隐性偏见也可能导致有色人种接受到更低质量的医疗服务。

尽管该项研究没有提及这一算法或开发者的名字，但研究人员告诉《科学美国人》杂志，他们正在与开发者合作解决这一问题。

经数据集训练的微软聊天机器人发表种族主义推文

2016 年 3 月，微软了解到，使用推特平台交流信息作为机器学习算法的训练数据可能会产生令人沮丧的结果。

微软在社交媒体平台上推出了一款人工智能聊天机器人，被称为 Tay。微软公司将其称为一个“对话理解”的实验。他们的想法是，该聊天机器人将扮演一个十几岁的少女，结合使用机器学习和自然语言处理技术，可通过推特平台与他人进行交流。微软将一些匿名的公共数据和喜剧演员预先编写的材料植入该机器人中，然后让它通过社交网络上的交流来学习和发展。

在 16 小时内，该聊天机器人发布了 95000 多条推文，这些推文迅速呈现出公然的种族主义、厌恶女性和反犹太主义。微软迅速暂停了该服务以进行调整，并最终停止了这一服务。

“我们对 Tay 无意识发出的冒犯性和伤害性推文深表歉意，这些推文并不代表我们的身份或我们的立场，也不代表我们设计该机器人的方式。”在此事件发生后，微软研究与孵化部(时任微软医疗部门公司副总裁)公司副总裁彼得·李 (Peter Lee) 在微软官方博客上的一篇文章中写道。

李指出，微软公司于 2014 年在中国推出了 Tay 的前身微软小冰 (Xiaoice)，在 Tay 推出前的两年内，微软小冰已成功与 4000 多万人进行了对话。令微软公司没有考虑到的是，一群推特用户会立即开始向 Tay 发出种族主义和厌恶女性的言论。该机器人迅速从这些材料中进行学习，然后将这些内容整合到自己的推文中。

“尽管我们已经为多种类型的系统滥用行为做好了准备，但我们还是对这一特定的冒犯行为犯了严重的疏忽。因此，Tay 在推特上发布了这些非常不恰当和应受谴责的文字和图片。”李写道。

亚马逊公司的人工智能招聘工具只推荐男性

与许多大公司一样，亚马逊公司也渴望使用一些工具，能帮助其人力资源部门筛选一些职位申请，以找到最佳的应聘者。2014 年，亚马逊公司开始开发人工智能招聘软件来解决这一问题。但只存在一个问题：该系统非常偏爱男性应聘者。2018 年，路透社报道称，亚马逊公司终止了该项目。

亚马逊公司的系统会给应聘者打出从 1 到 5 的星级评分。但该系统核心的机器学习模型是基于提交给亚马逊公司的 10 年简历数据进行训练的——其中大部分是男性简历。由于是基于这些训练数据，因此，该系统便使那些包含“女性”一词的简历处于不利地位，甚至会使那些来自女子大学的应聘者获得更低的评分。

当时，亚马逊公司表示，亚马逊的招聘人员从未使用该工具来评估应聘者。

亚马逊公司曾试图修改该工具以使其保持公平，但最终认定公司无法保证这一工具不会学习到其他歧视性的候选人筛选方式，然后终止了该项目。

美国塔吉特公司 (Target) 的分析工作侵犯了隐私

2012 年，零售巨头塔吉特公司的一个分析项目已显示出，企业可以从其数据中了解多少客户信息。据《纽约时报》报道，2002 年，塔吉特公司的销售部门开始考虑如何判断某一顾客是否怀孕。这一想法导致启动了一个预测分析项目，该项目导致公司无意中向一名少女的家人透露了她怀孕的消息。反过来，这也导致各种文章和营销博客引用该事件作为一个建议，以避免发生这一“令人恐怖的情况”。

塔吉特公司的营销部门想要找出怀孕的顾客，因为在人生中的某些时期(尤其是怀孕时期)，人们极有可能彻底改变自己的购买习惯。如果塔吉特公司可以在这一时期接触到这些顾客，例如，可以培养这些客户的新购物行为，让他们来塔吉特公司购买杂货、服装或其他商品。

与所有其他大型零售商一样，塔吉特公司一直在通过购物者代码、信用卡、调查等方式收集顾客数据。它将这些数据与其购买的人口数据和第三方数据整合在一起。对所有这些数据进行处理后，塔吉特公司的分析团队能够确定，通过对公司售出的大约 25 种产品一起进行分析，可以生成一个“怀孕预测”分数。然后，营销部门可以针对高评分顾客提供优惠券和发送营销信息。

进一步的研究表明，研究顾客的生育状况可能会让其中一些顾客感到恐怖。据《纽约时报》报道，该公司并没有放弃自己的定向市场营销工作，但他们确实开始混入一些他们知道孕妇不会购买的商品的广告(包括在尿布广告旁边出现割草机广告)，以使顾客觉得这些广告组合很随机。