布里斯托尔AI预测系统失败：儿童风险评估算法因致命错误被关闭
埃文郡和萨默塞特郡警方与布里斯托尔市议会已停止使用至少两种旨在评估儿童犯罪风险的人工智能模型。原因是预测精度极低，且系统完全不透明，实际上无法进行独立审计。
在人权组织Liberty Investigates、当地媒体Bristol Cable和非营利编辑部Lighthouse Reports的参与下，一项新闻调查揭示了这些算法运行中的系统性问题。对数百页内部文件的分析表明，基于Think Family Database数据库构建的模型存在根本性缺陷。
数据收集与模型构建方式
于2016年启动的Think Family Database整合了布里斯托尔居民的警方和社会数据，包括住房状况、心理健康、青少年怀孕、学校出勤率甚至免费午餐领取情况。值得注意的是，这些数据是在未经公民直接同意的情况下，利用跨部门信息共享的法律依据收集的。一名警方数据专家曾冷嘲热讽地将这一过程描述为“把所有东西都倒进一个大桶里”。
在这个不稳固的基础上，构建了23个机器学习模型，为成人和儿童分配风险评分——从入室盗窃预测到成为家庭暴力受害者的可能性。与此同时，一款名为Offender Management App的应用程序也在运行，据一名高级警官称，该应用是“最危险罪犯排行榜”的基础。
模型失败的原因
关键问题在于数据质量。其中一个用于评估儿童犯罪风险的模型使用了慈善机构Barnardo's提供的1000名已遭受此类犯罪儿童的匿名数据。然而，在2016年，警方伦理委员会就曾警告称，由于所选变量（如需要帮助的儿童身份或心理健康问题）的存在，算法偏见不可避免。
后来，非营利组织Social Finance进行的审计证实了最坏的担忧。风险评分被评为最薄弱的环节，低精度削弱了模型的实用价值。到审查时，两个儿童犯罪风险评估模型已被关闭。
Social Finance将模型质量下降与数据集的变化联系起来。警方曾试图将该方法推广到整个埃文郡和萨默塞特地区，但未能与所有地方议会达成数据共享协议。结果，模型失去了社会指标，变成了纯粹的警方“核心”，进一步降低了其准确性。
系统的完全不透明性尤其令人担忧。独立审计员既找不到源代码，也找不到模型中使用的变量列表。此外，截至2023年6月，警方和布里斯托尔市议会均未保留关于放弃两个儿童犯罪风险评估模型的决定文件。
独立审计结果
WIRED记者从警方获得了2017年至2024年间使用或测试的13个模型的超过36,000份性能评估。由Eticas公司进行的审计显示，大多数模型的正向预测精度极低。该系统错误地将相当大比例的人标记为高风险。
例如，用于识别潜在入室盗窃者的模型在三年多的时间里，正向预测精度一直低于10%。这意味着系统标记的人中，真正实施此类犯罪的不到十分之一。审计员强调，这种表现对于运营中管理良好的模型来说并不典型。
在PoliceAI扩张背景下的案例
这一事件发生在PoliceAI启动的背景下——这是一个耗资7500万英镑、为期三年的国家中心，旨在英格兰和威尔士的43个警察局测试和推广人工智能工具。值得注意的是，该中心由埃文郡和萨默塞特郡警方前首席警官安迪·马什领导——正是那个开发了有争议的人工智能分析的地区。
布里斯托尔的案例不仅仅是一个技术错误的故事。这是一次系统性故障，表明此类模型的风险不仅与算法精度有关，还与数据质量、文档保存以及独立审查的可能性有关。
专家观点： 这种情况是执法领域追求技术创新的典型例子，如果缺乏对数据质量和算法透明度的适当控制，可能会酿成灾难。基于有偏见或不完整数据训练的人工智能模型不仅无用，而且危险——它们可能制造虚假指控，破坏对司法系统的信任。布里斯托尔的失败应该成为所有盲目在重要社会领域部署人工智能者的警示。