布里斯托尔AI丑闻：警方因准确率低下而关闭儿童风险模型
埃文郡和萨默塞特郡警方与布里斯托尔市议会联合叫停了至少两款用于评估儿童犯罪风险的人工智能模型。原因是预测精度极低，且算法完全不透明。独立审计人员发现，源代码和所用变量列表根本不存在，导致结果无法验证。
我的分析表明，这并非个例故障，而是执法机构引入人工智能的系统性问题。当模型沦为"黑箱"时，不仅失去实用价值，还会带来声誉和法律风险。
Think Family数据库：未经同意收集数据
这些失败模型的基础是2016年启动的Think Family数据库。该数据库汇集了布里斯托尔近50万居民的信息，整合了警方报告、社会服务机构数据、住房信息、心理健康状况、青少年怀孕情况、逃学记录甚至免费午餐领取情况。关键点在于：数据收集未经公民直接同意，而是基于政府机构间数据共享的法律规定。一名警方数据专家冷嘲热讽地将此过程描述为"把所有东西都倒进一个大桶里"。
基于该数据库，至少建立了23种不同的机器学习模型——从预测入室盗窃到评估成为家庭暴力受害者的风险。与此同时，还运行着一款名为Offender Management App的应用程序，据一名高级警官称，该应用充当了最危险罪犯"排行榜"的基础。
模型为何失败
早期用于评估儿童犯罪风险的模型之一，使用了警方、市议会的数据，甚至包括慈善机构Barnardo's提供的1000名已受害儿童的匿名信息。评分受多种因素影响，如儿童需要帮助的状态、长期逃学和心理健康问题。
早在2016年，警方伦理委员会就警告过算法偏见的高风险。后来，非营利组织Social Finance进行的审计证实了最坏的担忧：风险评分被认定为系统最薄弱的环节。低精度彻底破坏了模型的实用价值。到审计时，其中两款模型已被停用。
问题的根源在于数据退化。当试图将方法推广到整个埃文郡和萨默塞特郡地区时，警方未能与所有地方议会达成数据共享协议。结果，模型失去了关键的社会指标，仅剩"警方核心数据"，无法提供全面图景。城市服务部门工作人员直接抱怨，弱势儿童未被纳入结果，而未成年犯罪受害者获得的评分甚至低于盗窃案涉案人员。
Eticas审计：精度低于10%
记者获得了2017年至2024年间13款模型的超过36000份性能评估。审计公司Eticas的分析揭示了灾难性局面：大多数模型的阳性预测精度极低。系统错误地将大量人群标记为风险。
尤其典型的是用于识别潜在入室盗窃者的模型。三年多来，其阳性预测精度一直低于10%。这意味着，被人工智能标记为威胁的人中，真正实施此类犯罪的不到十分之一。审计人员强调，这种表现对于正常运营的模型来说完全异常。
警方试图辩解，称部分模型（包括盗窃工具）并未部署，多年的评估结果是对未删除静态文件自动检查的结果。布里斯托尔市议会承认，目前仅使用一款NEET风险模型（评估儿童毕业后不学习或不工作的可能性），但坚持认为该模型不能替代专业判断。
背景：PoliceAI与系统性风险
这起丑闻发生在国家PoliceAI中心启动之际，该中心获得7500万英镑三年资金，旨在将人工智能推广到英格兰和威尔士所有43个警察局。讽刺的是：该中心由埃文郡和萨默塞特郡前警察局长安迪·马什领导——正是风险模型失败的地区。
专家观点：布里斯托尔的案例不仅仅是糟糕代码的故事。它生动地表明，在儿童保护等关键领域引入人工智能，不仅需要完善的算法，还需要无可挑剔的数据管理、完全透明的方法论以及强制性的独立审计。没有这三大支柱，任何模型，即使前景再光明，也可能沦为危险而无用的工具，破坏对司法的信任。