加密新闻

埃文郡和萨默塞特郡警方与布里斯托尔市议会被迫停止使用至少两种用于评估儿童犯罪风险的机器学习算法。原因在于这些系统准确率极低且完全不透明，几乎无法进行独立审计。

一场涵盖数百页内部文件的大规模新闻调查揭露了令人震惊的真相。问题的根源在于2016年启动的"思考家庭数据库"。这个数字巨兽收集了布里斯托尔近50万居民的信息，整合了警方报告、住房状况、心理健康、出勤率甚至免费午餐领取记录等数据。所有操作均在未经公民直接同意的情况下，以部门间数据共享的法律依据为掩护进行。

基于该数据库构建了23个机器学习模型，从入室盗窃预测到家暴风险评估。然而，正是保护儿童的模型出现了严重故障。这些模型除了警方和社会服务数据外，还纳入了慈善机构Barnardo's提供的1000名受害儿童的匿名信息。算法会考量儿童是否需要帮助、长期缺课以及心理健康问题等指标。

伦理崩塌与"黑箱"困境

早在2016年，警方伦理委员会就警告过算法偏见风险，但其建议被置之不理。随后独立咨询机构Social Finance给出了致命评价：风险评分被认定为项目最薄弱环节。调查发现，当警方试图将系统推广至整个地区时，模型质量急剧下降——因未能与所有地方议会达成数据共享协议，算法失去了关键的社会指标，主要依赖警方数据。

布里斯托尔市政工作人员公开抱怨该系统将最弱势群体置于危险境地。一名员工描述了令人发指的案例：近期遭受犯罪侵害的儿童，其风险评分竟低于盗窃案涉案人员。其他工作人员因方法完全不透明而拒绝依赖评估结果。记者委托Eticas公司进行的审计证实了最坏的担忧：多数模型的正向预测准确率极低。例如，识别潜在入室盗窃犯的模型在三年多时间里准确率始终低于10%，这意味着系统错误地"标记"了超过90%的人。

PoliceAI的警示

这一事件为耗资7500万英镑的全国性PoliceAI中心启动蒙上阴影。讽刺的是，该中心负责人正是埃文郡和萨默塞特郡前警察局长安迪·马什——正是在他任内开发了这些争议模型。布里斯托尔案例清楚表明，执法系统中AI的主要危险并非来自算法本身，而是输入端的"垃圾"：低质量数据、缺乏透明度以及无法独立验证。

专家观点：布里斯托尔事件是典型例证——盲目相信技术而忽视数据质量控制和伦理规范，最终适得其反。本应保护儿童的体系，反而成为不公与不信任的源头。如果PoliceAI不能从中吸取教训，数百万纳税人的资金恐将用于打造一个更庞大、更危险的"黑箱"。