加密新闻

埃文和萨默塞特警方与布里斯托尔市议会已停止使用至少两种旨在评估儿童犯罪风险的人工智能模型。原因是其准确率极低且算法完全不透明。独立审计人员既找不到原始代码，甚至无法获得系统所使用的完整变量列表。

在一项基于数百页通过信息获取请求获得的文件进行的新闻调查中，系统性缺陷被揭露。这一事件发生在国家警察人工智能中心（PoliceAI）启动的背景下，该中心旨在为英格兰和威尔士的43个警察局测试和推广人工智能工具。

Think Family数据库：未经同意的“大桶”

问题的核心在于Think Family数据库，该数据库于2016年启动。它整合了警方和社会部门关于家庭的数据，包括住房状况、心理健康信息、青少年怀孕、逃学情况，甚至是否享受免费校餐。据估计，该数据库可能包含近50万居民的记录，且数据是在未经个人直接同意的情况下，基于政府机构间信息共享的一般法律规范收集的。一名警方数据专家讽刺地将这种做法描述为“把所有东西都扔进一个大桶”。

基于该数据库，至少建立了23个机器学习模型——从预测入室盗窃到评估成为家庭暴力受害者的风险。然而，正是用于评估儿童犯罪风险的模型表现最差。

全面失败：从偏见到代码消失

早在2016年，警方伦理委员会就警告称，由于所选变量，存在算法偏见的高风险。例如，模型中将儿童是否需要帮助以及心理健康问题作为变量，这可能形成污名化的恶性循环。后来，非营利咨询机构Social Finance在其审查中指出，风险评分是项目中最薄弱的环节，并强调低准确率完全削弱了模型的实用价值。

尝试将系统扩展到整个埃文和萨默塞特地区只会让情况恶化。由于无法与所有地方议会就数据共享达成一致，模型中的社会指标被移除，仅剩下警方的“核心”数据。结果，社会服务部门工作人员抱怨称，成为犯罪受害者的弱势儿童获得的评分低于盗窃案涉案人员。由Eticas公司进行的审计显示，大多数模型的阳性预测准确率低于10%。这意味着系统错误地将超过十分之九的人标记为“高风险”。到Social Finance审查时，模型的原始代码和文档已经丢失。

结论与展望

布里斯托尔的案例不仅仅是一个算法故障的故事。它展示了在关键社会领域引入人工智能所伴随的根本性风险。问题不仅在于准确性，还在于透明度、数据质量以及独立审计的可能性。值得注意的是，新成立的国家警察人工智能中心负责人、前埃文和萨默塞特警察局局长，此前正是负责开发和使用这些争议模型的辖区。

Cryptalist评论： 这一案例是一个严峻的提醒：国家手中的算法“黑箱”可能比它试图预防的犯罪更加危险。当监管机构和公众争论人工智能的未来时，世界各地的警察局已经在进行涉及人类生命的危险实验。布里斯托尔的故事不应仅仅是一个警告，而应成为推动对所有政府人工智能系统实施严格审计和透明度标准的催化剂。