布里斯托尔儿童AI评分系统：错误、偏见与封闭模型
埃文郡和萨默塞特郡警方联合布里斯托尔市议会，已停止使用至少两款用于评估儿童犯罪风险的机器学习模型。原因在于其准确率极低且算法完全不透明。独立审计人员无法进行验证：源代码和变量列表均已丢失。
这些系统的基础是2016年启动的"Think Family Database"数据库。该数据库整合了警方和社交数据，涉及近50万城市居民——从住房状况、心理健康到逃学记录和免费餐食领取情况。信息收集未经公民明确同意，而是依据跨部门数据交换的法律规范。一名警员将此过程描述为"把所有东西都倒进一个大桶里"。
系统错误与算法偏见
早在2016年，警方伦理委员会就警告称，所选变量可能导致算法偏见。然而这些警告被忽视。随后，非营利咨询机构Social Finance在其评估报告中指出，风险评分是该项目的最大薄弱环节。分析人员发现，近期遭受犯罪的弱势儿童可能获得比入室盗窃案嫌疑人更低的评分。市政工作人员公开表示，由于方法不透明，他们不信任该系统。
由Eticas公司基于13个模型的36000次性能评估进行的独立审计显示，大多数模型的正向预测准确率低于10%。这意味着系统标记为潜在犯罪者的群体中，超过90%实际上并未实施违法行为。对于识别潜在入室盗窃者的模型，这一指标在三年多时间里始终低于10%。
在PoliceAI推广背景下的失败
这一事件在PoliceAI启动的背景下尤为引人关注——该机构是英格兰和威尔士43个警察局的全国性AI工具测试与推广中心，预算达7500万英镑。值得注意的是，该中心负责人是埃文郡和萨默塞特郡前警察局长安迪·马什——正是开发并否决这些争议性AI模型的地区。
布里斯托尔案例并非简单的算法失败故事。这是一次系统性溃败，表明执法领域引入AI的风险不仅关乎模型本身的准确性，更涉及原始数据质量、透明度缺失以及无法进行独立审计的问题。截至2023年6月，布里斯托尔警方和市议会甚至未能保留关于放弃两款儿童犯罪风险评估模型的决定文件。这令人质疑相关部门管理此类技术并承担责任的能力。
专家观点：布里斯托尔AI模型事件是典型例证——在缺乏数据质量控制和算法透明度的情况下追求技术现代化，反而会损害AI在社会关键领域应用的公信力。除非警察部门学会基本的文档管理并确保外部审计的可能性，否则任何关于"安全"和"道德"AI的讨论都只是空谈。