布里斯托尔AI系统失败：警方因灾难性准确率关闭儿童犯罪预测模型
埃文和萨默塞特警方与布里斯托尔市议会被迫停止使用至少两种用于评估儿童犯罪风险的人工智能模型。原因是这些模型准确率低下且算法完全不透明。独立审计人员既找不到源代码，也找不到所用变量的列表，这使得任何对系统运行状况的检查都变得不可能。
这场争议的核心是布里斯托尔市议会于2016年启动的“思考家庭数据库”。该数据库汇集了近50万居民的信息，包括警方数据、社会服务数据、心理健康状况、住房状况、学校出勤率甚至家长课程参与情况。这些数据的收集并未获得公民的直接同意，而是基于政府机构间信息共享的法律规定。
模型如何运作及为何失败
基于该数据库，共构建了23个机器学习模型，其中包括预测盗窃、家庭暴力风险以及最为关键的儿童犯罪风险的模型。其中一个用于评估儿童风险的模型使用了慈善组织Barnardo's提供的1000名已受害未成年人的匿名数据。风险因素包括需要帮助的儿童身份、逃学记录以及心理健康问题。
早在2016年，警方伦理委员会就警告称，由于所选变量，存在算法偏见的高风险。后来，非营利咨询机构Social Finance进行的审计证实了最坏的担忧：模型准确率被认定为最薄弱的环节，完全削弱了其实用价值。Social Finance将质量下降与数据集的变化联系起来。在试图将模型推广到五个地方议会时，警方未能就社会数据共享达成协议，最终模型仅依赖警方的“核心”数据，失去了至关重要的社会指标。
Eticas审计：准确率低于10%
审计公司Eticas基于36000次性能评估进行的单独分析显示，大多数模型的正向预测准确率极低。例如，用于识别潜在入室盗窃者的模型在三年多的时间里准确率低于10%——即系统标记的每十个人中，实际犯罪者不到一人。审计人员强调，这种表现对于专业管理且投入运营的模型来说完全不符合常规。
城市服务部门的工作人员抱怨称，系统遗漏了弱势儿童，而盗窃案涉案人员却可能获得更高的风险评分。其他工作人员直言不讳地表示，由于方法完全不透明，他们不愿依赖这些评估结果。
我的分析： 这个案例不仅仅是关于人工智能故障的故事。它生动地展示了在儿童保护等敏感领域推行技术的雄心，如何因忽视数据科学的基本原则——数据质量、可重复性和透明度——而遭到破坏。源代码和决策文件的缺失并非技术疏忽，而是系统性的管理失败，这使未来任何PoliceAI的举措都受到质疑。