过去半年里,近三分之一的俄罗斯公司员工曾向神经网络发送过登录名、密码和工作文件夹的密钥。与此同时,调查还发现,ChatGPT不仅处理请求,还会积累用户的个人数据,为每个人构建数字档案。这两个因素叠加在一起,形成了一个新的、被低估的企业风险层面。
究竟哪些信息流入了神经网络
在一项匿名调查中,1.3千名在工作中使用AI的俄罗斯公司员工,以及近500名来自安全、IT、人力资源和法律领域的负责人和专家,提供了颇具代表性的数据。密码和访问权限是流入聊天机器人的最常见机密信息类别,但远非唯一类别。过去半年内,人们上传到神经网络的内容包括:
- 商业提案——25%的受访者;
- 财务计算和报告——22%;
- 工作往来邮件——21%;
- 合同——16%;
- 客户数据库,包括含个人数据的——12%。
在绝大多数情况下,动机与恶意无关。约20%的受访者是为了更快完成例行任务。其余人则是请神经网络帮助梳理大量信息、准备或编辑文件。与此同时,每五个人中就有一人不清楚究竟哪些工作数据可以传给AI服务,还有部分员工甚至没有意识到自己上传了机密信息。
制度性空白
关键问题在于缺乏成文规则。神经网络已成为日常工作流程的一部分,但员工并没有明确的规章来界定什么可以、什么不可以发送给聊天机器人。企业不仅需要制定此类政策,还要让其便于执行——否则它们只会停留在纸面上。
尤其值得关注的是,发送给神经网络的文档在关闭聊天后并不会消失。服务可能会将其记住——而这已不再是假设性的风险。
ChatGPT与用户的数字画像
打击网络犯罪的专门部门直接警告称:ChatGPT会记住与它谈论的内容,并逐步收集关于个人的数字档案。用户与机器人分享个人情感、上传工作文件、询问金钱和健康问题——其中部分信息会被保存在模型记忆中,以便在后续会话中“认出”对话者。
学术研究记录了这种现象的规模:约95%的记忆条目是在未经本人明确许可的情况下形成的,而91%的账户记忆中存储着属于个人数据的信息。从积累的数据中构建出数字画像。
专家指出两大威胁。第一,根据积累的数据,即使一个人使用化名交流,也可能被去匿名化。第二,神经网络的记忆可以被外部操控:只需在用户自己发送给机器人处理的文档中植入虚假指令即可。
基本防护措施
- 检查AI服务中的记忆和个性化设置;
- 不要将工作文件和其他非公开信息上传到聊天中;
- 从请求中删除真实姓名、地址和其他可识别身份的细节;
- 仅在临时聊天中讨论个人问题;
- 定期检查神经网络记住了什么。
发送到公共神经网络的 расчеты、合同和客户数据库,已不能再被视为内部文件。它们的后续命运取决于服务设置,而只有少数用户会去查看这些设置。
Cryptalist分析: 该案例展示了生成式AI的采用速度与企业安全政策的成熟度之间的系统性脱节——数据泄露不是通过黑客入侵发生的,而是通过善意使用工具发生的。对市场而言,这是一个信号:对DLP类解决方案和私有企业AI环境的需求正在增长,同时监管机构对聊天机器人中个人数据处理的要求可能趋于严格。对于推迟制定神经网络使用规则的企业来说,应将其视为关于声誉和法律成本的直接警告。