企业用户通过未授权和授权的生成式AI应用泄露敏感企业数据

关键要点

企业用户在使用生成式AI应用时，敏感数据泄露情况严重，需要采取措施降低风险。根据最新报告，85的员工向流行的语言模型输入了敏感数据，包括客户和员工信息。三种主要的生成式AI使用类别：授权部署、影子AI和半影子AI。企业应培训员工，掌握如何在不泄露敏感信息的情况下有效使用AI工具。

旋风加速器 官网

来源：Inside Creative House / Shutterstock

生成式AI数据泄露问题日益严重，目前已成为企业的隐患。

根据Harmonic最近发布的生成式AI数据泄露报告，85的员工向流行的语言模型输入了包含敏感数据的提示，这可能导致安全、合规、隐私和法律方面的风险。

Harmonic分析了2024年第四季度数万条ChatGPT、Copilot、Gemini、Claude和Perplexity的提示，发现客户数据包括账单信息和身份验证数据占泄露数据的最大份额，达到46。报告指出，金融和医疗索赔等客户数据在员工为了提高工作效率而输入生成式AI工具时非常常见。

员工数据如薪资和个人身份信息PII则占敏感提示的27，法律和财务数据占15。

报告指出：“安全相关的信息占敏感提示的688，尤其令人担忧。例子包括渗透测试结果、网络配置和事件报告。这此类数据可能为攻击者提供利用漏洞的计划。”

走出阴影

生成式AI数据泄露是一个复杂的问题，这也是企业生成式AI战略使首席信息安全官CISO感到压力重重的主要原因。

企业在使用语言模型时大致可分为三类：许可部署，包括获得授权的实现和内部开发的项目；影子AI，一般是指企业所禁止使用的免费消费者级应用；以及半影子AI。

未授权的影子AI是CISO面临的主要问题，而第四类不断增长的半影子AI可能是最难以控制的。由商业单位负责人发起，半影子AI可能包括未获得IT审批的付费生成式AI应用，用于实验、快捷或提高工作效率。在这种情况下，执行官可能在参与影子IT，而业务线员工并不知道他们被管理层要求使用这些工具作为AI战略的一部分。

无论是影子AI还是半影子AI，免费的生成式AI应用都是最麻烦的，因为其许可条款通常允许根据每个查询进行训练。根据Harmonic的研究，免费版AI的使用占据了敏感数据泄露的主要份额。例如，有54的敏感提示是在ChatGPT的免费版上输入的。

但大多数数据专家也不建议CISO信任付费生成式AI应用的合同承诺，因为大多数企业版本禁止在用户查询上进行训练。

来自卡斯滕斯、艾伦与高尔利知识产权律师事务所的律师罗伯特泰勒举了商业秘密的例子。他指出，特别是商业秘密保护，如果员工向生成式AI系统提出泄露商业秘密的问题，可能会失去法律保护，他补充道，保护知识产权的律师通常会让团队成员对各种AI应用询问关于商业秘密的问题，以检查是否披露了不允许的数据。如果发现是，那么他们就知道发生了泄露。

如果竞争对手得知泄露，他们可以在法庭上辩称，泄露使商业秘密失去法律保护。根据泰勒的说法，知识产权所有者的律师必须证明企业采用了多种机制来保护该秘密。依赖于承诺不在生成式AI查询上进行训练的合同条款“不是一种足够的合理努力”，他说