企业如何管理生成式人工智能风险?

去年,生成式人工智能的采用率急剧上升。虽然该技术有望实现创新和生产力,但数据安全和泄露的风险却困扰着组织。与生成式人工智能相关的一些风险包括数据滥用、数据泄露和数据中毒。这是因为生成式人工智能是一种大型语言模型(LLM),它依赖于大量数据来产生输出。随着人工智能的日益普及和发展,理解和减轻固有风险对组织来说变得越来越重要。

与人工智能相关的三大风险

大多数生成式人工智能风险源于用户如何提出提示以及工具如何收集、存储和处理信息。以下是与生成式人工智能工具相关的三个主要风险。

数据泄露风险

生成式人工智能系统通过大型数据集和用户提供的提示来学习和改进。提示用于立即分析,并且通常保留在人工智能的后端中,以供将来的训练和模型优化。它们也经常由人类操作员进行分析。这带来了无意中暴露敏感信息的潜在风险。

与此类人工智能工具交互的员工,可能会在不知不觉中在提示中泄露机密或敏感细节。例如,最近发生的一起事件显示,三星员工将机密代码上传到ChatGPT,从而暴露了企业最敏感的信息。他们还使用ChatGPT创建会议记录和总结业务报告,无意中泄露了机密信息。

虽然这只是一个例子,但在很多情况下,员工在不知情的情况下将敏感信息上传到人工智能软件,使企业的数据面临风险。

人工智能工具中的漏洞

与任何软件一样,生成式人工智能工具也不能免受安全漏洞的影响。这些漏洞可能会给用户数据和更广泛的系统安全带来重大风险。一些潜在的违规行为包括:

数据泄露:人工智能系统存储大量信息数据集,如果黑客利用漏洞,并渗透托管生成人工智能工具的计算机系统或网络,这些信息可能会面临风险。这样,黑客就可以访问敏感数据,包括用户生成的提示、企业内部文档等。

模型操纵:恶意行为者可能操纵人工智能模型,可能导致有偏见或不准确的输出、错误信息活动或有害内容。

数据中毒或窃取

生成式人工智能模型严重依赖的数据集通常可以从互联网上抓取,从而使数据容易受到数据中毒和窃取。

数据中毒是指恶意威胁行为者将误导性或错误的数据注入现有的训练集中,从而破坏或操纵人工智能的学习过程。这可能会导致有偏见、不准确甚至有害的用户输出。

当人工智能组织缺乏足够的数据存储和安全措施时,可能会发生数据窃取,从而可能暴露敏感的用户信息或专有知识产权。这些被盗数据可用于各种恶意目的,例如身份盗窃。

使用生成式人工智能带来的另一个困境是黑客利用该技术进行威胁。黑客使用生成式人工智能发起高度复杂的网络钓鱼攻击,用户无法区分合法电子邮件和黑客编写的电子邮件,从而导致网络攻击。威胁行为者还利用人工智能进行深度虚假攻击,利用合法机构的面部表情、声音或音频来操纵目标采取某些行动或泄露敏感信息。

如何降低生成式人工智能风险?

组织可以通过以下几种方式减轻生成式人工智能风险并安全地利用该技术。

教育员工:最关键的一步是教育员工了解使用人工智能工具的潜在风险。对收集、处理和存储信息的教育可以使他们正确地进行提示。组织可以通过制定人工智能使用指南并提及该行业所需的合规性或监管指南来防止数据泄露和其他相关攻击。

进行法律审查:每个人工智能工具都有其规定。这些需要由组织的法律部门进行审查,以确保它们保持一致。对于金融服务或医疗保健等受到严格监管的行业来说,这一点更为重要。法律团队可以就数据收集、存储和使用条款和条件向公司发出警告,并查看它们是否与公司一致。

保护用于训练人工智能的数据和数据集:数据安全应该是构建自己的生成人工智能工具的组织的首要任务。他们必须优先考虑符合预期目的的数据,并避免在数据选择时引入偏见或敏感信息。匿名信息也至关重要,因为它可以最大限度地降低识别个人的风险,同时保留人工智能模型的数据实用性。组织还应通过建立明确的数据治理策略和访问控制机制来优先考虑数据安全措施,以限制只有授权人员才能访问敏感数据。

建立零信任系统:组织可以通过采用零信任安全模型,仅向需要执行任务的特定员工授予对敏感数据和信息的访问权限。这种精细控制显着减少了整体攻击面,并防止了心怀不满的员工或意外错误可能导致操作人工智能工具时数据泄露或盗用的情况。

结论

生成式人工智能凭借其自动化任务、生成独特内容和个性化用户体验的能力,有可能彻底改变行业。然而,它也伴随着固有的风险。其中包括数据隐私问题、偏见和滥用的可能性。

通过预防措施来应对风险,而不是阻止生成式人工智能的使用,将使组织能够充分利用这项技术。通过实施强有力的安全措施、促进负责任的数据治理实践和优先考虑用户教育,可以减轻这些风险。

免责声明:文章内容不代表本站立场,仅供读者参考。产品相关技术问题请发送工单。 本文链接:https://www.idc.net/help/415215/

为您推荐

当"狂飙"的大模型撞上推荐系统

随着以 ChatGPT 为代表的大模型技术的迅速发展,推荐系统正经历着一场革命性的变革。传统的推荐系统主要基于用户和物品的历史行为数据进行预测,大模型技术的出现,为推荐系统带来了更强的泛化能力和更高的效率,解决了传统推荐系统中的一些难题,如用户和物品数量的巨大规模、不可观测因素对推荐的影响等。同时,大模型推荐技术也带来...

谷歌杀入开源大模型,单挑Meta Llama2,凭什么问鼎王座?

兵贵神速。在大模型的必争之地,谷歌却总是慢人一步,因而屡屡被调侃“起了大早,赶个晚集”。但昨日,谷歌却突放大招,发布了一款开放模型——Gemma,并声称其是轻量级中“最先进的”开放模型系列,超越了原本最强的Mistral 7B。 这款以拉丁语“宝石”命名的模型在此时推出颇有意味。其一,据谷歌官网介绍,Gemma采用了与...

GPT-4正接管人类数据专家!先验知识让LLM大胆预测,准确率堪比传统方式

在数据科学中,AI研究员经常面临处理不完整数据集的挑战。 然而,许多已有的算法根本无法处理「不完整」的数据序列。 传统上,数据科学家会求助于专家,利用他们的专业知识来填补空白,然而这一过程既耗时,却又不实用。 如果AI可以接管专家的角色,又会如何呢? 近日,来自德国人工智能中心、大阪公立大学等团队的研究人员,调查了LL...

重要的医学AI应用:使用多模态 CNN-DDI 预测药物间相互作用事件

生病时,医生往往给我们开了多种药物,这些药物在同时服下时是否因为药物间相互作用产生对身体不良的效果,这引起我们的怀疑和担心。其实医生所开的药方的药品已经经过了药物间相互作用的实验和临床测试,我们不应对此产生疑虑。 药物间相互作用(DDI)是指当一个患者同时服用多种药物时,药物之间可能发生的反应,这些反应可能会影响药物的...

谷歌AI新星转投Pika:视频生成Lumiere一作,担任创始科学家

视频生成进展如火如荼,Pika迎来一位大将—— 谷歌研究员Omer Bar-Tal,担任Pika创始科学家。 一个月前,还在谷歌以共同一作的身份发布视频生成模型Lumiere,效果十分惊艳。 当时网友表示:谷歌加入视频生成战局,又有好戏可看了。 Stability AI CEO、谷歌前同事等在内一些业内人士送上了祝福。...
返回顶部