说明:收录全网最新的团体标准 提供单次或批量下载
1 项目负责人致信 OWASP的《大规模语言模型应用 Top 10》项目始于 2023年,是一项由社区共同推动的工作,旨在 突出并解决与人工智能应用相关的安全问题。自项目启动以来,LLM (大规模语言模型)技术已在多个 行业得到广泛应用,随之而来的风险也在不断增加。随着 LLM技术不断渗透到客户互动、内部运营等各 个领域,开发人员和安全专家不断发现新的安全漏洞,并探索相应的解决方案。 2023年发布的版本在提高公众对 LLM安全问题的认识、为安全使用 LLM奠定基础方面取得了显著 成效。同时,我们也积累了更多经验。在 2025年版本的更新中,我们与来自全球、具有多样化背景的 贡献者进行了紧密合作,共同完善这一名单。整个过程包括头脑风暴、投票以及来自直接参与 LLM应用 安全的专业人士的反馈。每一位贡献者的意见都对确保本次发布的全面性和实用性起到了至关重要的作 用。 2025年版本的主要更新 2025年版本的更新反映了我们对现有风险的更深层次理解,并纳入了 LLM在实际应用中的最新重 要进展。例如,“ 无限制消耗(Unbounded Consumption )”这一概念扩展了传统的“ 拒绝服务 (Denial of Service)”风险,不仅包括资源管理方面的风险,还涵盖了在大规模 LLM部署中可能出 现的意外成本问题。 “向量和嵌入(Vector and Embeddings)”部分回应了社区对于保障检索增强生成(RAG)和其他 基于嵌入技术的安全需求。这些技术已成为支持模型输出的重要技术实践。 我们还新增了“ 系统提示泄露(System Prompt Leakage )”这一风险项,以应对在实际应用中广 泛存在的安全隐患。这一问题引起了社区的高度关注,许多应用曾假设提示信息是安全隔离的,但近期 的事件表明,开发人员不能再安全地假设这些提示中的信息能够保密。 2 此外,“过度自主性(Excessive Agency)”这一风险项得到了扩展,考虑到了越来越多使用自主 架构的情况。在这些架构下,LLM 获得了更多的自主权。随着 LLM作为代理或在插件设置中运行,未经 充分审查的权限可能导致意外或高风险操作,因此这一风险比以往任何时候都更加重要。 展望未来 正如LLM技术本身一样,这份列表也是开源社区智慧和经验的结晶。它汇集了来自不同行业领域的 开发人员、数据科学家和安全专家的贡献,他们共同致力于构建更加安全的人工智能应用程序。我们非 常荣幸能够与您分享这份《OWASP Top 10 for LLM Applications v2.0 2025 版本》,并希望它能为您 提供有效的工具和知识,帮助您更好地保障 LLM的安全。 在此,我们要特别感谢所有为这项工作做出贡献的人,感谢那些持续使用并不断改进这一成果的专 家和从业者。我们期待与您一起,继续推动 LLM应用程序安全的发展。 Steve Wilson (OWASP 大规模语言模型应用程序 Top 10 项目负责人) LinkedIn: https://www.linkedin.com/in/wilsonsd/ Ads Dawson (OWASP 大规模语言模型应用程序 Top 10 技术负责人 & 漏洞条目负责人) LinkedIn: https://www.linkedin.com/in/adamdawson0/ 3 中文项目组寄语 2024,人工智能已成为网络空间安全发展的关键变量, AI 的应用为攻击者赋予了攻击的精准度、 效率和成功率。也让防护者可以快速、精准的从海量数据中识别异常网络活动,发掘潜在威胁,显著提 升了监测、预警、处置、溯源的效率和精度。随着人工智能技术的不断进步以及在网络安全行业的深入 应用,未来可能会出现更智能的自适应发现和防御系统,可以实时学习新型攻击手段并自动采取对抗措 施。但AI在带来效率和精准性的同时也带来了新的风险和挑战,如何兼顾其安全性和伦理性或许是 AI 平台面临的双重挑战,需要我们用更审慎的态度去看待人工智能,在本项目对 LLM的十大常见安全风险 进行深度剖析,让各位安全从业者能从中获益以防患于未然,也让各位 AI人员能对风险有个基础概念, 在研发、应用过程中提前考量,希望本项目能对 AI安全的发展抛砖引玉更能推波助澜。 张坤(项目负责人/OWASP 中国北京分会负责人) 陈殷(项目成员) 刘畅/玄道(项目成员)

.pdf文档 OWASP LLM应用程序 十大安全风险 2025发布版本

文档预览
中文文档 49 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共49页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
OWASP LLM应用程序 十大安全风险 2025发布版本 第 1 页 OWASP LLM应用程序 十大安全风险 2025发布版本 第 2 页 OWASP LLM应用程序 十大安全风险 2025发布版本 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2025-03-15 05:06:34上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。