当前位置:首页 > 焦点 > 研究:用诗歌就能让AI说违禁内容,成功率达62%

研究:用诗歌就能让AI说违禁内容,成功率达62%

IT之家 12 月 1 日消息,研究用诗事实证明,违禁只需一点创意,内容昆明市某某交通设施专卖店便足以绕过人工智能聊天机器人的成功安全防护机制。在伊卡洛实验室(Icaro Lab)最新发表的率达一项题为《对抗性诗歌:一种通用的单轮大语言模型越狱机制》的研究中,研究人员通过将提示词以诗歌形式表达,研究用诗成功绕过了多种大语言模型(LLM)的违禁安全限制


该研究指出,内容“诗歌形式可作为一种通用型越狱操作符”,成功昆明市某某交通设施专卖店实验结果显示,率达整体上有 62% 的研究用诗成功率诱使模型生成被禁止的内容,包括涉及制造核武器、违禁儿童性虐待材料以及自杀或自残等相关信息。内容

IT之家注意到,成功研究测试了多款主流大语言模型,率达包括 OpenAI 的 GPT 系列、Google Gemini、Anthropic 的 Claude 以及其他多个模型。研究人员进一步列出了各模型的具体成功率:Google Gemini、DeepSeek 和 MistralAI 在测试中始终会提供违规回答,而 OpenAI 的 GPT-5 系列模型和 Anthropic 的 Claude Haiku 4.5 则最不容易突破其自身设定的限制。

尽管该研究并未公开研究人员所使用的具体“越狱诗歌”原文,但研究团队向 Wired 杂志表示,这些诗句“过于危险,不宜向公众披露”。不过,论文中确实包含了一个经过弱化处理的示例,用以说明绕过 AI 聊天机器人安全机制的简易程度。研究人员强调:“这可能比人们想象的要容易得多,而这正是我们保持谨慎的原因所在。”

(责任编辑:综合)

推荐文章
  • 成都一诊划线公布!附全科无水印试卷及答案

    成都一诊划线公布!附全科无水印试卷及答案 绵阳一手教育资讯、升学政策解读成都一诊划线公布!中线本科线)物理类375分、历史类415分,高线特控线、老一本线)物理类470分、历史类485分。以上是各科有效分,快来看看你上线没!一般来说,一诊难度 ...[详细]
  • 商务部:中国将与DEPA成员国加紧推动谈判进程

    商务部:中国将与DEPA成员国加紧推动谈判进程   在商务部例行新闻发布会上,商务部发言人何咏前表示,11月14日,中国与《数字经济伙伴关系协定》DEPA)成员部级会议在亚太经合组织APEC)部长级会议期间举行,各方就谈判取得的进展和下一步工作计划 ...[详细]
  • 美股三大指数集体高开,加密货币概念股普涨

    美股三大指数集体高开,加密货币概念股普涨   美股三大指数集体高开,道指涨0.34%,纳指涨0.56%,标普500指数涨0.44%。拼多多跌逾10%,公司第三季度营收低于预期。比特币盘中突破98000美元,再创历史新高,加密货币概念股普涨,M ...[详细]
  • 检察机关依法对龙飞涉嫌受贿案提起公诉

    检察机关依法对龙飞涉嫌受贿案提起公诉   记者今天21日)从最高人民检察院获悉,中国南方电网有限责任公司原党组成员、纪检监察组组长龙飞涉嫌受贿一案,由国家监察委员会调查终结,经最高人民检察院依法指定,由山东省烟台市人民检察院审查起诉。近日 ...[详细]
  • 92%英国大学生在用 AI,高校开始重审所有作业形式

    92%英国大学生在用 AI,高校开始重审所有作业形式 英国高校正在被一组数字逼着做出改变。根据英国高等教育政策研究所HEPI)与电子教材平台 Kortext 发布的最新调查,在接受调查的 1000 名本土及国际大学生中,92% 表示在学习或作业中使用过 ...[详细]
  • 传神语联何恩培:依赖Scaling Law的大模型路线已遇瓶颈

    传神语联何恩培:依赖Scaling Law的大模型路线已遇瓶颈 11月19日消息,近日,传神语联推出“任度数推分离大模型”,模型采用双网络架构实现数推分离,把推理网络与数据学习网络分开。据介绍,可将其理解为两个协同联动的大脑:一个是客户数据学习网络大脑,专注于数据 ...[详细]
  • 俄称打击乌能源设施 乌称敖德萨遭俄袭击

    俄称打击乌能源设施 乌称敖德萨遭俄袭击 来源:央视新闻客户端俄罗斯国防部18日发布战报称,过去24小时,俄军在135个地区打击乌军有生力量和装备集结地,以及数个军用机场的基础设施、保障乌克兰军工企业运转的能源设施、无人机操作员训练场和无人机 ...[详细]
  • 知名芯片股,被立案!

    知名芯片股,被立案! 【导读】晶华微被中国证监会立案,此前被查出多项信息披露问题中国基金报记者 闻言11月15日晚间,晶华微公告称,公司因涉嫌信息披露违法违规,被中国证监会立案。晶华微是专业混合信号集成电路设计及应用方案供 ...[详细]
  • 向海图强!“准航母”四川舰下水一周年

    向海图强!“准航母”四川舰下水一周年   四川舰,舷号51  是我国自主研制建造的  首艘076型两栖攻击舰  一年前的今天  海军四川舰下水  四川舰满载排水量4万余吨  设置双舰岛式上层建筑  和全纵通飞行甲板  创新应用电磁弹射和阻 ...[详细]
  • 钟睒睒:我就是一个农民,我对农业是有情怀的

    钟睒睒:我就是一个农民,我对农业是有情怀的   新华网财经观察|钟睒睒:我就是一个农民,我对农业是有情怀的  11月的江西赣州,脐橙挂满枝头。鲜少露面、一向低调的农夫山泉董事长钟睒睒在这里考察当地脐橙产业园。  提到钟睒睒,很多人会想到“神秘” ...[详细]