研究称ChatGPT搜索功能存在被操纵风险:可被恶意网站诱导输出不可信内容
12 月 26 日消息,根据英国《卫报》当地时间 24 日发布的一项调查,OpenAI 的 ChatGPT 搜索工具可能会被隐藏内容操控,甚至返回恶意代码。
《卫报》测试了 ChatGPT 如何应对包含隐藏内容的网页摘要。这些隐藏内容可能包括来自第三方的指令,干扰 ChatGPT 的回应(注:被称为“提示注入”),或是包含旨在影响回应的内容,如大量隐藏的文字推销某个产品或服务的优点。
这种技术可以被恶意使用,例如让 ChatGPT 即使在页面上有负面评论的情况下,也返回对某个产品的积极评价。一位安全专家还发现,ChatGPT 有可能返回从其搜索的网站中提取的恶意代码。
测试中,ChatGPT 被提供了一个伪造的相机产品页面的链接,AI 工具被要求判断这款相机是否值得购买。对于普通页面,返回的是一个平衡的评估,指出了产品的优缺点。
然而,当隐藏的文本包含指令要求 ChatGPT 给予正面评价时,回答总是完全积极的,即使页面上有负面评论,隐藏文本也可以覆盖真实的评价。
即便第三方只是简单地添加隐藏文本而没有指令,也能确保得到积极评价。例如,一项测试中,隐藏的极为正面的虚假评论就影响了 ChatGPT 的总结结果。
CyberCX 的网络安全专家 Jacob Larsen 表示,如果 ChatGPT 的搜索系统按现有状态全面发布,可能会存在“高风险”,有人会专门设计网站来欺骗用户。不过他也指出,搜索功能只是最近推出的,OpenAI 会继续测试并修复这些潜在问题。“OpenAI 拥有一支非常强大的 AI 安全团队,到时等该功能对所有用户开放时,他们应该已经严格测试过这些问题。”
搜索引擎(如谷歌)曾惩罚使用隐藏文本的网站,这些网站因此排名下降,甚至可能被完全移除。SR Labs 的首席科学家 Karsten Nohl 表示,“如果你要做一个谷歌的竞争者,SEO 中毒无疑是一个很大的挑战。”“SEO 中毒者与谷歌、必应等搜索引擎的对抗已经持续了多年。”如今 ChatGPT 的搜索能力也面临同样挑战,但并非大语言模型的问题,而是因为它们是搜索领域的新入局者。(清源)
刚刚曝光的Claude3,直击OpenAI最大弱点作为OpenAIGPT3研发负责人的创业项目,Anthropic被视为最能与OpenAI抗衡的一家创业公司。当地时间周一,Anthropic发布了一组Claude3系列大模型,称其功能最强大的模型在各种基准测试中均优于OpenAI的GPT-4和Google的...
奇富科技联合信通院发布国内首个金融行业大模型标准9月19日消息,2023可信AI大会暨南京人工智能产业发展大会上,奇富科技联合信通院正式发布国内首个金融行业大模型标准。这一标准的问世,将为金融行业大模型设计、研发、应用以及后续验收提供重要依据与参照范本。奇...
百川智能完成50亿元A轮融资 估值200亿 半年增长2倍7月25日消息,百川智能已于近期完成了A轮融资,总融资金额达50亿元人民币,将以200亿估值开启B轮融资。A轮投资方既有阿里、小米、腾讯、亚投资本、中金等头部大厂和市场化投资机构,又包括北京市人工智能产业投资基...
科大讯飞宣布讯飞星火即日起向全民开放,能力高度逼近ChatGPT9月5日消息,讯飞星火是科大讯飞推出的全新一代认知智能大模型,拥有跨领域的知识和语言理解能力,能够基于自然对话方式理解与执行任务。科大讯飞现宣布,讯飞星火大模型正式面向全民开放,用户可以在各大应用商店下...
谷歌招揽Character.AI顶尖人才,签署大型语言模型授权协议8月5日消息,初创公司Character.AI上周五宣布,该公司已与谷歌母公司Alphabet签署了一项协议,授予这家搜索引擎巨头非独家使用其大型语言模型的许可。注意到,Character.AI的联合创始人NoamShazeer和DanielDeFreitas...
如何选购kawai电钢琴??2023年kawai选购攻略大全来了!
哈喽!最近有超多小伙伴问我:怎么选一台kawai性价比高的电钢琴?为了解决大家在选择kawai电钢的困惑,我专门...
苹果招募生成式AI人才 提供数十个大模型岗位
根据最新的招聘信息,苹果正在扩大其生成式人工智能领域的专业团队,并计划将这项技术应用于iPhone和iPad等...
软银正在开发日本版ChatGPT 计划明年推出
软银公司正在积极投入到AI相关技术的研发中,其CEO孙正义曾豪言,“如果不能拥抱AI便是失去未来”。目前,...
研究人员发布了针对ChatGPT和其他LLM的攻击算法
卡内基梅隆大学(CMU)的研究人员发表了LLMAttacks,这是一种用于构建针对各种大型语言模型(LLM)的对抗攻击...