零一万物向量数据库新突破!笛卡尔(Descartes)获六项第一
3月11日消息,在国际权威评测平台ANN-Benchmarks离线测试中,零一万物笛卡尔(Descartes)向量数据库登顶 6份数据集评测第一名。
“笛卡尔(Descartes)”是零一万物研发出的基于全导航图的新型向量数据库,是能影响大模型性能表现的基础设施;ANN-Benchmarks是当下业界最权威的向量数据库性能测试工具,它可以展示不同算法在不同真实数据集下的表现。
笛卡尔(Descartes)首次亮相ANN-Benchmarks评测榜单即包揽了六项第一,最高领先原榜单第一名286%。
零一万物表示,笛卡尔向量数据库目前聚焦于高性能向量数据库。笛卡尔向量数据库将用在近期即将正式亮相的AI产品中,未来也将结合工具提供给开发者。
六项第一
ANN-Benchmarks公布的6份评测数据集涵盖glove-25-angular、glove-100-angular、sift-128-euclidean、nytimes-256-angular、fashion-mnist-784-euclidean、gist-960-euclidean六大数据集。
如下图,横坐标代表召回、纵坐标代表QPS(每秒内处理的请求数),曲线位置越偏右上角意味着算法性能越好,零一万物笛卡尔向量数据库在6项数据集评测中都处于最高位。
图注:截至3月10日,ANN-Benchmarks6项评测中,零一万物笛卡尔(Descartes)向量数据库均居第一
“吞吐量 QPS” 是衡量信息检索系统(例如搜索引擎或数据库)查询处理能力的重要指标。在原榜单TOP1基础上,零一万物笛卡尔向量数据库实现了显著性能提升,部分数据集上的性能提升超过2倍以上,在gist-960-euclidean数据集维度更大幅领先榜单原TOP1 286%。
笛卡尔(Descartes)背后技术
向量数据库,又被称为AI时代的信息检索技术,是检索增强生成(Retrieval-Augmented Generation, RAG)内核技术之一。
大模型时代,图片、视频、自然语言等多模态的非结构化数据量陡增,区别于用来处理结构化数据的传统数据库,向量数据库专门用来存储、管理、查询和检索向量化的非结构化数据。
因此,对大模型应用开发者来说,向量数据库是非常重要的基础设施,在一定程度上影响着大模型的性能表现。
未来各家大模型优化到一定程度后,向量数据库的能力可能决定各家大模型的天花板。
此次零一万物笛卡尔向量数据库展示出优异表现,其背后又做了哪些方面的技术创新呢?
和传统检索方法类似,从本质上讲,RAG向量检索主要解决两大问题:
1. 通过建立某种索引结构,减少检索考察的候选集;
2. 降低单个向量计算的复杂度。
据介绍,针对第1个问题,零一万物团队有两大杀手锏:
• 全导航图技术。目前业内现状主要通过哈希、KD-Tree、VP-Tree等方式,导航效果不够精确,裁剪力度不够,零一万物研发的全局多层缩略图导航技术,图上坐标系导航,既能保证精度,又能裁剪大量无关向量。
• 首创自适应邻居选择策略,填补业界空白。零一万物自研的自适应邻居选择策略,突破了以往仅依赖真实topk或固定边选择策略的局限,新策略使每个节点可以根据自身及邻居的分布特征动态地选取最佳邻居边,更快收敛接近目标向量,从而让RAG向量检索性能提高15%-30%。
针对第2个问题,零一万物采用了两级量化方案增强RAG。
零一万物用两级量化降低计算复杂度,同时列式存储充分利用SIMD的并发能力,进一步发挥硬件能力,相比传统PQ查表,性能得到大幅提升到2-3倍。
除此之外,零一万物还有索引结构优化、连通性保障等全栈向量技术方案提高笛卡尔向量数据库的性能。
作为高性能向量数据库,笛卡尔向量数据库可以轻松应对百分之八九十的日常场景,比如帮助企业客户构建私域知识库、智能客服系统;在自动驾驶领域,使用高性能向量数据库可来加速自动驾驶模型训练等。
零一万物表示,笛卡尔向量数据库是团队基于RAG的初步尝试,将在近期发布的AI生产力产品中得到有效应用。零一万物后续会持续专注研发和分享,为用户带来更好的技术和体验。
Warning: Invalid argument supplied for foreach() in /home/wwwroot/www/chjia.com/goods.php on line 841
Warning: Invalid argument supplied for foreach() in /home/wwwroot/www/chjia.com/goods.php on line 841
在暂停近一个月后 OpenAI重新开放ChatGPT Plus新用户注册
12月7日消息,据外媒报道,在暂停近一个月后,OpenAI重新开放ChatGPTPlus付费订阅服务的新用户注册。据悉,ChatGPT是OpenAI于2022年11月30日推出的一种新型AI聊天机器人工具,而ChatGPTPlus是由OpenAI推出的针对Chat...
苹果展示AI新模型MGIE 可一句话精修图片IT之家2月8日消息,相比较微软的风生水起,苹果公司在AI领域的布局显得低调很多,但这并不意味着苹果在该领域就没有丝毫建树。苹果公司近日发布了名为“MGIE”的新型开源人工智能模型,它可以根据自然语言指令编辑图...
首款开放式 AI 终端 魅族 21 PRO发布 4999 元起2024年2月29日,星纪魅族集团在珠海顺利举办魅族特别活动,正式发布魅族21PRO开放式AI终端。魅族21PRO是面向AI时代全新打造的明日设备,集手机经典时代设计、交互、工艺之大成,以旗舰性能打磨满分答卷,为魅族开启A...
OpenAI发生严重故障ChatGPT崩了 官方回应:已恢复正常昨日晚间,人工智能公司OpenAI旗下聊天机器人ChatGPT发生重大故障中断,导致该应用无法使用,随后该话题登上了热搜。据了解,发生该故障中断发生的大致时间为11月8日21点30分至23点30分左右。就在今日0点左右,OpenA...
分析师:苹果计划最早明年底开始在iPhone和iPad上应用生成式AI技术10月20日消息,据媒体报道,海通国际证券分析师JeffPu表示,苹果计划最早2024年底开始在iPhone和iPad上应用生成式人工智能(AI)技术。外媒称,如果按计划进行,苹果可能会从iOS18和iPadOS18开始推出生成式AI功能,...
如何选购kawai电钢琴??2023年kawai选购攻略大全来了!
哈喽!最近有超多小伙伴问我:怎么选一台kawai性价比高的电钢琴?为了解决大家在选择kawai电钢的困惑,我专门...
苹果招募生成式AI人才 提供数十个大模型岗位
根据最新的招聘信息,苹果正在扩大其生成式人工智能领域的专业团队,并计划将这项技术应用于iPhone和iPad等...
昆仑万维旗下Opera生成式AI服务海外用户数突破100万
昆仑万维旗下Opera宣布,生成式AI服务Aria海外用户数突破100万。2023年5月24日,Opera正式推出生成式AI助理...
创始人王慧文退出 美团成AI公司光年之外唯一股东
8月7日消息,据国家企业信用信息公示系统显示,北京光年之外科技有限公司在近期完成工商变更,创始人王慧文...