马斯克AI大模型Grok开源:参数量达3140亿

lanshitou2024-03-18 10:36:34快科技

3月18日消息,据媒体报道,马斯克的AI创企xAI正式宣布其大语言模型Grok-1已实现开源,并向公众开放下载。

据了解,Grok-1是一款基于混合专家系统(Mixture-of-Experts,MoE)技术构建的大语言模型,拥有3140亿参数,远超OpenAI GPT-3.5的1750亿。这是迄今参数量最大的开源大语言模型,遵照Apache 2.0协议开放模型权重和架构。

xAI表示,Grok-1始终由xAI自行训练,其预训练阶段于2023年10月完成。此次发布的是Grok-1预训练阶段结束时的原始基础模型检查点,即该模型未经过针对任何具体应用的微调。

xAI的目的之一就是与OpenAI、谷歌、微软等对手在大模型领域进行竞争,其团队来自OpenAI、谷歌DeepMind、谷歌研究院、微软研究院等诸多知名企业和研究机构。

目前,xAI并没有放出Grok-1的具体测试成绩,它与其他公司的大模型之战将成为业内关注的焦点。

AI智驾大势所趋,小鹏10-15万车型践行科技平权

TechWeb文/卞海川引言:日前,小鹏发布了其2023年第四季度财报,除财报向好外,其中最引人注目的是其在今年第二季度将推出10-15万区间以AI智能驾驶为卖点的汽车,以实际行动践行其一直倡导的科技平权。智能驾驶是趋...

280亿!亚马逊投了OpenAI最大敌人

9月25日下午,亚马逊在公司官网公布,向大模型公司Anthropic投资至多40亿美元,后者以拥有对标ChatGPT的聊天机器人Claude而闻名。云计算公司大笔投资大模型公司,微软已经在今年2月开了个好头,以100亿美元获得OpenA...

知情人士:AI初创公司Anthropic洽谈融资7.5亿美元 估值184亿美元

12月22日消息,据外媒报道,在OpenAI训练的人工智能聊天机器人ChatGPT大火之后,包括谷歌在内的科技巨头纷纷加大了在人工智能聊天机器人和大语言模型上的投入,人工智能初创公司也成了资本追捧的对象,多家这一领域...

TechWeb微晚报:一文看懂免费AI辅助报志愿;苹果分批推出AI功能,重磅功能明年上线

今日要闻一览:想省下报“张雪峰们”的钱,这些免费AI报志愿工具可以一用小鹏总裁王凤英提交辞职?王凤英何小鹏出面否认麦当劳“炒掉”AI点餐员叫停自动点餐测试项目AppleIntelligence功能分批上线重磅功能明年上线...

当经典老港片遇上视觉大模型:超清再现

8月18日消息,30年前的老电影,如果修复成4K画质,你会去看吗?近日,4K修复版《武状元苏乞儿》《蜀山:新蜀山剑侠》等多部经典老港片在抖音上线,引发了一波怀旧热潮。香港电影曾是风靡全球的产业,装点了几代人的...

上一篇:XAI大模型Grok-1已正式开源 但并不是在马斯克说的上周
下一篇:OpenAI首席技术官:不确定是否使用了社交媒体数据训练Sora