XAI大模型Grok-1已正式开源 但并不是在马斯克说的上周

inic2024-03-18 11:34:20TechWeb.com.cn

3月18日消息,据外媒报道,马斯克领导的人工智能公司xAI当地时间周日在官网宣布,他们的大语言模型Grok-1已正式开源,发布了基本模型的权重和网络架构,有兴趣的用户可通过github.com/xai-org/grok上的指引使用。

从xAI在官网公布的消息来看,Grok-1是拥有3140亿参数的混合专家模型。在目前已开源的大语言模型中,Grok-1的参数是最多的。

XAI官网的信息还显示,Grok-1是由他们从头开始训练的模型,此次发布的是预训练阶段结束时的原始基础模型检查点,预训练阶段在去年10月份完成。这也就意味着他们开源的模型,没有进行针对对话等任何具体应用的微调。

在官网上,xAI披露Grok-1是在大量文本数据上训练的基础模型,是xAI团队使用JAX和Rust编程语言自定义训练栈从零开始训练的成果,权重和架构均依照Apache 2.0开源许可协议发布。

虽然Grok-1已正式开源,但在开源时间上,还是要晚于马斯克此前所宣布的时间。

马斯克是上周一,在他所收购的社交媒体上宣布Grok大模型将开源的,当时他公布的开源时间是上周,xAI官网宣布开始发布的时间是周日。而包括美国在内的诸多国家,仍习惯将周日作为一周的开始,止于周六,3月17日是新一周的第一天,这也就意味着Grok-1并未如马斯克此前在社交媒体上所公布的那样,在上周开源。

不过,按照国际标准化组织在ISO 8601国际标准中给出的日历星期表示方法,每个日历星期是始于周一,止于周日。如果按照这一标准,Grok-1的开源时间仍是在马斯克所说的那一周内。
 

不想依赖英伟达!微软发布两款自研AI芯片,可训练大模型

11月16日消息,美国时间周三,微软发布了首款自研人工智能(AI)芯片,可用于训练大语言模型,摆脱对英伟达昂贵芯片的依赖。微软还为云基础设施构建了基于Arm架构的CPU。这两款自研芯片旨在为Azure数据中心提供动力...

消息称苹果和OpenAI已达成协议 将生成式AI引入iOS 18

5月27日消息,据外媒报道,传闻几个月的苹果与OpenAI洽谈将生成式人工智能功能引入iOS18一事,有了取得进展的消息,长期关注苹果的一名资深记者,透露双方已经达成了协议。这名资深记者透露,根据双方达成的协议,Op...

联想发布新款ThinkBook 13x AI PC:配备同尺寸最大电池容量

2024年1月9日,在CES2024上,联想发布了面向中小型企业(SMB)市场的新型ThinkBook产品、ThinkCentre台式机和配件,这些产品具有创新功能、智能设计和AIPC增强功能。联想ThinkBook13xGen4是一款集性能、设计和智能于一...

联想moto razr 50 Ultra AI元启评测:4英寸无界AI大外屏创造无限可能

【TechWeb评测】众所周知,如今的折叠屏手机已经不再是一个新生事物,而已成熟地划分成了偏向办公体验的大折叠屏和偏向日常轻便体验的小折叠屏,而后者天然的受众就是女性用户。但除去精致时尚的外观外,小折叠屏一...

造富神话破灭,AI公司排队卖身

AI大模型不光有造富神话,同样也有破产、倒闭、求收购。2024年第二季度还没有结束,美国AI公司就开始倒闭热潮。曾经有10亿美元估值、180名员工、创造出StableDiffusion系列模型的明星创企StabilityAI,传出资金链断...

上一篇:“有AI的科技∙艺术∙家”三星家电新品发布会举行 2024全系产品重磅升级
下一篇:OpenAI首席技术官:不确定是否使用了社交媒体数据训练Sora