深信服一朵云面向AI升级:承载DeepSeek,支持深度AI应用创新
2月17日消息,近日,深信服一朵云面向AI进行全新升级,为用户打造更匹配大模型场景的智算承载、应用构建的AI平台,面向用户基于DeepSeek承载和应用的场景,提供一键部署、性能更优、快速开发应用的最佳实践方案。
总的来说,深信服一朵云面升级包含三个方面:
1、 线下基础设施从传统业务承载平台向智算承载平台升级,广泛适配包括DeepSeek在内的最新大模型。
深信服现已打造「HCI+AICP新一代超融合」解决方案,只需在原集群基础上增加一台GPU节点,就能基于本地集群快速部署并承载DeepSeek在内的企业级大模型。
除了支持英伟达GPU,深信服AICP算力平台和多家国产厂商开展了广泛的软硬件兼容测试,可适配天数智芯、昇腾、海光、沐曦、燧原等多款国产卡,为用户实现算力异构管理。
2、 线上托管云上线全新AI服务目录,提供DeepSeek等企业级大模型服务,用户可通过订阅来快速获取AI能力。
深信服托管云已支持基于专属资源+AICP的方式,为用户提供专属的企业级大模型服务,可满足用户对于线上部署专属服务模型的需求。
深信服会持续丰富线上服务目录,用户可以很容易地通过订阅的方式,快速平滑地获取AI能力,如DeepSeek等模型服务。
3、 全新发布AI应用创新平台,助力用户快速构建大模型应用,让AI应用的开发和运营变得更简单。
深信服AI应用创新平台内置RAG最佳实践流程,支持智能分片与直连企业自有知识库。用户仅需通过简单操作,即可构建高质量的RAG应用。深信服AI应用创新平台支持基于业务评测数据集的应用效果评估,并自动生成优化建议,用户无需理解复杂技术细节,即可完成配置优化,实现效果提升。
据介绍,向AI升级后,深信服全面优化推理性能,让跑在一朵云上的大模型应用可以实现推理性能的大幅提升,降低大模型整体使用成本。
相比基于个人开发者常用的Ollama方案部署DeepSeek,深信服通过AICP算力平台的部署方案在多实例、并发推理场景中可实现5-10倍的性能提升。大模型并发度更高、吞吐量更大、推理响应延时更低,让用户在企业级AI应用构建及实际使用时,资源投入更低、体验更优。
4卡4090运行DeepSeek-32B模型,模拟64并发场景,做问答测试
以32B模型为例,日常问答场景(2k上下文),AICP并发是Ollama的8~10倍,总吞吐10倍以上。
硬件资源:INT4用2*4090,FP16用4*4090
知识库应用场景(4k上下文),AICP并发是Ollama的2倍,总吞吐4~8倍。
硬件资源:INT4用2*4090,FP16用4*4090
字节跳动与中兴通讯合作成立新品牌?回应来了12月18日消息,日前,有市场消息称,字节跳动豆包大模型要内嵌手机,最后可能找了中兴通讯,之后不排除成立一个新的品牌。消息称,字节跳动现在对于推理用的ASIC芯片需求巨大,英伟达昇腾可能比较贵,中兴通讯则可能...
微博COO王巍:AI从内容生产、传播、消费三方面重塑媒体行业10月28日消息,在新浪新闻2024探索大会上,微博COO,新浪移动CEO,新浪AI媒体研究院院长王巍发表《探索传媒新质生产力微博构建大模型应用生态》主题演讲。他表示,AI对媒体行业的重塑出现突飞猛进的进展。在内容生产...
亚马逊推出AI购物助手Rufus 可回答商品信息、提出建议等IT之家2月2日消息,亚马逊推出了一款新的生成式AI工具,帮助改善客户的购物体验。该AI助手被命名为Rufus,定位是一名专业的购物助理,可以回答问题、提出建议并提供商品比较,引导客户完成在线购物之旅。据亚马逊官...
OpenAI首席产品官:最快下月发布更智能的GPT o3模型1月23日消息,OpenAI首席产品官凯文・维尔(KevinWeil)今天在达沃斯世界经济论坛上表示,OpenAI预计将在2月或3月发布更智能的GPTo3模型。他还提到,该公司准备在第一季度推出其首批AI智能体工具,使ChatGPT能够在计...
传美国国会下月召开AI峰会 马斯克等众多大佬都将出席8月29日消息,消息人士表示,埃隆·马斯克(ElonMusk)以及马克·扎克伯格(MarkZuckerberg)等美国知名科技公司高管将于下月前往美国国会山,参加美国参议院参议员查克·舒默(ChuckSchumer)主持的首次人工智能洞察...
如何选购kawai电钢琴??2023年kawai选购攻略大全来了!
哈喽!最近有超多小伙伴问我:怎么选一台kawai性价比高的电钢琴?为了解决大家在选择kawai电钢的困惑,我专门...
苹果招募生成式AI人才 提供数十个大模型岗位
根据最新的招聘信息,苹果正在扩大其生成式人工智能领域的专业团队,并计划将这项技术应用于iPhone和iPad等...
昆仑万维旗下Opera生成式AI服务海外用户数突破100万
昆仑万维旗下Opera宣布,生成式AI服务Aria海外用户数突破100万。2023年5月24日,Opera正式推出生成式AI助理...
创始人王慧文退出 美团成AI公司光年之外唯一股东
8月7日消息,据国家企业信用信息公示系统显示,北京光年之外科技有限公司在近期完成工商变更,创始人王慧文...