ag百家乐下载
ag百家乐下载
ag百家乐下载

ag百家乐贴吧

ag百家乐苹果版下载 20万颗GPU“烧出”Grok3:业界称“豪恣出遗迹”仍可行,算力仍是护城河
发布日期:2024-05-20 01:47 点击次数:197

Grok 3标明依靠算力堆积的“豪恣出遗迹”旅途当今依旧可行。

2月18日,首创东谈主埃隆·马斯克旗下xAI推出最新大模子Grok 3。据先容,天然Grok起步较晚,但MMLU(大边界多任务讲话相识基准测试)得分已追上ChatGPT,Grok 3和轻量化的Grok 3 mini在多个性能上王人特等或比好意思Gemini、DeepSeek和GPT-4o等敌手。

Grok 3在xAI位于孟菲斯的Colossus超算中心进行检修。xAI裸露,这一超算中心的算力如故翻倍,领有的GPU数目已达到20万颗。

本以为是马斯克又在虚张威望,但此次Grok 3简直莫得令东谈主失望。

基于Grok 3的优秀证据,不少业内东谈主士再度披露了对算力堆积这种“豪恣出遗迹”旅途的认同。更有分析东谈主士指出,Grok 3讲明了缩放活动(scaling law)在达到上限之前仍有发展空间——这对总共这个词行业来说是一个令东谈主荧惑的信号。

AI大牛、前OpenAI 揣度员、前特斯拉AI发扬东谈主Andrej Karpathy在成为Grok 3首批用户后,在酬酢媒体上发布了一份瞩主义测评回来。他赞好意思了Grok 3 的逻辑推理身手,并指出其性能可与OpenAI的o1-pro模子相比好意思,后者的月度用度为200好意思元。他还合计,Grok 3的推理身手略优于DeepSeek-R1、谷歌的Gemini 2.0 Flash Thinking。

不外,他也指出了Grok 3的一些局限性,包括搜索功能DeepSearch中偶尔出现的幻觉和事实特地。

“磋商到该团队约略1年前才从零驱动,这简直令东谈主难以置信,他们昔时所未有的速率达到了险些业内最高水平。”Karpathy暗示。

不少科技领域的分析东谈主士标明,Grok 3的得胜,在很猛进度上即是依靠算力堆积。

东谈主工智能劳动网站Maginative首创东谈主兼主编Chris McKay合计,xAI自配置以来,仅用了一年多的时刻就飞速征战出了具有竞争力的AI时期,其得胜很猛进度上收货于翻新的筹算基础法子和对多数筹算资源的造访。跟着更多超算集群的规划,xAI似乎有望继续普及模子身手。

沃顿商学院东谈主工智能解说Ethan Mollick合计Grok 3统统相宜预期。他指出,东谈主工智能仍在加快发展,速率和算力王人是护城河,“东谈主才和芯片即是打造前沿模子的公开诀要”。

“护城河可能不深,但足以淹死初创企业。”雪城大学全球传播学院解说、规划公司The Palmer Group首席推行官Shelly Palmer评呈报。在他看来,Grok 3的护城河“如故被钞票填满”。英伟达H100 GPU的价钱在3万至4万好意思元之间,即使马斯克拿到了扣头,ag百家乐贴吧这仍然是一项30亿到50亿好意思元的纷乱投资。

公开信息夸耀,OpenAI检修GPT-4用了约略2.5万张A100 GPU,而H100的检修婉曲量远高于A100;据DeepSeek公布的信息,DeepSeek-V3模子预检修用度仅为557.6万好意思元,在2048块英伟达H800 GPU(针对中国商场的低配版GPU)集群上耗时55天完成。

跟着DeepSeek的横空出世,不少东谈主淡薄缩放活动(scaling law)可能会失效或者不再统统适用。缩放活动是AI揣度中的一个遑急调换原则,它合计,在大多数情况下,增多边界(模子参数、数据量、算力)王人能提高模子的证据,但效益递减。

科技领域博主Zain Kahn暗示,近几个月来,有不雅点合计,向大模子干涉更多数据和算力将不再成效,但Grok 3讲明了这种怀疑并不正确。xAI才进入这个领域两年,就如故与顶尖公司伸开了浓烈竞争,致使打败了顶尖公司。

Kahn强调说,xAI纷乱的Colossus超算集群将大模子推向了新的高度,“预检修缩放活动在达到上限之前仍有发展空间——这对总共这个词行业来说是一个令东谈主荧惑的信号。”

机构也对算力的作用给出了确定,指出算力堆积仍是模子向上的关键变量。

华泰证券在2月20日发布的研报中淡薄,Grok 3讲明预检修在算力普及下仍能突破。天然当今在预检修数据上存在瓶颈,关联词合成数据、RL(强化学习)数据、工程身手优化,致使Transformer架构迭代,或能徐徐梗阻瓶颈,Grok 3如故讲明预检修依然有突破空间。

国泰君安也提到,xAI算力资源储备与开源战略的均衡,突显算力与算法的同等遑急性。腾贵的算力干涉如故造成了显耀的时期门槛。

中信证券指出,Grok 3当作全球首个在十万卡集群上检修的大模子,综称身手较前代模子Grok 2普及显耀,意味着算力堆积仍是模子向上的关键变量之一。

电话咨询
微信咨询
微信:
ag百家乐下载
返回顶部