ag百家乐苹果版下载
热点资讯
ag百家乐稳赢打法 OpenAI揭秘GPT-4.5磨真金不怕火: 10万块GPU, 险些全员上阵, 出现“苦难性问题”
发布日期：2024-03-25 19:16 点击次数：84
智东西4月13日音问，近日，在OpenAI史上最贵模子GPT-4.5发布1个多月后，OpenAI勾搭独创东谈主兼CEO萨姆·阿尔特曼（Sam Altman）与GPT-4.5的3位中枢技能东谈主员进行了一场45分钟的高信息量对谈，初度袒露了这款模子研发耗时严重超期、野心集群频繁故障、提高旅途难以预测等诸多不为东谈主知的细节。
GPT-4.5式样启动于两年前，是OpenAI迄今为止最周详的筹备，波及数百东谈主团队合营，阿尔特曼称OpenAI为了这一式样险些是“全员上阵”。
研发历程中，OpenAI团队际遇了不少“苦难性问题”。10万卡集群泄露了基础设施的荫藏的小概率、深眉目故障，为了衡量时效与性能，OpenAI的系统团队不得不“边修边训”。其中，有一个荫藏的小bug让集群频繁报错，直到磨真金不怕火程度条走过约40%才被揪出。
不外，这也匡助OpenAI打造了更为坚硬的技能栈：如今不错仅用5-10东谈主便复刻出GPT-4级别的大模子。GPT-4至GPT-4.5的性能提高约为10倍，取得了“难以量化但全地点增强的智能”，这点让OpenAI职工们都感到不测。
OpenAI团队依然贯通到，要兑现下一个10倍乃至百倍的性能提高，算力已不是瓶颈，要道在于数据遵守，即设备出大意欺诈更多算力，从不异数目的数据中学到更多知识的标准。
同期，系统正从单集群转向多集群架构，畴昔的磨真金不怕火可能波及1000万块GPU界限的合营学习，其容错智商需要进一步提高。
对谈中，OpenAI职工们还共享了数据长尾效应与Scaling Law之间的关系、机器学习与系统团队深度协同遐想（co-design）模式的上风、无监督学习的践诺与“毫不放过任何非常”的问题排查文化，全地点展现了GPT-4.5研发时期的OpenAI的念念考与获利。
除了阿尔特曼以外，参与本次对谈的3位OpenAI职工分别为Alex Paino（负责GPT-4.5的预磨真金不怕火机器学习算法）、Amin Tootoonchian（OpenAI首席系统架构师）与Daniel Selsam（研究数据遵守与算法）。
以下是阿尔特曼与OpenAI GPT-4.5团队对谈视频的完整编译（为提高可读性，智东西在不不屈同意的前提下进行了一定的增删修改）：
01. GPT-4.5两年前已启动， 式样耗时远超预期
Sam Altman：打造一个如斯宽广的模子（GPT-4.5），究竟需要什么呢？
Alex Paino：大要两年前，咱们开启了这一式样。其时，OpenAI行将上线一个新的大型野心集群，咱们团队看到了这个契机，作念了一系列责任来肯定模子需要包含的功能，进行了普遍编造风险的运行测试。
咱们为此制定了一个很长的筹备，波及从系统到机器学习的通盘技能栈。为了编造风险和为磨真金不怕火作念准备是一个漫长的施行历程，而磨真金不怕火自己亦然一个极度大的工程。
Amin Tootoonchian：我认为这个历程从一着手，就需要机器学习团队和系统团队密切合作，直到咱们明确了想要磨真金不怕火什么模子，然后着手磨真金不怕火。
咱们依然在机器学习和系统方面都作念了预测，试图尽量松开预期和现实之间的差距。但由于咱们的责任节拍很快，还要欺诈最新的野心资源，模子磨真金不怕火就成了难以提前完整谋划的事情。
咱们险些老是带着许多未治理的问题开启磨真金不怕火，并试图在运行历程中克服挑战，取得进展。主要解法就是增多更多的野心资源。
终末阶段是施行，这需要许多东谈主耐久插足普遍元气心灵和能源，才调完成磨真金不怕火历程。
Sam Altman：你合计咱们的预期和现实的差距到底有若干？
Amin Tootoonchian：系统方面，在着手的时候，咱们鄙俚离预期的情状很远。咱们老是靠近一个遴荐：到底是推迟启动，恭候问题治理，如故提早启动并在历程中治理问题。这老是需要衡量，要幸免分歧理地延前程程。
但险些老是会际遇一些出东谈主意料的问题，咱们要作念的就是尽可能地处理好这些节点，处理好未知成分，并为模子磨真金不怕火制定筹备。
Alex Paino：在这个式样中，咱们的主张是作念出GPT-4.5，这意味着其智商要比GPT-4贤达10倍。这是咱们大要2年前设定的启动主张。
这个历程中发生了许多事情，咱们在念念考到底能作念得更好，如故会不如预期？这是一条极度复杂的历程，但最终，就咱们插足的有用野心而言，咱们得到了一个咱们认为达到了比GPT-4贤达10倍的模子。
Amin Tootoonchian：在施行方面，GPT-4.5式样的耗时与咱们一着手瞻望的相去甚远。
02. 如今磨真金不怕火GPT-4级别模子， 仅需5-10东谈主即可完成
Sam Altman：集群在从1万卡拓展到10万卡的时候，为什么际遇了这样多问题？
Amin Tootoonchian：我认为，如若系统设备者满盈历害，大部分问题是能在小界限阶段就不雅察出来的。
还有些问题并不是大界限磨真金不怕火阶段额外的，而是正本就每每出现，但界限提高后就会变成苦难性问题，特别是当团队并未提前意预见这些问题会恶化到如斯程度。
Sam Altman：有哪些事情形成了苦难性的后果？
Amin Tootoonchian：我认为基础设施的问题是人所共知的，不论是故障率、故障类型如故故障总量都很高。10万卡集群是一个大界限的样本池，因此咱们也发现了算力供应商都莫得不雅察到的问题。
辘集是其中一环，单个加快器也会出问题。不外这亦然这种系统的奥秘之处——险些通盘组件都需要按预期责任，才调产生预期收尾。咱们的责任就是要尽量减少这种问题。
Sam Altman：在集群界限的极限上开展责任真的很勤勉，但我也珍惜到，作念那些不再是技能前沿的事情变得容易多了，磨真金不怕火GPT-4.5需要数百东谈主，OpenAI险些全员上阵。
但今天如若让你们从OpenAI中挑选出一个最小的团队，用咱们所知谈的一切知识和通盘的系统责任重新着手再行磨真金不怕火GPT-4，需要若干东谈主？
Alex Paino：我认为目前要作念出GPT-4级别的模子，可能需要5到10东谈主驾御。在完成GPT-4.5的历程中，技能栈依然有了很大改良。
其实，在咱们在磨真金不怕火GPT-4.5的历程中依然作念了类似的事情——咱们磨真金不怕火了GPT-4o，这是一个GPT-4级别的模子，使用了许多来自GPT-4.5研究式样的疏导内容再行磨真金不怕火。进行那次磨真金不怕火所用的东谈主要少得多。
03. 数据遵守是大模子纵容要道， 新一代硬件带来诸多挑战
Sam Altman：从你的角度来看呢，Dan？为什么磨真金不怕火大模子很难？
Daniel Selsam：我认为作念任何新事物都很难。我认为即使只是发现别东谈主作念了某事，它也会变得容易得多，因为最难的部分是一着手就有作念某事的信念。我合计只是是知谈某事是可行的，就是一个超强的舞弊码，让事情变得容易许多。
Alex Paino：咱们正在将GPT预磨真金不怕火运行膨胀到之前的10倍，老是会发现一些道理的新东西，这些东西你不一定能意预见。
Sam Altman：在预磨真金不怕火界限上兑现下一个10倍或100倍的增长需要什么？
Daniel Selsam：数据遵守。Transformer架构（也就是GPT）在欺诈数据方面极度高效，它能很好地招揽和压缩信息，并兑现泛化。它最大的特质就是能用野心资源高效地招揽信息。
然则，它从数据中取得细察力的深度是有限的。当野心智商快速增长，而数据增长相对平缓时，数据就会成为这种圭臬模式的瓶颈。这就需要算法立异，设备出大意欺诈更多算力从不异数目的数据中学到更多知识的标准。
Sam Altman：你们认为除此以外咱们还需要什么来保持膨胀？
Amin Tootoonchian：我的谜底是对于系统的。我认为GPT-4.5所需的巨大责任量，践诺上是模子规格带来的势必收尾。咱们无法用与GPT-4完全疏导的技能架构来磨真金不怕火GPT-4.5。
在情状经管方面，由于所需野心资源已超出单集群承载智商，咱们不得不转向多集群磨真金不怕火架构。为了兑现这一主张，咱们必须在短时期内整合多个不同的责任流。
天然这照实匡助咱们取得了阶段性纵容，但要兑现下一个数目级的性能提高，仍需治理若干已知但被暂时摒弃的技能难题——这些问题是无法隐匿的。恰是这类技能衡量约束延长着完整系统的研发周期，咱们耐久在追求最优实施决议的历程中作念出战术性采用。
需要明确的是，系统自己并非终极主张，其践诺产出价值才是中枢考量。就下一个10倍性能提高而言，我认为容错智商的纵容至关进击。咱们需要构建与责任负载深度协同的容错机制，以显赫编造运维惊骇。面前超大界限系统的运维复杂度，与既往系统存在践诺差异。
Sam Altman：你知谈在GPT-4.5磨真金不怕火中，由于某些组件导致失败的比例是若干吗？
Amin Tootoonchian：我莫得具体数字可供共享，但一般而言，在新一代硬件部署初期，系统运行往往靠近诸多未被充分认识的技能挑战。咱们遴荐在问题尚未完全明确的情况下激动式样，这导致初期运行失败率居高不下。
但训导标明，跟着根蒂原因的识别和治理，故障率会显赫编造。这一现象践诺上响应了咱们对基础设施认识的深化历程——有些东谈主称之为基础设施的计帐或交融基础设施的基本问题。
施行的早期阶段险些老是相当横祸，咱们在激动式样的同期，也在络续发现和治理新式故障模式，但最终失败率会冉冉着落，正常运行的时期变多。
这践诺上是个优先级衡量的问题：在基础设施生命周期的早期阶段，其故障风险往往难以准确预估；而如若过度追求终极联想情状（原文为“City Estate”，联想城邦式遐想），反而可能导致系统在初期阶段的可用性发挥极差。
04. 野心资源不再是主要瓶颈， 算法尚未触及表面上限
Sam Altman：天然推理模子是咱们畴昔技能栈的要道构成部分，但让咱们暂时聚焦于传统预磨真金不怕火模子的发展界限。假定咱们领有无尽的GPU算力、无尽的辘集带宽和无尽的电力供应，但仍受限于面前存在的技能瓶颈——包括系统可靠性问题、容错磨真金不怕火标准的缺失，以及现存数据集的限制。
按照咱们每个主要GPT版块号兑现100倍界限提高的演进规定，基于面前的技能界限，预磨真金不怕火模子的发展究竟能达到什么水平？具体到GPT系列模子，以咱们现存的知识体系，表面上究竟大意磨真金不怕火出什么样的模子？能作念出GPT-5.5吗？
Alex Paino：从机器学习和算法发展的角度来看，咱们尚未触及明确的表面上限。事实上，咱们才刚刚着手探索数据遵守更高的算法，以及怎么更充分地欺诈现存数据资源。这个近况极度道理——即即是像GPT-4这样的模子，很大程度上仍是在野心资源受限的条目下设备的，这也决定了此前大多数研究的主张。
但目前的形势依然完全不同。自GPT-4.5以来，在某些要道维度上，数据而非野心正成为主要的制约成分。这种更动让联系研究变得不那么令东谈主欣慰。
Sam Altman：不外这照实是一个惊东谈主的进展，而宇宙可能还没完全贯通到：在咱们大意构建的最好模子上，野心资源已不再是主要瓶颈。这个更动语要点长，毕竟咱们依然在野心受限的环境中生涯了太久太久。
05. 模子全体性能提高可预测， 智能提高旅途难以预测
Sam Altman：在磨真金不怕火GPT-4.5历程中，咱们学到的最特地念念的机器学习训导是什么？说说你们想共享的就行。
Amin Tootoonchian：总的来说，最引东谈主深念念的是那些偏离咱们预测的情况——特别是当咱们试图交融为什么践诺发挥会偏离预期弧线时。
Alex Paino：最让咱们诧异的发现之一是：不同机器学习组件的膨胀性发挥差异巨大。有些部分能很好地膨胀，有些则不成。这是咱们在践诺磨真金不怕火历程中才真的贯通到的。这段阅历给了咱们许多启发。
Daniel Selsam：我认为GPT范式的两大中枢特征在于：其一，测试亏损（掂量模子在未见过的测试数据上发挥好坏的目的）可被准确预测；其二，模子性能随界限扩大呈现可预测的提高。更神奇的是，测试亏损的编造会以万般难以量化却又令东谈主惊叹的深重款式，荡漾为全地点增强的智能水平。
Sam Altman：你是否对此持皆备乐不雅作风？完全认可这一不雅点吗？
Daniel Selsam：其实我想说的是，ag百家乐接口多少钱从GPT-4.5测试中咱们发现了特别道理的现象——再行测试后，模子展现出的诸多精妙智商完全超出了通盘东谈主的预期。
咱们确信它会以万般难以事前界说的款式变得更智能，而践诺部署后，从用户欣慰度中就能不雅察到这些深重层面的提高：更强的学问储备、更精确的语境交融智商、更邃密的语义把执——这恰是那些额外测试亏损带来的魅力。在我看来，Scaling Law在这一维度上得到了完整考据。
06. 机器学习与系统团队合作密切， 不会“自扫门前雪”
Sam Altman：通盘磨真金不怕火历程中最积极的时刻是什么？最心爱的顾虑是什么？赫然有许多横祸，但但愿那些横祸依然有所缓解了。
Alex Paino：我照实有一个这样的时刻。咱们在磨真金不怕火时期作念了许多机器学习方面的责任，我认为咱们在运行历程中作念出的一些窜改产生了相当好的影响，可能比预期的还要好，这对咱们来说是一个极度令东谈主欣慰的时刻。
Amin Tootoonchian：对我来说，在磨真金不怕火的同期，咱们也同期在构建基础设施。咱们敬佩能高出这个性能绝壁，且咱们谋划，每个东谈主都在施行，但这需要很万古期。这是清贫的责任，皆备比我设想的要难。我的预测是错的，我低估了治理这些问题需要的时期。
当团队终于攻克了那些要道问题，性能得到显赫提高的那一刻，于今让我明日黄花。你能赫然感受到通盘团队的能量更动——通盘东谈主蓦然充满了劲头，带着全新的能源向最终主张冲刺。
最神奇的是，咱们情状追踪器上自满的瞻望完成时期从开首的两年着手约束裁汰，最终锁定在一个明确的时期节点上。这种可见的进展对团队士气的提振是难以揣摸的。我认为这就是它的奥秘之处。
我想特别强调的是，机器学习的责任从未停滞。即使在磨真金不怕火启动后，这种机器学习协同遐想的历程仍在络续。机器学习团队不仅主动跟进那些曾被标识为“后续处理”的问题，还络续委用了真的优化磨真金不怕火时期的改良。
这完全体现了咱们的团队精神——这里不存在“各东谈主自扫门前雪”的责任界限，而是一种真的无缝的合营，这种凝合力恰是咱们最坚硬的上风。
07. GPT-4.5预磨真金不怕火是最周详的筹备， 毫不放过任何非常
Daniel Selsam：外界对于此次磨真金不怕火自己的挑战性和预测准确性依然商榷许多。但事实上，这一切都建立在极其周详的谋划基础上——你要不再详备谈谈这方面？
Alex Paino：这皆备是咱们迄今为止最周详的筹备。正如我所说，早在肃肃启动磨真金不怕火前一年，咱们就依然着手筹备这个式样。时期咱们进行了屡次大界限的风险适度测试运行。
咱们特别珍惜递次渐进地引入通盘改良：从高置信度的基础成就着手——不错交融为类似GPT-4的熟谙架构，这个成就在机器学习层面咱们依然完全掌执——然后像叠积木般层层类似新本性。
要道是要严格考据每个改良在不同界限下的膨胀性：不仅要看到性能提高，更要确保这些提高能跟着模子界限扩大而络续有用。许多改良在小界限测试时发挥精粹，但在大界限应用中就会失效。
因此通盘历程中咱们都保持着高度警惕，约束迭代完善咱们的膨胀定律顺前言。通过此次风险适度实践，咱们集中了普遍谨慎训导，这些训导将连续带领畴昔GPT系列模子的设备。
Amin Tootoonchian：我铭记有个特别道理的蓦然让我相称厉害。要知谈咱们每次启动磨真金不怕火任务险些都免不了际遇万般bug，这依然是家常便饭了。但要道是要确保进展不受阻，得时刻阐述当远景度是否照实在正轨上，这些bug会不会对磨真金不怕火健康度形成致命影响。
天然咱们开首极度确信存在要紧弱势，但通过搭建的整套监控体系，咱们依然大意精确分袂问题根源：是硬件故障？哪类硬件故障？是数据损坏？如故机器学习模子自己的bug？或者是代码中的竞态条目？
其时的情况是，咱们同期开着多个问题商榷区，万般症状丰富多采。经过一系列bug成立后，咱们堕入了僵局：目前堆叠着多个未解问题，通盘东谈主都在苦念念冥想——这些是不同bug导致的？如故某一个bug在作祟？
自后咱们搞了个投票，让团队成员票选最可能的根源。收尾最不被看好的选项反而掷中真相：果然是PyTorch上游的torch.sum函数出了问题，一个肤浅的乞降运算。
这个bug特别特地念念。要知谈咱们主要使用Triton内核，只好在某些不足轻重的边际场景才会回退到torch运算。而咱们的特定代码旅途触发的这个torch.sum函数bug，会因数据散布本性极未必地激励违纪内存看望——它在野心内存偏移量时出了过失。
最戏剧性的是，当某位工程师终于定位到问题并提交成立后，通盘症状差异的报错果然全部覆没了。环球欣慰地把Slack频谈从“多bug表面”集体更名为“单bug表面”，场合特别欢笑。
这个bug藏匿了多久呢？从磨真金不怕火早期就存在，直到程度条走过约40%才被揪出来。发现历程也充满戏剧性：其时有个复杂内核贯穿调用序列，第二个调用触发了违纪内存看望。
天然这种崩溃频率极低（每几百以致上千步磨真金不怕火才出现一次），很容易被行动偶发故障忽略，但咱们的团队准则就是：毫不放过任何非常。这个故事最精彩的部分就在于这种不轻言毁掉的相持。
08. 咱们离联想系统还很远
Sam Altman：GPT-4.5预磨真金不怕火启动后，环球还要作念哪些责任？
Alex Paino：咱们通盘东谈主都需要每每不雅察亏损弧线。除此以外，还要络续优化系统，改良在磨真金不怕火启动前未能完成的协同遐想（co-design）。咱们密切监控磨真金不怕火历程中的万般统计目的，确保莫得出现预期外的非常趋势。同期从机器学习角度探索可能的改良决议。天然预磨真金不怕火启动后数据层面的责任会暂时减少，但仍有普遍任务需要处理。
Amin Tootoonchian：我认为机器学习很大程度上依赖于正确性判断。预磨真金不怕火启动后，面对普遍噪声信号，咱们就像解读茶叶渣的占卜师，需要判断系统是否健康，这就是咱们的职责所在。
Sam Altman：在系统层面，什么会限制咱们进行模子磨真金不怕火？是芯片、处理器、内存、辘集如故电源？
Amin Tootoonchian：系统的奥秘之处在于，在进行协同遐想时，责任负载不错相宜你构建的基础设施。这里莫得普遍的说法说辘集是瓶颈，或者内存带宽是瓶颈之类的。即使是对于并吞规格的模子，咱们不错遴荐辗转资源需求，咱们不错遴荐创建一个愈加均衡的系统，但领有更多的内存带宽老是有利的。在莫得限制条目的情况下很难恢复这一问题。
在遐想GPT-4.5时，咱们可能系统方面要具备某种属性，这种属性要经过东谈主的训导才调产生。是以协同遐想对形成模子架构和架构元素很进击，某种程度上将系统和机器学习方面辩论在一皆。如若系统有一种咱们不太但愿领有的属性。我联想的情况是，一切都应该是解耦的，以给相互最大的空间。
有时候事情会辩论在一皆，咱们需要得意基础设施的要求，或者说事情本应如斯。许多时候，咱们需要一个均衡的系统、均衡的通讯。而咱们领有的最好的调遣技巧就是通盘这些协同遐想。
Sam Altman：咱们距离这样联想的系统主张还有多远？
Amin Tootoonchian：离阿谁主张还很远。构建系统的历程老是这样的：先有一个对于事物应该怎么运作的联想化不雅点，然后用现存资源去长入那些差异。
我认为咱们并不是为了表面而表面，只是为了商榷咱们但愿它变成什么式样，让它兑现，并尽可能地接近阿谁联想。这可能是系管辖域中最令东谈主欣慰的部分。夙昔东谈主们会说这是一个优雅的系统遐想，而最终历史会告诉咱们这个遴荐是正确如故无理的。
Sam Altman：如若能不才次大型磨真金不怕火前取得一个机器学习问题的谜底，你们最想知谈什么？
Alex Paino：我想知谈在有限数据和特定领域下，咱们应该秉承哪些算法。这天然是个时时的问题，但照实是最要道的。
Sam Altman：今后会进行1000万块GPU或更大的同步预磨真金不怕火吗？
Alex Paino：我认为会有，但未必是传统预磨真金不怕火模式，它的体式可能与现存技能天壤之隔，但仍会保留无监督学习的内核。
Amin Tootoonchian：我倾向于半同步模式。受物理规定限制，完全同步不太现实。
Daniel Selsam：我认为这更可能是去中心化的。肯定会有1000万块GPU共同责任在一个学习和施行任务的AI系统上，但像大脑的各个部分一样，相互并不一定会相互交流。
09. 算法改良产生类似效应， 推动数据遵守提高
Sam Altman：面前开首进的算法和东谈主类的数据遵守收支若干？畴昔有望追逐上吗？
Daniel Selsam：两者很难凯旋相比。讲话学习层面上的差距肯定是巨大的，要道在于怎么界说东谈主类视觉神经领受的信息量。我认为总体上算法的数据遵守比东谈主类低许多。
几十年来，深度学习一直温存算力遵守。除了数据和算力的增长，真的让东谈主惊喜的是算法改良产生的类似效应。算法性能每次提高10%或20%，类似在数据遵守上就会有显赫后果。到目前为止，还莫得围绕数据遵守进行这样的动员，因为在数据不盛开且野心智商受限时，这一作念法并不值得。
目前，咱们正在进入AI研究的新阶段，咱们将着手集中数据遵守的得胜。我认为，目前就预测咱们会际遇无法逾越的箝制是有些愚蠢的。东谈主类大脑的运行款式肯定与咱们算法改良不同，在这方面咱们要保持严慎。但我认为要对算法畴昔发展保持乐不雅。
Sam Altman：更大界限的预磨真金不怕火与模子更强的学习推明智商之间有什么联系性吗？
Alex Paino：咱们不雅察到的是，更好的预磨真金不怕火和无监督学习往往会提高模子的全体智能，并在泛化方面有很大匡助，这与推明智商是相反相成的，而推理在提高智能方面可能会更粗笨一些。我认为它们是互补的关系。
Sam Altman：预磨真金不怕火似乎在许多事情上大意通用，而磨真金不怕火一个模子只可让它在某一类事情上作念得很好，是这样吗？
Alex Paino：这点很道理，不外当你看到磨真金不怕火它们的数据时，就不会对这种情况诧异了。预磨真金不怕火的数据集范围极度大，咱们追求的是广度和万般性。而当谈到模子强化学习并让它不错明晰地取得精粹奖励信号和精粹的磨真金不怕火环境时，我认为很难兼顾数据集的广度。
Daniel Selsam：我同意，但我认为还有一个成分，预磨真金不怕火践诺上是在压缩数据，从而发现不共事物之间的辩论。它关乎类比，愈加详细。推理是在特定问题上需要严慎念念考的一种技能，也大意取得许多类型问题的治理标准。但在预磨真金不怕火历程中，在进步不同领域进行数据压缩时，不错学到更详细层面的知识。
10. 智能的践诺是压缩， 数据长尾效应让Scaling Law络续有用
Sam Altman：无监督学习为什么有用呢？
Daniel Selsam：要道是压缩。联想的智能形态是所罗门诺夫归纳（Solomonov induction），一般而言，机器学习会接头通盘的可能性，但倾向从更肤浅的容颜着手磨练。
面前预磨真金不怕火的践诺恰是一个压缩的历程，通过找到一个最简容颜来解释东谈主类迄今为止产生的所罕有据，以此兑现近似抒发。
Sam Altman：下一个Token预测怎么协助兑现压缩？
Daniel Selsam：统计学里有一个悖论——为什么深度辘集看似无法压缩却能兑现泛化？正常来讲，当领有普遍数据和一些小模子时，这些模子一定要阅历压缩才学到了东西。
在预磨真金不怕火中，数据和模子的界限都很大，有些东谈主就认为这种磨真金不怕火只是顾虑和插值学习，其实他们苛刻了压缩的另一种交融视角——序贯压缩（pre-quential compression），它像一个压缩器，即使数据权重很大，二进制也无需存储这些信息，欺诈下一个Token预测的收尾不错快速检索出有用信息，提高压缩遵守。
Sam Altman：磨真金不怕火GPT-4.5的历程滥用了普遍东谈主力、时期和财富，这其实不错看作念是一次考据Scaling Law的实验，而收尾说明它是有用的，而且还会络续很万古期。Scaling Law为什么不错被称之为天地规定？
Daniel Selsam：压缩程度越高，智能就越坚硬，这具有很长远的形而上学内涵。为什么磨真金不怕火更大的模子时期越长，压缩率就越高？这波及到许多表面，其中我心爱的是寥落默示（Sparse Representations）。
现实中的要道想法死守幂律散布（power law），比如第100个进击想法可能在每100个文档里才出现一次，存在赫然的长尾效应。这种散布本性导致需要大界限数据和算力来有用捕捉所辩论键想法ag百家乐稳赢打法，也决定了Scaling Law耐久有用存在。