AG百家乐有什么窍门 对话郑纬民院士：用超当作念AI大模子历练，资本只需英伟达1/6
发布日期：2024-12-11 06:56 点击次数：158
文 丨 新浪科技 周文猛
在历练东谈主工智能大模子的经过中，采购超等计较服务或存储器，也正在成为灵验缓解算力心焦的新路线。
近日，中国工程院院士、清华大学计较机系线路郑纬民在与新浪科技一样中指出，“以前历练一个大模子要参预几十亿，但如果把大模子历练拿到超算上去作念，价钱只需要用到英伟达的六分之一。”
此外，郑纬民还指出了一种全新的AI推剃头展新趋势——“以存换算”。他以清华大学与AI独角兽企业月之暗面共同蛊惑的Mooncake期间框架为例，先容了该期间基于“以存换算”念念路，匡助月之暗面kimi智能助手缓解算力垂危需求的旨趣，从而幸免服务器宕机。
“把大模子历练搬到超算上，价钱只需英伟达1/6”
郑纬民看到，在经过ChatGPT发布后全球各科技企业快速追逐后，本年大模子有两个脾气：第一，基础大模子进入多模式样态，不惟一文本，还有图像、视频等；第二，的确用起来了，大模子正与各行业实质的攀附，比如大模子+金融，大模子+医疗、大模子+汽车、大模子+智能制造等。
“大模子的确在与国民经济GDP、跟东谈主们的生流水平密切攀附，我一直观得基础大模子咱们的水平跟好意思国比也曾差少许，但‘大模子+’这件事，咱们也曾有但愿率先好意思国的。”郑纬民示意。
联系词，大模子着实的应用经过中，在触及数据赢得、数据预处理、模子历练、模子微调、模子推理等五个要领在内的全生命周期中，却需要多量的算力资源。如何以更低的资本赢得愈加高效、更高可靠的AI大模子算力资源，成为每家企业皆在念念考的问题。
迫于国外高端芯片赢得的勤劳，现在国内为得志AI大模子历练带来的海量算力需求，主要发展出的一种贬责念念路是：通过搭建千卡、万卡集群，通过海量芯片半导体堆叠，采购多家厂商的芯片进行异构卡集中历练，来得志我方大模子产物历练的海量算力需求。但在郑纬民看来，这种样式虽能贬责算力紧缺问题，但也存在一些流毒。
发轫，关于构开国产万卡系统，建成诚然首要，但用好却很难。郑纬民以我方作念高性能计较的切身资格照葫芦画瓢谈：“建一个2000卡的系统，其中1000块用英伟达芯片，另外1000块用其他厂家的，系统建成也启动起来了，但最终发现这些芯片性能不一，有的技艺小少许，有的技艺大少许，一个任务下来分红2000份，还要给其中1000个芯片分小少许的任务，另外1000个分大少许的任务，这也曾静态的，如果是动态的，则平直分红了2000份最小的进行处理，性能很低。”
郑纬民指出，大鸿沟算力集群成就经过中存在木桶效应，有的计较卡能力强，有的则弱，就像统统这个词桶装若干水最终是由短板决定的，板子再长也莫得用。“是以1000个老GPU和1000个新GPU合起来，性能比2000个老GPU性能还低少许，作念大鸿沟算力集群的资本也挺大。”
在郑纬民看来，进行大鸿沟异构卡集中历练，在静态环境下想要已毕最高的性能很难，网络彩票和AG百家乐并不合算，如果再触及他乡卡，就会更难，数据从北京传到贵州，贵州作念出来甩手再送到上海，这中间触及的时期资本极高。“钱少的东谈主不需要作念，钱多的东谈主不错试试。”
郑纬民提议企业尝试取舍超算来进行AI大模子历练。“我国有14亿超算系统，钱皆是国度付的，有的机器还有少许宽裕，因为国内超算机器收费低廉，不像英伟达要把机器资本收追念还要收货，是以大师作念大模子历练到青岛神威超算上作念，六分之一的价钱就够了。”郑纬民示意。
“以存换算，简略灵验裁汰AI推理资本”
事实上，大模子着实的应用经过中，在触及数据赢得、数据预处理、模子历练、模子微调、模子推理等五个要领在内的全生命周期中，需要多量算力资源的同期，也需要有着多量的存储资源，用于存储海量计较甩手。尤其在模子推理经过中，如何存得多、传得快、性价比高，成为统统这个词行业皆在共同念念考的问题。
此前，郑纬民曾公开说起，“AI存储是东谈主工智能大模子的要津基座，存储系统存在于大模子生命周期的每一环，是大模子的要津基座，通过以存强算、以存换算，先进的AI存储简略提高历练集群可费用，裁汰推理资本，提高用户体验。”
在与新浪科技一样中，郑纬民共享了“以存换算”的基喜悦趣。他指出，“大模子无论是历练也曾推理，皆需要很大的算力，同期也需要许多存储，用来存储大模子历练出来的海量参数，以及推理经过中产生的一些经过数据。”联系词，如果统统这个词历练或推理经过中需要存储的数据越来越多，这会导致存储器资源紧缺，最终反而又会成为大模子性能提高的“包袱”。
据郑纬民先容，为贬责上述问题，清华大学想了两个主义：第一，在推理经过当中，现在主若是推理卡劳动，主机CPU跟主机存储器是无谓的，因此，不错想主义把主机上的存储工具到推理经过中，提高了存储器哄骗率，性能提高的同期，也粗浅了络续购买推理卡的资金资本；第二，将推理经过中产生的共性的、用户共用的内容存储起来，通过存储必要推理经过中产生的数据，当后续际遇雷同问题的时候平直调用，平直省去了每次际遇雷同问题时推理经过，提高了效果，同期粗浅了资源。
郑纬民以清华大学与月之暗面共同研发的Mooncake期间框架为例先容指出，“通过将不同用户与Kimi对话的大师内容提取出来，存储下来，这不仅减少了每次用户发问皆要从头生成的经过，粗浅了许多算力卡，也减少了kimi因探听过大导致的‘探听蔓延’或‘宕机’等问题。”
海量资讯、精确解读，尽在新浪财经APP
使命剪辑：李昂 AG百家乐有什么窍门