AI观察|GPU持续升级 怎么样应对算力“贫富差距”
英伟达的GPU又升级了。3月19日,英伟达CEO黄仁勋发布了最新的B200算力芯片GPU,FP8精度下的训练性能是上一代的2.5倍,FP4精度下的推理性能更是达到了上一代的5倍。然而,这场技术狂欢背后,却令AI领域算力的“贫富差距”更加凸显。
大模型获得突破以来,无论是产业巨头还是学术界,都在为获取足够的算力资源而苦苦挣扎。去年9月,甲骨文董事长埃里森和特斯拉CEO马斯克在硅谷一家豪华餐厅中向黄仁勋“乞求”GPU的场景还历历在目。近日,AI领域知名学者、斯坦福大学教授李飞飞再次表达担忧:高校的AI研究已经被高昂的GPU成本所拖累,逐渐被产业界甩在身后。
Meta可以为模型训练采购高达35万个GPU,而斯坦福大学的自然语言处理小组,却总共只有68个GPU——这种“万”与“个”的悬殊对比,揭示了算力鸿沟的残酷现实。为此,李飞飞提出建立“国家级算力与数据集仓库”的计划,并称其重要性堪比“登月投资”。
对我国而言,情况同样严峻。以GPU等AI芯片为代表的稀缺算力资源,优先向少数大规模的公司供给,高校、中小微企业苦于高昂成本难以参与其中。
在此背景下,超大规模智算中心的建设或许能为解决算力短缺问题提供一个思路,成为中国在全球AI竞争中取得优势的重要一环。
事实上,我国早已在算力基础设施上展开积极布局。“东数西算”工程作为国家级的工程建设项目,在全国范围内规划了八大枢纽节点和十大数据集群,并且已经取得显著进展。
以十大集群之一的韶关集群为例,前不久,其首批上线运营的华南数谷智算中心,一期规划算力16000P(1P约等于每秒1000万亿次计算速度),规模居粤港澳大湾区首位。预计到2025年初,韶关集群的智能算力规模将达到50000P,成为大湾区、广东省乃至整个华南地区的最大体量。这些算力资源,不但可以满足高校的科研需求,还可以为中小企业等各行各业提供实时、高效的算力支持。
然而,超大规模智算中心的建设并非易事。它需要突破一系列核心技术,其中异构算力的统筹和调度尤为关键。异构计算,即多种算力的混合使用,对于实现全国算力中心的大一统和优化资源利用至关重要。在多个数据中心或智算中心相互连通的复杂场景下,异构计算的挑战前所未有。传播内容认知全国重点实验室研究员张冬明表示,在异构算力的建设和发展过程中,国产AI芯片必将扮演逐渐重要的角色。然而就目前来说,受配套软件、固件支持等生态系统方面的制约,真正能够有效支撑大模型训练的国产算力集群并不多。
这些情况已被有关部门敏锐捕捉到。今年年初,工业与信息化部等七部门联合印发的《关于推动未来产业创新发展的实施建议》中提到:“加快突破GPU芯片、集群低时延互连网络、异构资源管理等技术,建设超大规模智算中心,满足大模型迭代训练和应用推理需求。”
专家认为,在当前阶段,大部分算力性能的提升大多数来源于“系统集成”。既有基于小芯粒技术的芯片级集成,也有基于一卡多芯技术的板卡级集成,还有基于液冷和高互联的机架级集成。因此,建议在加强单芯片能力的同时,应注重提升AI算力的系统集成能力,从单点突破转向横向拓展,对芯粒、液冷、互联等有关技术持续投入,进一步实现AI算力系统的高算力、高效能、高稳定、高性价比。
当前,智算中心正在成为通用AI发展的关键。而超大规模智算中心,正在成为智算中心持续演进的未来形态。随着智算中心的发展成熟,“开箱即用”的智能计算服务有望成为主流。当然,这需要产业界、学术界和政府的通力合作。
在算力资源的统筹配置方面,业内人士建议,政府能够最终靠行政手段,以统筹建设的方式集中采购,通过“云化”将算力按P销售,再以“算力券”等的方式补贴中小型科研机构,以促进AI的研究和应用发展。
一盒“免费”鸡蛋、一款新型“打理财产的产品”、一次“低价旅游”……面对五花八门、琳琅满目的消费市场,老年人应如何擦亮双眼,避免被虚假骗局蒙蔽?对此,人民网联动中国消费者协会,共同推出“护航银发消费”特别策划,从保健食品、金融理财、旅游出行、养老生活等方面,以案说理,为老年人的健康权益保驾护航,为银发族身边的子女提供实用建议和指导,让父母的晚年生活拥有更多温暖和幸福。…
英伟达的GPU又升级了。3月19日,英伟达CEO黄仁勋发布了最新的B200算力芯片GPU,FP8精度下的训练性能是上一代的2.5倍,FP4精度下的推理性能更是达到了上一代的5倍。…
人民日报社概况关于人民网报社招聘招聘英才广告服务合作加盟供稿服务数据服务网站声明网站律师信息保护联系我们
人 民 网 股 份 有 限 公 司 版 权 所 有 ,未 经 书 面 授 权 禁 止 使 用