摘要:大模型规模增长与AI应用扩大超节点需求,电互连架构面临规模扩展瓶颈
资料图:世界人工智能大会,壁仞科技展台。图:视觉中国 【财新网】“当前AI发展面临三大核心挑战:MoE(Mixture of Experts,专家混合)成为超大模型的主流架构、模型参数从千亿迈向数万亿、Agent(智能体)等应用场景要求百万级上下文长度。”7月17日,壁仞科技(06082.HK)AI框架架构副总裁丁云帆在媒体沟通会上称,仅凭单张 GPU 的算力性能,已难以独立承载上述复杂任务。
大模型规模增长与AI应用扩大超节点需求,电互连架构面临规模扩展瓶颈
【财新网】“当前AI发展面临三大核心挑战:MoE(Mixture of Experts,专家混合)成为超大模型的主流架构、模型参数从千亿迈向数万亿、Agent(智能体)等应用场景要求百万级上下文长度。”7月17日,壁仞科技(06082.HK)AI框架架构副总裁丁云帆在媒体沟通会上称,仅凭单张 GPU 的算力性能,已难以独立承载上述复杂任务。超节点架构,即通过将海量 GPU 高速互联形成一个超级计算节点,正是为了解决这一问题而提出。
暂无回复,快来抢沙发吧!
本次需消耗银元:
100
当前账户余额: 0 银元
【财新网】“当前AI发展面临三大核心挑战:MoE(Mixture of Experts,专家混合)成为超大模型的主流架构、模型参数从千亿迈向数万亿、Agent(智能体)等应用场景要求百万级上下文长度。”7月17日,壁仞科技(06082.HK)AI框架架构副总裁丁云帆在媒体沟通会上称,仅凭单张 GPU 的算力性能,已难以独立承载上述复杂任务。超节点架构,即通过将海量 GPU 高速互联形成一个超级计算节点,正是为了解决这一问题而提出。