据新智元10月11日报道,OpenAI总裁Greg Brockman在最新访谈中透露:"内部如何分配GPU,简直就是一场痛苦与煎熬。
数据显示,OpenAI过去一年在算力上投入高达70亿美元,其中50亿美元用于大模型研发,20亿美元用于推理计算。作为对比,特斯拉2024年第三季度财报显示其研发支出为70.2亿美元。
为缓解算力压力,微软于10月9日宣布,已交付全球首个配备4600+ GB300的超算集群。根据微软披露的技术规格,该系统采用机架级设计,每个机架包含18个虚拟机,共计72个GPU,通过下一代InfiniBand网络实现每GPU 800 Gb/s的跨机架带宽。
"每次拿到新的GPU,它们都会被立刻投入使用。"OpenAI首席产品官Kevin Weil在9月的技术会议上表示。
目前,这套系统正在微软数据中心部署运行,OpenAI的研究团队已经开始测试其在万亿参数模型训练中的表现。与此同时,Meta、谷歌等竞争对手也在加紧建设各自的超算设施。
上一篇:金价,闪崩