
当地时间7月8日,美国AI芯片初创公司SambaNova宣布完成了 10 亿美元的 F 轮融资的首轮融资,使得公司整体估值达到了 110 亿美元。
据介绍,General Atlantic领投了此轮融资,Seligman Ventures、T. Rowe Price Associates和Capital Group也深度参与。其他新老投资者还包括BlackRock、Intel Capital、卡塔尔投资局、Battery Ventures、Vista Equity Partners和Volantis等。SambaNova表示,预计将在未来几周内完成F轮融资的第二轮融资。
SambaNova表示,将利用此轮募集资金扩大产能,提升面向企业、自主人工智能和新云客户的部署规模,并继续投资芯片、系统和软件,保障供应链免受强劲需求冲击。
与此同时,SambaNova还宣布,摩根大通将部署 SambaNova 的 SN40 和 SN50 系统,这些系统将部署在其自有场所运行人工智能工作负载,而不是通过第三方云服务提供商。
摩根大通基础设施平台首席信息官 Darrin Alves 在一份声明中表示,“在摩根大通,人工智能基础设施必须在性能、控制和可靠性方面达到非常高的标准,”
SambaNova联合创始人兼首席执行官Rodrigo Liang表示,与摩根大通的合作关系标志着一种更广泛的转变。“对于银行和其他数据至关重要的行业来说,将这种基础设施部署到本地,将包含模型的基础设施部署到本地,并使其能够使用您的私有数据,并将所有内容都置于您的防火墙内,这是以非常安全且私密的方式运行人工智能的一个极其重要的方面。”
资料显示,SambaNova创立于2017年,主要设计和构建集成的软硬件解决方案,旨在从数据中心到边缘运行AI应用和数据密集型应用。SambaNova的AI芯片基于可重构数据流架构(RDU),使应用能够驱动优化的硬件配置,软件不受固定硬件的限制。
虽然GPU在AI模型训练方面表现出色,但这是一个计算量很大的功能;AI推断是一种数据流动和内存优化的挑战,需要不同的架构方法。为了进行人工智能推理,GPU必须对片外内存进行多次冗余调用。每次内存调用都会增加进程的延迟和能量消耗,这也是GPU需要如此多功耗的原因。而RDU将给定AI模型的图映射到数据在处理器中移动的最高效路径。这种方法消除了对内存的冗余调用,从而大幅降低了延迟和功耗。
目前SambaNova主推的产品是基于第四代RDU架构的AI芯片SN40和基于第五代RDU架构的AI芯片SN50,以及基于这两款芯片的AI系统,均为面向推理AI应用所设计。
其中, SN40L 基于台积电5nm制程工艺,拥有1020亿个晶体管(英伟达H100为800亿个晶体管),1040个自研的“Cerulean”架构的RDU计算核心,整体的算力达638TFLOPS(BF16),虽然这个算力不算太高,但是关键在于SN40L还拥有三层数据流存储器,包括:520MB的片上SRAM内存(远高于此前Groq推出的号称推理速度是英伟达GPU的10倍、功耗仅1/10的LPU所集成的230MB SRAM),集成的64GB的HBM内存,1.5TB的外部大容量内存。这也使得其能够为 5 万亿参数模型提供支持,单个系统节点上的序列长度可达 256k+。对比英伟的H100芯片,SN40L不仅推理性能达到了H100的3.1倍,在训练性能也达到了H100的2倍,总拥有成本更是仅有其1/10。
SN50 的单加速器计算能力是上一代产品的五倍,网络带宽是上一代产品的四倍。它可通过每秒数TB的互连链路连接多达256个加速器,从而缩短首次Token生成时间并支持更大的批处理规模。同时,结合了 16 颗 SN50 芯片SambaRack SN50 系统,使每台加速器提供五倍的计算能力和四倍的网络带宽。互联的SambaRacks可通过多TB每秒互连扩展最多256个加速器,这减少了TTFT并支持更大的批次规模。因此,可以支持当今和未来的最大模型,能够运行多达10万亿个参数的单个模型,其规模和上下文长度高达1000万个Token。
根据SambaNova官方的说法,其SN40和SN50芯片在推理解码阶段的速度比竞争对手同类产品快5到10倍,能够释放出更多计算资源用于其他任务。
值得一提的是,今年2月,SambaNova完成了3.5亿美元的E轮融资,英特尔作为战略合作伙伴和投资者加入。
Rodrigo Liang表示,SambaNova正在考虑于 2027 年在美国进行 IPO。
编辑:芯智讯-浪客剑