3月14日音尘,靠近火爆的AI阛阓,新创AI芯片公司Cerebras Systems近日推出了其第三代的晶圆级AI芯片WSE-3,性能达到了上一代WSE-2的两倍,将用于考试业内一些最大的东谈主工智能模子。
据先容,WSE-3依然是经受了一整张12英寸晶圆来制作,基于台积电5nm制程,芯单方面积为46225正常毫米,领有的晶体管数目达到了4万亿个,领有90万个AI中枢,44GB片上SRAM,举座的内存带宽为21PB/s,结构带宽高达214PB/s。使得WSE-3具有125 FP16 PetaFLOPS的峰值性能,比较上一代的WSE-2耕作了1倍。
手脚对比,WSE-2芯单方面积相同是46225正常毫米,基于台积电7nm制程,晶体管数目为2.6万亿个,AI内核数目为85万个,片上内存SRAM为40GB,内存带宽为20PB/s,结构带宽高达220PB/s。
若是将其与英伟达的H100比较,WSE-3面积将是H100的57倍,内核数目是H100的52倍,片上内存是H100的880倍,内存带宽是H100的7000倍,结构带宽是H100的3715倍。
与此同期,Cerebras还推出了基于WSE-3的CS-3超等打算机,可用于考试参数高达24万亿的东谈主工智能模子,神秘顾客项目这比比较基于WSE-2和其他当代东谈主工智能处治器的超等打算机有了紧要飞跃。该超等打算机不错支柱1.5TB、12TB或1.2PB的外部内存,这使它梗概在单个逻辑空间中存储大皆模子,而无需分区或重构,从而简化了考试经由,提高了开采东谈主员的恶果。
最新的 Cerebras 软件框架不错为PyTorch 2.0 和最新的 AI 模子和技巧(如多模态模子、视觉治疗器、群众羼杂和扩散)提供原生支柱。Cerebras 仍然是唯独为动态和非结构化疏淡性提供本机硬件加快的平台,比较英伟达的DGX-100打算机系统,将考试速率提高了8 倍。
Cerebras还强调了CS-3超卓的电源恶果和易用性。尽管性能翻了一番,CS-3仍保握着与前代产物疏导的功耗。它还简化了大型说话模子(LLM)的考试,与GPU比较,所需代码减少了97%。举例,该公司示意,GPT-3大小的模子在Cerebras平台上只需要565行代码。
就可彭胀性而言,CS-3不错设立在多达2048个系统的集群中。这种可彭胀性使其梗概在四个系统的赞成下,在一天内微调700亿个参数模子,并在吞并时刻段内全面重新初始考试Llama 70B模子。
Cerebras示意,该公司一经看到了外界对CS-3的普遍兴味,并有来自各个行业的大皆订单积压,包括企业、政府和公有云厂商。Cerebras还与好意思国阿贡国度执行室和梅奥诊所等机构相助,强调了CS-3在医疗保健方面的后劲。
Cerebras和G42之间的战术相助伙伴干系也将跟着Condor Galaxy 3的建立而扩大,这是一款东谈主工智能超等打算机,领有64个CS-3系统(领有57600000个中枢)。这两家公司一经共同创建了天下上最大的两台东谈主工智能超等打算机:Condor Galaxy 1 (CG-1)和Condor Galaxy 2(CG-2),它们位于加利福尼亚州,详细性能为8个ExaFLOP。这一相助伙伴干系的指标是在公共范围内提供数十个exaFLOP的东谈主工智能打算。
G42集团首席技巧官Kiril Evtimov示意:“咱们与Cerebras的战术相助伙伴干系有助于鼓吹G42的创新,并将有助于加快公共范围内的东谈主工智能篡改。”。“Condor Galaxy 3是咱们的下一台东谈主工智能超等打算机,领有8个exaFLOP,现在正在建立中,很快将使咱们系统的东谈主工智能打算总产量达到16个exafloP。”