1.5T内存挑战英伟达！8芯撑起3个GPT-4，来自华人AI中央处理器独角兽

2024-01-24 通信

GPT-4等大建模内部的Mixture of Experts（研究课题专家混搭）管理制度模式集之中于整个系统设计，称为Composition of Experts（研究课题专家合成）。

在民营企业运转的每个端口调试一个更为简单且经过专为调整的基本建模，分别用法律辞汇、工业用辞汇、风险管理制度辞汇、财富管理制度辞汇、的产品销售辞汇、的产品反对辞汇等等相同样本军事训练。

这些研究课题专家建模彼此之间通过一种的软件路由或过载平衡器联在两人，收到侦探恳求后立即具体向哪个建模推送提示该词。

这一策略与GPT-4和搜寻引擎Gemini等处理方式构成鲜明对比，巨头都是希望创立一个能泛化到数百万个任务的巨型建模。

分析师视为核心技术上可能搜寻引擎的处理方式耐用性更为极强，但SambaNova的方法对民营企业来说更为可取。

未任何一个建模或人能更为简单访问民营企业的所有样本，受限制每个政府机构能访问的研究课题专家建模，就能受限制他们能访问的样本。

伯克利系晶片日本公司，族裔扩建工程师主力部队

SambaNova成立于2017年，2020年在此之后都更为低调。

联创3人都是伯克利背景，连产品复刻版名Cardinal（紫色）都是伯克利的之中文名与代表者颜色。

CEO Rodrigo Liang是当年Sun/金文扩建工程公司总裁，也有人将这个名字解读为影射金文老对头IBM的DeepBlue（深蓝）。

另外两位联合创始人都是伯克利系主任。

CTO Kunle Olukotun是电气扩建工程系主任，因多核晶片管理制度模式上都的研究课题而享有盛名，开发了十一号反对文件系统级表明 (TLS) 的晶片之一。

Christopher Ré是计算机科学研究课题员，重点研究课题正向机器学习和样本分析的平均速度和可扩展性。

此外制作组之中还有不少族裔扩建工程师。

从该网站公开文档来看，SambaNova的领导制作组之中，多于有3名族裔。

Jonathan Chang，以外UC伯克利的机械扩建工程硕士学士学位以及加利福尼亚州大学的MBA学士学位。

他在框架高增长上都以外20多年的经验。投身SambaNova在此之后，Chang在特斯拉工作了近9年。

Marshall Choy，此当年曾出任金文日本公司系统设计产品管理制度和解决方案开发公司总裁，委派了数十个服务业的民营企业软件和的软件产品的并购。

Penny Li，在EDA工具和晶片设计上都以外超过27年的经验。此当年，她曾在IBM和金文工作过。

如果去领英搜寻还能辨认出更为多族裔制作组的组织。

目当年SambaNova包涵SN40L晶片的人工人机引擎已并购，但定价未公开。

根据Rodrigo Liang的众说纷纭，8个SN40L分成的集群总共可处理5万亿模板，相当于70个700亿模板大建模。

全球2000极强的民营企业只需出售两个这样的8晶片集群，就能实现所有大建模所需。

参考链接：[1][2][3]

。