人脑已被超越！史上最大芯片成功构建120万亿个突触

　　我们知道人脑中大概存在100万亿个突触，超越人脑突触数量，已成为人工智能发展的一个目标！目前的最高纪录是通过GPU集群方式已达到相当于1万亿个突触的能力。
　　不过这一记录在今天要被改写了！
　　拥有世界最大芯片（一张晶圆只做一颗芯片）的CerebrasSystems公司CEOAndrewFeldman在今天的HotChips半导体设计线上会议上向我们展示了它号称的世界第一个人脑级AI解决方案一个可以支持120万亿个参数的人工智能模型的单一系统！超过了人脑中存在的100万亿个突触。相比之下，最常用于AI工作负载的GPU集群通常最高仅达到1万亿个参数。
　　而Cerebras通过将192个CS2集群在一起实现了支持多达120万亿个的参数。AndrewFeldman表示，这项技术将使最大的人工智能神经网络的规模扩大100倍。
　　AndrewFeldman说：更大的网络，如GPT3，已经改变了自然语言处理（NLP）的格局，使以前无法想象的事情成为可能。该行业正在迈过一万亿参数的模型，而我们正在将这一界限扩大两个数量级，使具有120万亿参数的大脑规模的神经网络成为可能。
　　CerebrasCS2由晶圆规模引擎（WSE2）驱动，这是迄今为止最大的芯片，也是最快的人工智能处理器。专门为人工智能工作而设计，7纳米的WSE2有46，225平方毫米的硅片面积、2。6万亿个晶体管和85万个人工智能优化的内核。相比之下，最大的图形处理单元只有540亿个晶体管，比WSE2少2。55万亿个晶体管。WSE2还拥有比图形处理单元竞争对手多123倍的内核和1000倍的高性能片上存储器。
　　脑尺度计算
　　为了进行比较，Feldman指出，人类大脑包含大约100万亿个突触。如前所述，最大的AI硬件集群大约是人类大脑规模的1，或者大约1万亿个突触当量或参数。这些图形处理器集群仅为人类大脑规模的一小部分，占用了数英亩的空间和数兆瓦的功率，并且需要专门的团队进行操作。
　　Cerebras的四大创新
　　CerebrasWeightStreaming，一种新的软件执行架构CerebrasMemoryX，一种内存扩展技术CerebrasSwarmX，一种高性能互连结构技术SelectableSparsity，一种动态稀疏度采集技术
　　CerebrasWeightStreaming技术可以在片外存储模型参数，同时提供与片内参数相同的训练和推理性能。这种新的执行模式将计算和参数存储分解开来允许研究人员灵活地独立扩展规模和速度并消除了挑战小型处理器大型集群的延迟和内存带宽问题。
　　这极大地简化了工作负载分配模型，其设计使用户可以在不改变软件的情况下从使用1个CS2扩展到最多192个。
　　CerebrasMemoryX将为第二代CerebrasWaferScaleEngine（WSE2）提供高达2。4PB的高性能内存，所有这些内存的行为就像在芯片上一样。通过MemoryX，CS2可以支持多达120万亿个参数的模型。
　　CerebrasSwarmX是一个高性能的、经过人工智能优化的通信结构，它将CerebrasSwarm片上结构扩展到片外。SwarmX旨在使Cerebras能够在多达192个CS2上连接多达1。63亿个人工智能优化的内核，协同工作以训练单个神经网络。
　　SelectableSparsity使用户能够选择其模型中的权重稀疏性水平，并直接减少FLOPs和解决时间。权重稀疏性是ML研究的一个令人兴奋的领域，但由于它在图形处理单元上的效率极低，因此研究起来很有挑战性。SelectableSparsity使CS2能够加速工作，并使用每一种可用的稀疏性类型包括非结构化和动态权重稀疏性以更少的时间做出结果。
　　Feldman说，这种技术组合将使用户能够解锁大脑规模的神经网络，并通过巨大的人工智能优化内核集群轻松分配工作。
　　市场前景
　　当然，世界上只有几百个客户可以使用这样的系统，但Cerebras的目标是简化运行AI模型，这些模型很容易超过任何现有模型的大小。其中许多客户可能包括军事和情报界。美国阿贡国家实验室副主任RickStevens说。Cerebras的发明将使参数容量提高100倍，可能具有改变行业的潜力。我们将首次能够探索大脑大小的模型，为研究和洞察开辟广阔的新途径。