一块英伟达3090对打180亿参数大模型，国产开源项目这回杀疯了

所有静态图表矢量交给闪存监管内置监管，每个矢量标上一个状态信息，包括HOLD、COMPUTE、FREE等。

然后，根据动态查询到的闪存用于上述情况，随之动态转换矢量状态、修改矢量左边，愈来愈高效借助GPUMMX和CPU闪存。

在硬件相当有限的情形，最大化静态容量和平衡操练速度。这对于AI普及化、较差价格这两项大静态上游勤务等，都具有极深远影响意义。

而且最最最关键性的是——延闪存条可比花钱高端芯片一区 算 多 了。

刚刚，Colossal-AI还顺利复现了网易的最新科学研究PaLM (Pathways Language Model)，乏善可陈同样相当奈斯，而苹果公司DeepSpeed迄今为止还不支持PaLM静态。

末尾也提到，Colossal-AI能挑战的勤务相当多，比如延速操练、愈来愈少GPU水资源。

那么它是如何够的呢？

有用来说，Colossal-AI就是一个紧密结合了多种并行法则的的系统，提供的新功能包括克尔并行、大规模构建内置、自适应勤务调度、消除举例来说闪存等。

迄今为止，基于Colossal-AI的延速建议FastFold，能够将核酸内部结构预测静态AlphaFold的操练时间，从原先的11天，减少到只均需67小时。

而且总价格愈来愈较差，在长核酸推理勤务中，也能实现9~11.6倍的速度降低。

这一建议顺利胜过网易和芝延哥大学的法则。

此外，Colossal-AI还能只用一半GPU总数操练GPT-3。

相比之下英伟达建议，Colossal-AI仅均需一半的计算水资源，无均需启动操练；若用于不同计算水资源，则能提速11%，可降较差GPT-3操练价格超百万美元。

与此同时，Colossal-AI也相当注重GNU社区建设，提供中文基本知识、免费比如说用户社群年会，根据大家的期望一个系统随之愈来愈新插值。

比如之前有读者留言说，Colossal-AI要是能在比如说储蓄级芯片上冲刺就好了。

这不，几个月底后，已经安排好了~

看到这里，是不是真的Colossal-AI确实值得标星注意一发？

实际上，这一国产项目其实的研发制作团队来头不小。

领衔者，正是LAMB构建内置的提单单者尤洋。

他曾以第一名的成绩被录取武大物理科学政治学本科生，后赴纽约大学伯克利分校专攻CS哲学博士。

拿过IPDPS/ICPP最佳论文、ACM/IEEE George Michael HPC Fellowship、华尔街日报30岁以下年青人（亚洲区 2021）、IEEE-CS超算杰单单新人荣誉奖、UC伯克利EECS Lotfi A. Zadeh优秀毕业生荣誉奖。

在网易受训长期，凭借LAMB法则，尤洋曾超越BERT预操练世界纪录。

据英伟达月GitHub显示，LAMB比Adam构建内置快单单整整72倍。苹果公司的DeepSpeed也选用了LAMB法则。

2021年，尤洋随同创办潞晨科技——的公司主营业务为分布式软件的系统、大规模人工智能SDK以及企业级云计算应付建议的AI草创公司。

制作团队的骨干成员均来自美国纽约大学伯克利分校、纽约大学、斯坦福大学、芝延哥大学、武大大学、北京师范大学、国际部、新延坡华中理工学院等国际上知名院校；握有Google Brain、IBM、Intel、 Microsoft、NVIDIA等知名厂商工作经历。

公司创立即获得创新工场、真格基金等多家顶尖VC机构种子轮注资。

潞晨CSO Prof. James Demmel为纽约大学伯克利分校杰单单教授、ACM/IEEE Fellow，同时还是宾夕法尼亚大学、工程院、艺术作品与科学院三院院士。

传送门：

参考镜像：@hpcaitech/train-18-billion-parameter-gpt-models-with-a-single-gpu-on-your-personal-computer-8793d08332dc

— 剩 —

光子位 QbitAI · 头条号跳槽

注意我们，第一时间不一定知道最前沿科技动态