在今年特斯拉AI开放日上,D1芯片风光无限。
独特的晶圆封装系统+芯片设计,让D1在训练万亿参数级神经网络时,可以拥有数量级优势。
特斯拉更在发布会上表示,它在性能上已经完全碾压英伟达GPU和谷歌TPU。
不过,颠覆性的设计能够带来关注,也会遭到质疑。
最近,半导体分析网站SemiAnalysis就表示:
D1芯片存在一些重大技术问题。
作为特斯拉首款AI训练芯片,D1芯片采用分布式结构和7nm工艺,搭载500亿个晶体管、354个训练节点,实现了超高算力和超高带宽。
根据特斯拉已经透露的信息,SemiAnalysis从以下几个方面提出了质疑:
首先是内存问题。
SemiAnalysis认为,D1芯片无论在功能单元层面还是系统层面,想要达到他们所说的算力,内存可能都不够。
功能单元层面,D1芯片的单个功能单元具有1.25MB SRAM缓存、1TFlop的FP16/CFP8精度计算能力。
在芯片层面,裸片上没有其他SRAM结构,只有354个单元的1.25MB SRAM来支撑。
基于设计相似的IPU,SemiAnalysis推测这种设计会导致严重的内存缺陷,从而影响芯片的算力。
事实上,每个IPU芯片上SRAM的数量还是D1的两倍,但它在性能上和英伟达A100比起来,劣势依旧非常明显。
在BERT和ResNet50训练中,英伟达A100的速度分别是IPU的1.54倍和1.43倍。
其次,就是在成本问题上。
特斯拉D1芯片之间可以实现无缝融合,这使它能够达到8 TB/s的IO,比ASIC和英伟达高出一个数量级。
为了满足这样大的IO,特斯拉采用了独特的封装方式,即InFO_SoW。
这种封装方式的特点就是可以够大。
在发布会上,它们也展示了由25个D1芯片组成的训练模块。
但这种封装方式在实际生产中的难度很高,出现报废的情况会更多,由此也会导致成本突增。
除了这两方面,SemiAnalysis认为D1还有很多未解决的问题。
比如,在发布会现场被问到软件方面的问题时,特斯拉工程师甚至回答他们完全没有准备。
SRAM方面的问题也亟需解决,否则将会面临运行速度过快的风险。
以上种种,都导致特斯拉的开发人员需要对系统进行大量的优化。
此外特斯拉透露,目前他们已经部署的D1芯片只有3000个。
如此看来,D1芯片的摊销成本也是非常高了。
事实上,在特斯拉AI开放日的第二天,它的股价上涨甚至还不如英伟达。
可见投资界对于马斯克带来的新技术,也都非常冷静。
有人表示,特斯拉把技术封锁在自己的堡垒内,外界无法测评,也就无从得知它真正的优势和局限性。
这一次向特斯拉开怼的是SemiAnalysis,它是一家半导体分析评论网站,首席分析师为Dylan Patel,毕业于佐治亚大学特里商学院。
参考链接:
[1]https://semianalysis.com/the-tesla-dojo-chip-is-impressive-but-there-are-some-major-technical-issues/
[2]https://news.ycombinator.com/item?id=28361807
[3]https://www.linkedin.com/in/dylanpatelsa/
文章浏览阅读1.6k次,点赞4次,收藏3次。解决Uncaught TypeError: Cannot read property ‘prototype‘ of undefined与Cannot read property ‘use‘ of undefined报错_typeerror: cannot read property 'prototype' of undefined
文章浏览阅读3.6k次,点赞8次,收藏82次。14、最小生成树问题(**)【问题描述】若要在n个城市之间建设通信网络,只需要假设n-1条线路即可。如何以最低的经济代价建设这个通信网,是一个网的最小生成树问题。【系统要求】1.利用克鲁斯卡尔算法求网的最小生成树。2.利用普里姆算法求网的最小生成树。3.要求输出各条边及它们的权值。【测试数据】由学生任意指定,但报告上要求写出多批数据测试结果。【实现提示】通信线路一..._最小生成树问题(**) [问题描述] 若要在n个城市之间建设通信网络,只需要假设n-1条
文章浏览阅读467次。一、Socket通信的基本原理首先socket 通信是基于TCP/IP 网络层上的一种传送方式。socket是基于应用服务与TCP/IP通信之间的一个抽象,他将TCP/IP协议里面复杂的通信逻辑进行分装,对用户来说,只要通过一组简单的API就可以实现网络的连接。借用网络上一组socket通信图给大家进行详细讲解:首先,服务端初始化ServerSocket,然后对指定的端口进行绑定,接着对端口及进行..._server talk
文章浏览阅读585次。模型开发python_python 大模型开发
文章浏览阅读1.7k次。第2章 编写简单的查询语句练习11.使用两种方式查询所有员工(EMP)信息。 SELECT * FROM emp; SELECT empno,ename,job,mgr,hiredate,sal,comm,deptno FROM emp;2.查询(EMP)员工编号、员工姓名、员工职位、员工月薪、工作部门编号。 SELECT empno,ename,job,sal,deptno FROM emp;练习21.员工转正后,月薪上调20%,请查询_查询在2001年11月加入部门,且加入部门后任职半年(按182天算)到1年(365天)的员工编
文章浏览阅读3.3k次。版权声明: 本文由Oak/lyris完成,首发于CSDN,作者保留中文版权。未经许可,不得使用于任何商业用途。欢迎转载,但请保持文章及版权声明完整。如需联络请发邮件:[email protected] fu_delphi < unescape
文章浏览阅读58次。维护程序,升级nginx.apache.php,mysql时为了保持程序依赖模块,所以需要知道老版本的编绎参数。为些总结如下:快速查看服务器软件的编译参数:1、nginx编译参数:your_nginx_dir/sbin/nginx -v2、apache编译参数:cat your_apache_dir/build/config.nice3、php编译参数:your_php_dir/bin/php -..._cat your_mysql_dir/bin/mysqlbug |grep configure
文章浏览阅读5.5k次。Android Studio使用ButterKnife 8.0.1的问题最近做一个新项目,之前使用的ButterKnife 7.0.1,得知目前最新的ButterKnife支持ListView,还支持绑定资源,就像在新项目里使用最新的版本8.0.1,可是使用的时候遇到一个问题,那就是使用BindView注解根本绑定不到TextView或ImageView,也就是绑定到的对象都是null,导致程序异常_android studio弃用8.0.1
文章浏览阅读946次。故障环境:Dockerfile编写环境是Win10+Nodepad++,Docker服务器为Centos7不知道有没有朋友会像我这么懒为了方便测试就用winscp远程打开docker服务器,直接创建dockerfile并进行调试的呢。如果有的话我想一定遇到过这个问题:运行后容器没有驻留,而是异常中止了,使用dokcer logs查看日志却报standard_init_linux.go:1..._winscp自动将dos转换为unix
文章浏览阅读1.3k次。@[TOC](mask rcnn报错tensorflow.python.framework.errors_impl.FailedPreconditionError: 2 root error(s) found.)第一次跑目标检测代码,出现了这种错误,下面大概补全下报错具体细节:tensorflow.python.framework.errors_impl.FailedPreconditionError: 2 root error(s) found.(0) Failed precondition: Er_tensorflow.python.framework.errors_impl.failedpreconditionerror: 2 root erro
文章浏览阅读2.8k次。安装wine sudo apt-get install wine;安装过程中弹框使用tab键选择ok,然后回车,下个界面选择Yes; 下载安装包 官网地址https://www.sourceinsight.com/,最底部点击下载; 本人使用的是版本是Source Insight 4-最新版本4.0.0106-2020年1月7日; 安装 ..._ubuntu 16.04 安装sourceinsight
文章浏览阅读2k次。python编写循环的结束语句后编译报错:SyntaxError: (unicode error) ‘utf-8’ codec can’t decode byte 0xa3解决方法:“文档’中的文件编码设置,将unicode设置(点击)为utf-8,如截图..._./encoder8_3_test.v:9: syntax error i give up. 测试