广州“出入大门”的白衣守护者

(抗击新冠肺炎)广州“出入大门”的白衣守护者

中新社广州3月20日电 题:广州“出入大门”的白衣守护者

那么,谁会是最终的破局者?

王绍迪说:“如果我的芯片能够带来的提升非常明显,或者原先不能落地的应用使用了我们的芯片之后可以落地,这样才有人愿意尝试。这样的场景很多,需要去探索,不过目前已经有意向客户准备使用我们的产品。”

这样的领先让知存科技有可能成为存内AI芯片的破局者,知存科技的目标是在三年内实现5000万颗芯片的出货目标。对此,王绍迪表示乐观,他认为消费市场5000万的出货量并不多,如果选对了方向,一个产品的出货量在几年内就能达到上千万。

雷锋网原创文章,。详情见转载须知。

使用NOR FLASH单元可以完成8bit权重存储和8bit * 8bit的模拟矩阵乘加运算。单一NOR FLASH阵列可并行完成200万次矩阵乘加法运算,计算吞吐量相比DRAM和SRAM等存储器带宽高出100-1000倍。

Live回顾:值得你去了解的“存算一体AI芯片技术”

由此看来,存内计算是破解“内存墙”瓶颈的好方法,但为什么在多种存内计算的技术路径中,知存科技选择的是NOR FLASH?

“相比使用数字电路计算,使用NOR FLASH进行存内计算减少了数据搬运消耗的能量,再加上NOR FLASH进行乘加法运算功耗也很低,这样就会带来百倍甚至千倍的功耗降低。”王绍迪表示。

“刚开始防护物资很紧缺,只能省着用,考虑到接触过疑似病例,几天没有回家。”广东省第二人民医院医师谢卓成说。

知存科技CEO王少迪

拿着体温枪上机舱的“福尔摩斯”

除了学术界,产业界也越来越多的玩家布局该技术。IBM基于其独特的相变存内计算已经有了数年的技术积累;台积电正大力推进基于ReRAM的存内计算方案;英特尔、博世、美光、Lam Research、应用材料、微软、亚马逊、软银则投资了基于NOR Flash的存内计算芯片。

存内计算的公司之间显然还不是竞争关系,但我们都期待存内计算AI芯片能够出现代表性地应用,推动AI的快速落地和持续发展。雷锋网

面对“不守规矩”的视频网站,除了靠用户用脚投票,是否应依法依规进行管理?多年来,视频网站经历了“野蛮”生长的发展阶段,付费模式也渐渐被用户所接受。但一些网站便因此抱着涸泽而渔、焚林而猎的心态来运作,长此以往毁掉的恐怕不只是网站前途,还会殃及付费模式。

知存科技存算一体芯片技术

广东省第二人民医院主治医师赵月已经想不起拿着体温枪登上了多少次飞机。“疫情暴发后,我们对于重点航班,都是要对其旅客进行体温监测的,武汉封城前最后6个航班从武汉飞抵,为将近800名旅客检测体温,发现有4名发热旅客;正月初三(1月27日)出诊8次,上了6次飞机……”

存内计算可以支持的模型精度可以达到现在主流的8比特。王绍迪说,8比特可以覆盖大部分的深度学习应用,即便有些极限场景需要更高的16比特,我们也有解决方案在研发。我们希望未来存内计算能够覆盖60%-70%的AI应用。

作为AI发展的关键推动力,AI芯片能够在多大程度上满足AI算法的需求成为关键。要满足AI算法的需求就需要解决AI芯片内存墙的核心挑战,存内计算以其能够同时存储和计算的特性被视为解决内存墙挑战的一种方法,但其用模拟计算满足数字算法的需求,外围电路设计、软件设计、工艺带来的误差都是挑战。

解决突发情况的“经验老手”

这其中的设计挑战,包含了控制电路、模拟电路、编程技术、可靠性设计、架构设计等。模拟设计就是其中非常大的挑战,由于FLASH进行的是模拟计算,但算法都是基于数字电路开发,这就对模拟运算增加了很多苛刻的要求。

VIP“专属广告”的质疑已沸沸扬扬,一些视频网站为何还敢于藐视用户权益?为何一而再再而三地玩套路?面对舆论质疑面不改色?究其因,在此类消费的权益保护是否存在漏洞,值得社会各界和有关方面关注。

MemCore001/MemCore001P内置2MB深度学习网络参数存储空间,可同时存储和运算多达32层的多个(相同或不同)深度学习网络算法,支持DNN/RNN/LSTM/TDNN等多种网络结构。

根据知存科技的技术文档,MemCore001/MemCore001P典型工作频率为24MHz(工作时钟)和2MHz(唤醒时钟),MemCore001P在低功耗模式下,采用片内独立的低功耗时钟,可与其他芯片通过中断协同交互,进一步降低整个系统的功耗。

对于他们来说,处置突发情况是“家常便饭”。

因此,依靠软件算法以及云端强大计算能力的人工智能虽然取得了较大的成功,可以胜任多种特定的智能处理任务,但是面临功耗、速度、成本等诸多挑战,离智能万物互联时代还有巨大差距。

王绍迪介绍,目前来看NOR FLASH存内计算技术可以在单芯片中支持到300M左右的深度学习权重参数,不需要额外的内存就可以进行计算。目前智能语音模型的大小通常在几百K到几兆的大小,端侧的图像推理模型大小通常在几兆到几十兆之间,因此NOR FLASH存内计算芯片可以满足大部分AI场景的需求。

影视剧制作需要资金投入,视频网站通过会员购买、广告售卖等方式获利本无可厚非。但对于很多VIP用户而言,购买会员就是为了能够提前看到更多内容,双方构成了消费契约,消费者的权益理应得到维护。而VIP之外设置VVIP,额外掏钱才能享受超前点播,视频网站是在制造焦虑诱发用户消费。在此前购买VIP的协议中是否有这个约定?如果没有标明,这种额外收费的行为,实际是对消费者权益的侵犯。

除了驻好“点”,他们还要“牵”好外送转诊的“就诊线”。

该院主治医师李昆松称,“遇上特殊情况,除了要为旅客做好检查,还需要及时分流、隔离,保护好其他旅客。”

而这也解释了知存科技选择NOR FLASH的原因,从零开始设计NOR FLASH存内计算芯片需要非常长的时间,NOR FLASH之所以能比NAND FLASH进度更快,是因为NOR-FLASH已经有一套成熟的方案,可以基于已有的方案进行优化,更快推出产品。 

知存科技在存内计算的领先性从另一个角度也能说明,“早期研发的时候,由于缺乏晶圆工厂和EDA工具的支持,我们的开发工作很多就要从自动变成手动,但这同时让知存科技建立起了存内计算芯片的设计方法学。”王绍迪表示。

因此,知存科技与合作方开发了相应的系统解决方案,包含智能语音降噪和智能语音识别等算法,可直接集成在芯片中,供应用开发者方便调用。

Dmitri B. Strukov告诉她,FLASH已经商用几十年,技术成熟,成本很低,是最接近产业化的方向,但缺点同样是因为FLASH研究起步较早,学术界对FLASH存内计算的研究期望较高,发表文章不易。2013年,随着深度学习的研究热潮席卷学术界,在导师的支持下,郭昕婕开始尝试基于NOR FLASH存内计算的芯片研发。

2011年,郭昕婕本科毕业于北大信息科学技术学院微电子专业,本科毕业之后郭昕婕开始了美国加州大学圣塔芭芭拉分校(UCSB)的博士学业,她的导师Dmitri B.Strukov教授是存内计算领域的学术大牛,2008年在惠普完成了忆阻器的首次制备,2010年加入了美国加州大学圣塔芭芭拉分校。郭昕婕也成为了Dmitri B.Strukov教授的第一批博士生,开始了基于NOR FLASH存内计算芯片的研究。

存内计算被不少业内人士认为是最适合AI的芯片架构,广受学术界和产业界的青睐。

做好外送转诊的“应急牵线员”

作者 蔡敏婕 陈淑华

在广州白云国际机场,有13个医疗急救点。面对境外输入性新冠肺炎疫情防控压力,20日,医护人员在急救点对有发热症状的旅客进行医学排查、隔离和第一时间转诊到定点医院进行治疗,充当起广州出入大门“发热门诊”的守护者。

存内计算最适合AI?

当然,考虑到外围电路的功耗,NOR FLASH存内计算最终能够实现的功耗降低在几十倍到上百倍之间。不同的算法和应用能够实现的提升也不同。

在接触过程中,孩子对着距离不到半米的李昆松剧烈咳嗽。紧急情况下,李昆松拿出口罩让小孩戴上,采取措施,划出临时区域,分开周边人流,将这一家四口引入隔离区,随后联系部门进行转诊,做好防护和阻断。

他进一步指出,软件平台可以让开发者在算法迁移和调试的时候更加方便。不过存内计算的工作方式比较简单,比如传统架构需要几百万个周期才能完成的计算,存内计算一个周期就可以完成,所以存内计算的编译器是粗颗粒度的,开发难度较低。

2017年10月,知存科技在北京成立,由于积累了丰富的经验,知存科技在成立后的10个月内就首次流片。同时加上存内计算技术逐渐获得认可,知存科技的发展也在逐步加快,并于2018年12月获得获讯飞领投的天使+轮融资,2019年8月又获得中芯聚源领投的近亿元A轮融资。

“在境外疫情形势紧张前,到达的航班,机组人员一旦发现旅客体温偏高,或者地服人员发现出发的航班旅客体温偏高,都是呼叫急救调度室,由急救调度室指派最近的医疗点,对旅客进行体温复测或转诊。”赵月说。

Live预告| 知存科技CEO:存算一体AI芯片的架构创新

其实,利用存储器做计算在很早以前就有人研究,上世纪90年代就有学者发表过相关论文。但没有人真正实现产业落地,究其原因,一方面是设计挑战比较大,更为关键的是没有杀手级应用。随着深度学习的大规模爆发,存内计算技术才开始产业化落地。

不过,芯片想要落地,还要把存内计算的硬件优势转化为落地优势。王绍迪表示,产品能落地仅有一点优势并不够,能否落地还要看市场的需求。当然,想要尽快落地,要做到让现在的商用算法在尽可能少做改变的同时尽快适配我们的芯片,这点非常重要的,这就需要和算法公司一起合作,在落地过程中不断了解需求,让软件和硬件协同起来,都发挥最大作用。

需要指出的是,知存科技的技术水平领先业界3-4年。郭昕婕博士在2012、2013年就开始研究基于NORFLASH的存内计算技术,其他公司基本到2018年才开始研发投入。作为一项新兴前沿技术,研发存内计算需要大量的技术积累,存在许多坑需要一步一步去踩,即便其他公司投入大量资源,在不出现技术泄露的情况下,至少也得三四年左右的时间才能达到知科技存目前的成绩。

“大年初五(1月29日)23时左右,在行李转盘处测量旅客体温,询问得知有乘客半个月前去过武汉。”这引起了李昆松和护士的注意,然而情况却比他们想象中更棘手。“我们检测出这位乘客1岁多的孩子体温是39.3摄氏度,并且孩子没有戴口罩。”

对待用户缺少起码的尊重,这样的视频网站不能惯。完善权益保护,让侵权者付出代价才是治本之策。

“在迭代的过程中,我们需要去解决工艺、温度、编程、噪声等带来的误差,同时还要解决一些模拟运算遇到的问题,解决问题的过程也是一个创新的过程。正如魏少军教授所说:产品创新是芯片设计企业的永恒话题。”他进一步表示。

5000万的出货意味着公司可以实现盈利,在这样的目标下,硬件和软件都需要不断迭代。王绍迪透露,现在公司每三到四个月就会流片一次,一年会推出一款甚至两款新产品。视觉芯片的样片会在明年流片,预计后年会正式推出。

耗时4年,历经6次流片,郭昕婕终于在2016年研发出全球第一个3层神经网络的浮栅存内计算深度学习芯片,首次验证了基于浮栅晶体管的存内计算在深度学习应用中的效用。仅一年后,她就进一步攻下7层神经网络的浮栅存内计算深度学习芯片。

“之前排查到一名辗转多地来广州的澳大利亚留学生,曾在武汉老家待了一周,在封城前到杭州转到宁波,再转到广州,正准备乘机到境外。当时检测体温是37.3摄氏度,担心是疑似病例,于是协助转送到定点医院做进一步检查,考虑到他曾接触过那么多人,后果是很严重的,直到追踪结果为阴性时,心里的石头才算落地了。”谢卓成说。(完)

综合来看,NOR FLASH是目前最适合产业化的方向,众多巨头投资的美国初创公司Mythic采用的也正是NOR FLASH。至于为什么用NOR FLASH做存内计算被业界看好,王绍迪表示:“单独从器件特性看,NOR FLASH的优势不仅体现在功耗和成熟度等方面,高精度也是很大的优势。目前主要的问题是没有28nm以下的NOR FLASH工艺,但是基于当前工艺的NOR FLASH存内计算相比传统方案的优势已经足够高了。”

与其它大部分AI芯片一样,知存科技的MemCore001/MemCore001P在进行算法迁移的时候也需要重新训练。这时候,如何才能吸引客户使用存内计算的芯片?

在机场统一安排下,广东省第二人民医院派出医护队员协助对所有航班旅客进行排查,一旦发现发热疑似病例,立即采取隔离、转诊措施,不让病毒流进机场。

知存科技的方案是从底层重新设计存储器,利用NOR FLASH存储单元的物理特性,对存储阵列进行改造,重新设计外围电路使其能够容纳更多的数据,同时将算子也存储到存储器当中,使得每个单元都能进行模拟运算并且能直接输出运算结果,以达到存内计算的目的。

AI芯片的核心技术之一就是解决“内存墙”挑战,可以在存储器内直接做计算的存内计算(In-Memory Computing)技术在沉寂了近30年后,AI热潮下近年来成为焦点。无论是顶级学术会议,还是巨头公司都在寻找能够用存内计算打破AI芯片“内存墙”的最佳技术方案。

经历了多次流片和技术迭代之后,知存科技上月底发布了两款智能语音芯片MemCore001/MemCore001P,支持智能语音识别、语音降噪、声纹识别等多种智能语音应用。芯片运行功耗小于300uA,待机功耗小于10uA。

不过,拥抱AI芯片的设计者们很快发现,使用经典冯诺依曼计算架构的AI芯片即使在运算单元算力大幅提升,但存储器性能提升速度较慢的情况下,两者的性能差距越来越明显,而深度学习算法带来的数据搬运消耗的能量是计算消耗能量的几十倍甚至几百倍,“内存墙”的问题越来越显著。

存内计算的产业化落地历程,与知存科技创始人的求学创业经历关系密切。

2018年,国际顶级学术会议-IEEE国际固态电路会议(ISSCC)有一个专门的议程讨论存内计算。2019年和2020年关于存内运算的论文更是大爆发,ISSCC2020与存内计算相关的论文数量上升到了7篇。同时,2019年电子器件领域顶级会议IEDM有三个专门的议程共二十余篇存内计算相关的论文。

其实,能做存内计算的存储器并不多,除了FLASH,还有亿阻器、相变存储器、铁电存储器、自旋存储器、SRAM等,但各有各的优缺点。

“经筛查后,需要送高度疑似的旅客到医院治疗。”该院主管护师庄镇鸿说,上周开始,输入性发热旅客明显增多,相应的工作量也增加了不少,“3月15日晚上我们引导送诊的车就有10趟”。

也是在2016年,郭昕婕的大学同学,也是她丈夫的王绍迪,同样看到了存内计算芯片在AI中的应用价值,选择和郭昕婕继续在博士后阶段从事存内计算的研究工作。2017年,美国开始大力资助存内计算技术的研发,王绍迪和其导师的项目也获得了600万美金的资助。郭昕婕夫妇认为时机成熟,毅然选择回国创业,并获得了启迪之星、兆易创新等关联人的投资支持。

王绍迪对存内计算技术在AI中的应用充满信心,他接受雷锋网(公众号:雷锋网)采访时表示:“AI算法的参数越多,存内计算的优势越大。因为存内计算是在存储器中储存了一个操作数,输入另一个操作数后就可以得到运算结果。所以参数越多,节省的数据搬运就越多,优势也就越明显。存内计算可以看作是一个大的锤子,AI算法是钉子,早期落地的算法是小钉子,随着时间推演,钉子会越来越大越来越多。”

王绍迪说:“虽然理论上存内计算芯片在功能上无需完全匹配现有的芯片,但目前业界的AI算法都是基于现有芯片架构开发的,因此知存科技的产品必须去适应这些商用算法,并且要做到高精度,这经历了一次次地流片迭代,这些经历和技术积累也成为了知存科技的优势。”