必威·betway(China)官方网站|图像传感器运行神经网络！实现纳秒级时间内图像分类，或将推进边缘计算

2024-11-28 18:36:02　　点击量：396

本文摘要：利用人工神经网络在纳秒级时间内已完成图像分类，早已沦为现实。

利用人工神经网络在纳秒级时间内已完成图像分类，早已沦为现实。近日，奥地利维也纳工业大学光子学研究所 Lukas Mennel博士等人研发的一种超高速机器视觉设备——自带神经网络的图像传感器，将图像处理速度提高了几十万倍。当地时间 2020年 3月 4日，上述团队的一篇取名为 Ultrafast machine vision with 2D material neural network image sensors（基于二维材料神经网络图像传感器的超快机器视觉）的研究论文公开发表在《大自然》杂志（Nature）上。

(公众号：)了解到，该团队设计的视觉设备如同大脑一样处置信息，40 纳秒才可辨别出有两张有所不同的图像。可同时提供并分析图像的人工神经网络视觉是人类了解世界最重要的一个途径，不受此灵感的「机器视觉」近年来方兴未艾。

所谓机器视觉，就是用机器替换人眼来做到测量和辨别。但机器视觉并非只是人眼的非常简单伸延，它还有人脑的一部分功能一一从图像中萃取、处置、解读信息，从而用作实际的测量和掌控。就机器视觉技术本身而言，其主要流程是——照相机逐行扫描像素，然后将视频帧切换为数字信号，再行将其传输到计算机中展开分析。不过其中不存在的问题是，由于传感器与处理单元之间大量数据的移动，信息往往无法获得较慢的处置、决策，这也就是机器视觉常常面对的延后。

考虑到上述因素，研究团队在图像传感器中引进了可同时提供并分析图像的人工神经网络（Artificial Neural Network，ANN ）。说道到人工神经网络，实质上它是一种运算模型，由大量的节点（也称之为神经元）相互连接包含。其中，作为核心的神经元接管并处置数据，在图像识别、智能机器人、自动控制、预测估算等领域充分发挥着最重要起到。具体来讲，人工神经网络可以重复调整神经元之间的相连强度或“神经元”，并仔细观察当前的不道德模式否能更加好地解决问题，从而找到哪些模式最擅长于计算出来解决方案。

接着，人工神经网络不会将这些模式另设为默认值，仿效人脑自学过程。实质上，当天《大自然》杂志的 NewsandViews 专栏还公开发表了香港理工大学博士 Yang Chai 的评论文章In-sensor computing for machine vision（机器视觉的传感器内计算出来）。在其文章中，Yang Chai博士通过下面这幅图明晰地展现了两种视觉处理方式的区别：传统及其视觉处理过程（右图 a部分）：传感器搜集信号，通过模数转换器（ADC）将模拟信号切换为数字信号，缩放后输出到外部人工神经网络，经参数调优训练神经网络。

神经网络输出层接管编码非常简单物理元素的信号（点、线），随后这些信号优化为中级特征（非常简单形状），最后在输入层上构成图像（3D 形状）；Lukas Mennel团队图像传感器处理过程（右图 b部分）：芯片上的点对点传感器（图中的正方形）搜集信号，并用于人工神经网络辨识非常简单特征，增加传感器和外部电路之间的校验数据移动。发光二极管构成的神经网络返回研究成果本身，上述传感器实质上是一个光电二极管神经网络，即9 个像素的正方形阵列，每个像素有 3 个二极管。另外其光敏材料是 2D 半导体二硒简化钨（WSe2），这种材料对光具备调节号召能力。

同时，二极管的灵敏度相等于神经网络中的权重，而且其权重必要构建在图像传感器上。其明确工作流程如下图：当图像被投影到芯片上时，将不会产生、人组、加载各种二极管电流。阵列获取了一种模拟计算——每个光电二极管产生与入射光强度成比例的输入电流，并且根据基尔霍夫定律（电路中电流的基本规则）沿着讫或佩对获得的电流议和。随后阵列之后开始展开训练。

据报，由阵列产生的电流与预测电流（录：对于等价的任务，如果阵列正确地号召图像，则将产生所谓的预测电流）之间的差异同时也不会获得分析，并将用作调整下一训练周期的神经元权重。两种神经形态功能此外，该研究团队根据有所不同的神经网络算法展示了两种神经形态功能。一是「分类」。

3×3 像素阵列可以将图像分类为三个字母 n、v、z，经过训练的图像传感器可以在以纳秒为单位的时间内根据“测量对应电路的电流否为 0”的标准辨识字母（右图 d）。据报，若按比例减少阵列规模，还可以辨识更加简单的图像。二是「自动编码」。即便不存在信号噪声，通过自学图像的关键特征，神经网络也能分解处置后图像的修改回应。

不过还了解到，该系统有很多局限性，比如：很难在明亮的环境下光学；其设计必须低电压、消耗大量功率；其所须要半导体大面积生产、加工较难；仅次于不能处置 3×3 图像。不过论文作者之一Lukas Mennel博士回应：我们的图像传感器在工作时会消耗任何电能，被检测的光子本身就可以作为电流供能。传统的机器视觉技术一般来说需要每秒处置 100 帧图像，而一些更慢的系统则可以每秒处置 1000 帧图像，但我们的系统每秒可以处置 2000 万帧图像。可见，虽然新技术落地都有某种程度的容许，但这一系统在能耗和速度方面显然具有不俗的展现出，Yang Chai博士在其文章中也对这一技术给与了认同：这一技术并不局限于视觉系统，它可以用作听力、触觉或嗅觉感测。

这种智能系统的发展，以及 5G高速无线网络的来临，将来不会让动态（较低延后）边缘计算出来沦为有可能。参考资料：https://www.nature.com/articles/s41586-020-2038-x#Fig15https://www.nature.com/articles/d41586-020-00592-6 https://spectrum.ieee.org/tech-talk/computing/hardware/image-neural原创文章，予以许可禁令刊登。

下文闻刊登须知。

本文关键词：必威·betway(China)官方网站,必威,必威·BETWAY

本文来源：必威·betway(China)官方网站-www.satokayo-bosai.com