清华大学在类脑视觉感知芯片领域取得重要突破:
提出一种基于视觉原语的互补双通路类脑视觉感知新范式,研制出世界首款类脑互补视觉芯片“天眸芯”。基于该研究成果的论文《面向开放世界感知、具有互补通路的视觉芯片》作为封面文章,登上了5月30日的《自然》杂志,标志着在类脑计算和类脑感知两个方向上均取得重要突破。
5月30日《自然》杂志封面
这一成果与我们的日常生活
有什么关系?
随着自动驾驶、机器人、AI等开放世界应用的发展,现有图像传感器面临诸多挑战,难以处理超出其传感范围的动态、多样化和不可预测的情况。
比如快速骑自行车的人、意外行为、光线从明亮到阴暗的快速变化……
然而,图像传感器要向高速度、高分辨率、大动态范围和高精度发展,还受功率和带宽限制。
传统视觉感知芯片由于受到“功耗墙”和“带宽墙”的限制,在应对这些场景时往往面临失真、失效或高延迟的问题,严重影响系统的稳定性和安全性。
为了克服这些挑战,清华大学精密仪器系类脑计算研究团队聚焦类脑视觉感知芯片技术,提出了一种基于视觉原语的互补双通路类脑视觉感知新范式。该范式借鉴了人类视觉系统的基本原理,将开放世界的视觉信息拆解为基于视觉原语的信息表示,并通过有机组合这些原语,模仿人视觉系统的特征,形成两条优势互补、信息完备的视觉感知通路。
基于这一新范式,团队进一步研制出了世界首款类脑互补视觉芯片“天眸芯”,在极低的带宽和功耗代价下,实现了每秒10000帧的高速、10bit的高精度、130dB的高动态范围的视觉信息采集,不仅突破了传统视觉感知范式的性能瓶颈,而且能够高效应对各种极端场景,确保系统的稳定性和安全性。
类脑互补视觉感知芯片“天眸芯”
将“天眸芯”集成到自动驾驶系统中,即使面对突然闪光干扰、隧道等高动态范围场景、异常物体移动等复杂情况,配合互补多通路算法,系统也能实现精准认知和快速响应。
这回是真开“眸”了~
“天眸芯”是全新的类脑处理机制
传统的人工智能技术主要依赖于深度学习算法,需要大量的数据进行训练才能获得较高的识别准确率。
而“天眸芯”采用了一种全新的类脑处理机制,模仿人脑神经元的工作方式,能够实时地对图像进行处理和分析。
这种机制使得“天眸芯”在面对复杂多变的环境时,具有更高的适应性和识别准确率。
“天眸芯”是如何实现这一技术的呢?
科学家们通过对人脑视觉系统的深入研究,发现人脑在处理图像信息时具有高度的并行性和冗余性。
基于这一原理,科学家们设计了一种全新的神经网络结构,使得“天眸芯”能够在极低功耗的情况下实现高效的图像处理。
同时,他们还利用了先进的半导体工艺技术,将这一神经网络结构集成到芯片上,从而实现了“天眸芯”的高度集成化和小型化。
“天眸芯”的问世
无疑将对许多领域产生深远的影响
在自动驾驶领域,由于“天眸芯”具有极高的识别准确率和实时性,它有望成为未来自动驾驶汽车的核心组件之一。
在智能安防领域,“天眸芯”可以帮助提高监控系统的识别能力和效率,从而保障公共安全。
而在医疗影像领域,“天眸芯”的应用将有助于提高医生的诊断速度和准确性,为患者提供更好的医疗服务。
除了以上提到的应用领域外,“天眸芯”还有其他潜在的应用场景。
例如,在无人机领域,它可以用于实时监测农田、森林等环境的变化;在虚拟现实领域,它可以为用户提供更加真实、自然的视觉体验;在物联网领域,它可以作为各种智能设备的视觉感知核心,帮助实现智能家居、智能工厂等场景的构建。
“天眸芯”仍然面临一些挑战和问题
例如,如何进一步提高芯片的性能和降低成本;如何确保芯片在不同应用场景下的稳定运行;如何加强与相关行业的合作,推动“天眸芯”的广泛应用等。
然而,正是这些挑战和问题激发了科学家们不断创新的动力,也为我国的科技发展提供了新的机遇。
“天眸芯”的研发成功标志着我国在高科技领域迈出了重要的一步。
这款芯片以其独特的类脑处理机制和卓越的视觉识别能力,预计在众多与“中国智造”息息相关的领域带来革命性的应用,彻底改变人们未来的生活方式。
我们有理由相信
随着科技的不断发展和创新
“天眸芯”将为我们的未来生活
带来更多的惊喜和改变