想象一下这样的场景,对动物大声喊叫,然后就能从回音中分辨出它是狗还是马。也许你会以为这样的事情离我们很遥远,但是一个科学团队已经完成了这种摄影效果。
近期发表在 Optica 期刊上的一篇新论文中,英国、意大利和荷兰的研究人员描述了一种全新的制作动画 3D 图像的方法: 通过捕捉光子的时间信息,而不是其空间坐标 。
研究人员通过调整光线反射到一个探测器上的时间,来提取出一个场景的三维图像,这项被称为时间成像的新技术展示了一种机器学习的重要用途。
时间成像系统比普通成像具有一定的优势。例如, 新系统取像会非常快 ,可能以每秒 1000 帧的速度工作;而且这种粗略而快速的 3D 成像 可能具有多种应用 ,如用作自动驾驶 汽车 的摄像头,以提高寻路的准确性和应急速度,以及用于移动设备和 健康 监视器发展 360° 感知能力;最重要的是, 这种收集时间数据的单点探测器体积小、重量轻且价格便宜。
照片和视频通常是通过使用数字传感器捕获光子(光的组成部分)来制作的,即环境光会反射物体,镜头将它聚焦在由微小的光敏元件或像素组成的屏幕上。图像是由反射光产生的亮斑和暗斑形成的图案。
以最普通的数码相机为例,它由数百像素组成,这些像素通过检测光在每个空间点的强度和颜色来形成图像。
同时,可以通过在物体周围放置若干个摄像机,并从多个角度对物体进行拍摄,或者利用光子流扫描物体,并在三维中重建它来生成 3D 图像。但无论使用何种方式,图像都是通过收集场景的空间信息来构建的。
近几十年来,研究人员发明了一种更巧妙的方法,仅利用单个像素探测器即可捕捉到图像。为了做到这一点,他们不是把物体暴露在均匀的光照下,而是暴露在不同的光照模式下,这些闪光类似于包装上的方形条形码。
每个图案都会反射出物体的不同部分,因此像素测量的光强度会随图案的变化而变化。通过跟踪这些变化,研究人员可以重建物体的图像。
现如今,格拉斯哥大学的数据科学家 Alex Turpin 和物理学家 Daniele Faccio 及他们的同事,发明了一种方法来生成具有单个像素但是没有图案化闪光的 3D 图像。他们利用闪电般快速的单光子探测器,以均匀的闪光照亮了一个场景,并简单地测量了反射时间。
探测器的精度为四分之一纳秒,可以计算出到达的光子数量与时间的函数关系,研究人员仅凭这些信息即可重建场
这是一种新奇的方法,因为原则上场景中物体的排列和时间信息之间没有一一对应的关系。例如,从探测器 3 米远的任何表面反射的光子,无论朝向表面的任意方向,都将在 10 纳秒内到达。
而所谓的飞行时间相机可以增加深度,通过精确计算从物体反射到不同像素的闪光时间来制作 3D 图像。
新型的 3D 成像设备从一个简单、廉价的单点检测器开始,这种探测器被调整为充当光子的秒表。与测量颜色和强度空间分布的相机不同,探测器仅记录由瞬间激光脉冲产生的光子从任意给定场景中的每个物体反弹并到达传感器所需的时间。 物体距离越远,每个反射光子到达传感器所需的时间就越长 。
有关场景中反射的每个光子的时间信息(研究人员称为时间数据)都收集在一个非常简单的图表中。
然后,借助复杂的神经网络算法将这些图转换为 3D 图像。研究人员对算法进行了训练,向它展示了团队在实验室中移动和携带物体的数千张常规照片,以及同时由单点检测器捕获的时间数据。同时,他们还使用了一个非飞行时间的摄影机来拍摄场景的真实 3D 图像。
最终,这种神经网络已经足够了解时间数据与照片的对应关系,从而仅凭时间数据就可以创建高度准确的图像。它与飞行时间相机相比,时间图像模糊且缺乏细节。然而,却清楚地揭示了人们的形态。
加州大学伯克利分校的计算机科学家兼电气工程师 Laura Waller 表示:“乍一看,这种模棱两可的方法似乎使问题无法解决。单像素成像,当我第一次听到这个概念时,我想,这应该行得通。但仔细一想,这应该不起作用。”
格拉斯哥大学计算科学学院数据科学研究员 Alex Turpin 博士说:“如果我们只考虑空间信息,而单点探测器没有空间信息,所以单像素成像是不可能的。然而,这样的探测器仍然可以提供有价值的时间信息。与传统图像制作不同的是,我们的方法能够完全将光与过程分离。”
而且为了能实现这一目的,Alex Turpin及其同事采用了一种称为神经网络的机器学习程序,在使用数据集训练神经网络后,该程序能够自行对场景中移动的人进行成像。
与传统的摄像机不同的是,收集时间数据的单点探测器体积小、重量轻且价格便宜,这意味着它们可以轻松地添加到现有系统中, 例如被用作自动驾驶 汽车 的摄像头,以提高寻路的准确性和刹车反应速度 。
另外,它们可以增强移动设备中现有的传感器,例如 Google Pixel 4,该传感器已经具有基于雷达技术的简单手势识别系统,甚至可以用下一代技术来监视医院患者胸腔的上升和下降,提醒着患者的呼吸变化或跟踪运动,从而用符合数据安全的方式了来确保他们的安全。
Alex Turpin 博士补充说:“我们对自己开发的系统的潜力感到非常兴奋,我们期待着继续挖掘其潜力。我们的下一步目标是开发一个独立的、便携式的即装即用系统,我们迫切希望开始研究我们的选择,并通过商业合作伙伴的帮助进一步开展研究。”
https://www.sciencemag.org/news/2020/08/time-camera-generates-3d-images-echoes-light
https://phys.org/news/2020-07-imaging-pictures.html
https://www.osapublishing.org/optica/abstract.cfm?uri=optica-7-8-900
3D自动成像系统是什么?
全息投影技术的原理:x0dx0a摄制原理:x0dx0a其第一步是利用干涉原理记录物体光波信息,此即拍摄过程:被摄物体在激光辐照下形成漫射式的物光束;另一部分激光作为参考光束射到全息底片上,和物光束叠加产生干涉,把物体光波上各点的位相和振幅转换成在空间上变化的强度,从而利用干涉条纹间的反差和间隔将物体光波的全部信息记录下来。记录着干涉条纹的底片经过显影、定影等处理程序后,便成为一张全息图,或称全息照片。x0dx0a其第二步是利用衍射原理再现物体光波信息,这是成象过程:全息图犹如一个复杂的光栅,在相干激光照射下,一张线性记录的正弦型全息图的衍射光波一般可给出两个象,即原始象(又称初始象)和共轭象。再现的图像立体感强,具有真实的视觉效应。全息图的每一部分都记录了物体上各点的光信息,故原则上它的每一部分都能再现原物的整个图像,通过多次曝光还可以在同一张底片上记录多个不同的图像,而且能互不干扰地分别显示出来。x0dx0a在3D投影前,要对物体进行120°的3D摄影。看过3D电影的读者应该知道,如果取下3D眼镜观看,画面有重影而模糊不清。这是因为,银幕上的画面并不是一幅,而是两幅角度不同的画面叠加的效果。x0dx0a为了模拟“双目效应”,我们必须拍摄出偏左侧的画面和偏右侧的画面。在拍摄时,其实有两台3D摄像机同时工作,一台偏向演员左侧,记录偏左的图像;一台偏向演员右侧,记录偏右的图像,再通过电脑处理,将两幅图像叠加,便成了3D电影源。x0dx0a视觉原理:x0dx0a注:此为3D成像时的视觉原理。与此略有不同的是,全息投影实际上是真正地呈现出了3D影像。x0dx0a每个人都有两个眼睛,每个眼睛的视角大约为80度,但是两个眼睛一起的视角只有120度,也就是说有40度的视角是重合的,所以我们的左右两个眼睛所看到的的东西其实是不同的,比如你闭上左眼用右眼看或者反过来,就能测试出来效果,左右两眼接收到的物体转发给大脑做判断物体的远近才能形成立体感。3D立体技术就是模拟这个过程而形成的。x0dx0a完成摄影后,在放映室里,3D电影源投放在一定角度的银幕上,观众需要带上3D眼镜观看。仔细观察3D眼镜,我们会发现左右镜片上有密集而细小的朝向不同的条纹。左镜片是纵纹,右镜片是横纹。正是这些条纹,我们才能看到美妙的3D立体图。x0dx0a完成摄影后,根据“双目效应”,将图像分解,让左眼只看见偏左的画面,右眼只看见偏右侧的画面,这样才能使大脑产生远近的判断而生出立体感。在放映时,偏左的画面和偏右侧的画面所用的投射光是不同的,虽然颜色画面一样,但投影用的光的传播方向是不同的,偏左画面用的是纵波光(光波沿纵向传递),偏右画面用的是横波光(光波沿横向传递),由于偏振光的特点纵波光只能穿过纵纹,不能穿过横纹,因此,透过左镜片,我们只能看见偏左侧的画面,同理与右镜片。x0dx0a由此,重叠的画面被分解,左眼只看见偏左侧的画面,右眼只看见偏右侧的画面,由于双目效应,我们便产生了远近感和立体感。
D自动成像系统:通过对实物的自动取像,4分钟完成逼真的3D动画制作的智能化系统。系统由3D成像设备 3D成像软件 3D空间 3D播放器
:四部分组成,目前国内做次行业知名的公司有广州盈商电子科技有限公司(盈商科技)
以上就是关于新AI相机:通过光子时间差构建3D图像,单像素成像、每秒可达1000帧全部的内容,如果了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!



















