|
基础生物学研究所神经生理学研究室特聘助教小林汰辅和渡边英治副教授、立命馆大学综合心理学系教授北冈明佳、代码创作者上坂学博士、田中健太博士共同研究小组发现，深层神经网络( DNN )再现了300种运动错觉引起的运动知觉 而且，根据DNN，从本来不会引起运动感知的照片和绘画中人工合成了运动错觉的设计也成功了。 DNN是参照大脑神经网络结构和工作原理设计的人工智能之一，近年来不仅在广泛的领域取得了划时代的成果，而且作为研究大脑工作机制的工具也备受期待。 2018年，该研究小组通过嵌入了作为大脑皮质动作原理的有力假说之一的“预测编码(注1 )”的DNN，成功再现了运动错觉之一的“蛇的旋转错觉”的运动错觉，这次大幅扩大了对象的错觉 建立了600种绘画共计1500种图像数据库，表明300种运动的视错觉群可以再现运动的感知。 同时表示照片和绘画中几乎检测不到运动，但部分照片和绘画中检测到了较大的运动，从检测到该运动的部分合成错觉图案设计进行心理实验时，发现该设计会成为运动的错觉。 本视错觉设计是人工智能发现的首次视错觉之一(注2 )。 本发现明确显示了DNN所表达的大脑模型与人类感知之间的相似性及差异，为思考人类感知模型提供了重要的知识。 今后，融合了DNN和心理学的研究，有望为阐明大脑的工作原理做出贡献。 本成果将刊登在Scientific Reports杂志上(预计3月10日日本时间19点在线刊登)。  由AI设计的运动错觉 (将视线集中在右边的星形符号上，从周边观察左边的图像) [本研究的背景] 深层神经网络( DNN )是参照大脑网络结构和工作原理设计的人工智能之一。 DNN研究在图像、声音的识别和合成等广泛领域取得了划时代的成果，但近年来，作为研究大脑动作机制的工具，也备受期待。 在迄今为止的脑科学中，是根据实际的大脑和神经细胞的活动来推测其工作原理的，但通过使用本方法在计算机上合成人工大脑，就可以虚拟地推测和验证其工作原理。 2018年，本研究小组对嵌入了预测编码(注1 )的大脑基本工作原理之一的DNN进行了研究，表示北冈明佳教授设计的“蛇的旋转错觉”将在该DNN中再现( Watanabe et al .，front.psychood ) 2018 https:///10.3389/fps yg.2018.00345新闻稿: https://www.nibb.AC.jp/press/2018/03/20 - 蛇的旋转错觉是众多错觉中最具代表性的作品，尽管是静止图像，但实际上看到的话，会感觉到非常强烈的旋转运动。 而且蛇的旋转错觉也被认为对猫和鱼也会引起旋转运动，表现出动物视觉的代表性特性。 在预测编码中，大脑总是预测输入的感觉信息，学习该预测和实际的感觉信息的差分。 差分信息在大脑的各个区域之间来回移动，在高次区域中被认为是高度抽象的差分信息被编码。 这个理论因为能很好地解释大脑的解剖学知识和生理学知识，所以现在在广泛的领域得到了支持。 蛇的旋转错觉的再现，成为了显示预测编码正当性的一个证据。 但是，蛇的旋转错觉只是众多错觉之一。 此次研究小组为DNN研究建立了错觉数据库，进行了进一步的验证。 [图1]合并了预测编码的dnn (修改Watanabe et al.2018中的图1 )。 只概念性地表示了一层。 “内部模型”节点群是具有循环电路的存储细胞，除了其递归信息外，还根据来自上层内部模型的信息生成“预测”。 预测对照来自下层的“输入”计算“误差信息”，误差信息作为同一层的内部模型及上层的输入进行传播。 本研究使用了共计4层的神经网络。 在学习中，以使最底层的误差信息最小化的方式进行学习。 [本研究的成果] 新准备的错觉数据库由北冈教授制作的299种作品、渡边副教授制作的1种作品、共计300种图像数据组成(图2 )，同时照片600种(静物300种、移动物300种)、绘画(古典绘画300种、近代绘画3000种) 人可以在300种错觉图像中感知运动，其他图像中不会感知运动。 本数据库在论文发表前就在网上公开，以促进使用DNN的错觉研究(本研究室正在积极推进加快知识创造的开放科学)。
用前期研究使用的已学习DNN分析视错觉数据库时，大多数视错觉检测到的运动向量与人类感知相似，大多数照片和绘画中没有检测到运动向量(图3，卢卡斯-金出[Lucas-Kanade] 图4显示了运动矢量的绝对值的图表。 可以看出，在300种错觉数据库组中检测到了特别大的向量。 300种视错觉在颜色、形状、运动方向上都是完全不同的设计，这一结果表明，DNN的图像处理过程与人和动物相似，是DNN与人和动物一样，感知视错觉的佐证，同时作为引起错觉的机制之一，还是表明预测编码比较有力。
[图3]基于运动错觉、现代绘画、古典绘画、运动照片、静物照片的AI运动向量预测。 从AI计算出的预测图像中检测运动向量(光流、卢卡斯-金出法)。 黄色的点表示向量的起点，红色的线表示向量的方向和大小。
[图4]将图2所示的各图像的运动矢量(光流(注3 ) )的绝对值用300图像进行平均后，在运动错觉和其他图像中检测到较大的差异。 本研究小组发现，部分照片和绘画中会检测到部分大向量(图5 )。 因此，我们切出检测到这个大矢量的部分，制作错觉图案的重复设计，进行了以人类为对象的心理实验。 结果表明，这些设计成立为运动错觉(图6 )。 本视错觉设计成为人工智能发现的首次视错觉之一(注2 )。 本发现明确显示了DNN所表达的大脑模型与人类感知之间的相似性及差异，为思考人类感知模型提供了重要的知识。  [图5]两张检测到异常流的照片和绘画。 两种运动向量检测方法，检测到部分但通常观察不到的大流(图中为大楼，绘画中为柱子)。
[图6]图5照片和绘画合成的两种视错觉。 截取了检测到运动矢量的部分图像，合成了错觉图案设计。 都是通过心理实验，确认了人类可以感知到运动。 图表显示了五个受试者的数据。 红色数据直接使用图像时，蓝色数据是将图像镜像反转后使用时。 红色和蓝色图表的偏差越大，就越能检测到大的错觉。 [成果的意义] 1 )表明DNN可应用于心理学研究。 在这次的研究中，DNN研究的成果被反馈给了人类的心理学研究，通过DNN实验和心理实验的结合，有了新的发现。 2 )表明DNN可以产生视错觉。 DNN创造的错觉使新的视觉实验成为可能。 3 )追认了预测编码作为大脑的工作原理是有力的。 预测误差与视错觉的关系已于2010年由本研究组进行了考察( Watanabe et al .，vision research 50，2381-2390，2010 )，2018年的论文( Watanabe et arch ) 4 )表明了在社会上不断应用的DNN有可能产生错觉这一错误。 从风险管理人工智能的角度来看也是重要的知识。 [今后的展望] 使用人工脑的研究有望发展心理学和神经科学，为阐明大脑的动作机制做出贡献。 可以期待至今为止不属于科学范围的人和动物主观世界的研究进一步发展。 注1 )预测编码是由Rao和Ballard于1999年提出的视觉系统大脑皮质的工作原理。 假设大脑皮质总是预测视觉世界，只学习感觉输入和预测之间的误差(参照图1 )。 这是目前解释大脑皮质动作原理的假说中最有力的一个。 注2 )渡边等人用其他方法论也成功地进行了错觉的人工合成。 虚拟机升级，https:///ABS/2112.13243 注3 )光流:以图像中的特征形状为基准，估计两个图像中发生了什么样的运动的方法为光流法，在那里检测到的运动矢量为光流。 在卢卡斯-金出法中，为了进行更广域的特征提取而适合检测大的运动，在范巴克法中，为了进行局部的特征提取而适合检测小的运动。 [刊登杂志信息] 杂志名称: scientific报告 刊登日期: 2022年3月10日日本时间19点 论文标题:“运动illusion-like patterns extracted from photo and art images using predictive deep neural networks” 作者: Taisuke Kobayashi，Akiyoshi Kitaoka，Manabu Kosaka，Kenta Tanaka，and Eiji Watanabe doi:https:///10.1038/s 41598-022-07438-3 [研究组] 本研究是基础生物学研究所神经生理学研究室的小林汰辅特任助教和渡边英治副教授、立命馆大学综合心理学系的北冈明佳教授、代码创作者上坂学博士和田中健太博士的成果。 [研究支持] 本研究是在文部科学省科学研究费资助事业等的支持下进行的。 [有关本案的咨询地址] 基础生物学研究所神经生理学研究室 副教授渡边英治(渡边时代) Tel: 0564-59-5595 (研究室) E-mail: eiji@ [新闻负责人] 基础生物学研究所宣传室 Tel: 0564-55-7628 传真: 0564-55-7597 电子邮件: press @ nibb.AC.jp 立命馆大学宣传科 Tel: 075-813-8300 e-mail:r-koho @ ST.ritsumei.AC.jp
|
|
|
