研究人员使用人工智能来寻找人类智能。

大脑是一个奇妙而神秘的东西：三磅的软凝胶状组织，我们通过它与世界互动，产生想法，构建意义和表征。了解这种情况在何处以及如何发生长期以来一直是神经科学的基本目标之一。

近年来，研究人员已经转向人工智能来理解通过fMRI测量的大脑活动，将AI模型转向数据，以越来越具体地了解人们在想什么以及这些想法在大脑中的样子。

加州大学圣巴巴拉分校的一个跨学科团队通过将深度学习应用于fMRI数据来突破这些界限，以创建研究对象所看到的复杂重建。

“有几个项目试图将功能磁共振成像信号转化为图像，主要是因为神经科学家想要了解大脑如何处理视觉信息，”2022 年 <> 月最近在 NeurIPS 会议上发表的一篇论文的主要作者 Sikun Lin说。

根据Lin，UCSB计算机科学教授Ambuj Singh和认知神经科学家Thomas Sprague的说法，这项研究生成的图像既逼真又准确地反映了原始的“地面真相”图像。他们指出，以前的重建并没有创造出具有相同保真度的图像。

他们方法的关键是，除了图像之外，还通过文本描述添加了一层信息，Lin说此举是为了添加数据来训练他们的深度学习模型。

基于公开可用的数据集，他们使用CLIP(对比语言 - 图像预训练)对客观，高质量的文本描述进行编码，这些文本描述与观察到的图像配对，然后将这些观察到的图像的fMRI数据映射到CLIP空间。

从那里，他们使用映射模型的输出作为条件来训练生成模型来重建图像。由此产生的重建非常接近受试者观看的原始图像 - 事实上，比以前任何从fMRI数据重建图像的尝试都更接近。随后的研究，包括来自日本的一项著名研究，概述了将有限数据有效地处理成清晰图像的方法。

“这篇论文的主要要点之一是视觉过程本质上是语义的，”林说。根据这篇论文，“大脑自然是多模态的”，我们使用不同层次的多种信息模式从视觉场景中获得意义，例如突出的内容或场景中物体之间的关系。

“仅使用视觉表示可能会使重建图像变得更加困难，”Lin继续说道，“但是使用像CLIP这样的语义表示来结合图像描述等文本，与大脑处理信息的方式更加一致。

“这方面的科学是模型的结构是否可以告诉你一些关于大脑如何工作的信息，”辛格补充道。“这就是我们希望尝试找到的。

例如，在另一项实验中，研究人员发现fMRI大脑信号编码了大量冗余信息 - 如此之多，以至于即使在屏蔽了超过80%的fMRI信号之后，产生的10-20%包含足够的数据来重建与原始图像相同类别的图像，即使他们没有将任何图像信息输入信号重建管道(他们仅根据fMRI数据工作)。

“这项工作代表了图像重建方法的准确性和清晰度的真正范式转变，”斯普拉格说。“以前的工作集中在极其简单的刺激上，因为我们的建模方法要简单得多。现在，有了这些新的图像重建方法，我们可以推进我们的认知计算神经科学实验，使用自然的、现实的刺激，而不会牺牲我们产生明确结论的能力。

目前，将大脑数据重建为“真实”图像仍然是劳动密集型的，是普通使用无法企及的，更不用说每个模型都是特定于大脑生成fMRI数据的人的事实。但这并不能阻止研究人员思考能够解码一个人在想什么的含义，直到每个大脑都非常特有的意义层。

“我发现这个项目令人兴奋的是是否有可能保留一个人的认知状态，并看看这些状态如何如此独特地定义它们，”辛格说。根据斯普拉格的说法，这些方法将使神经科学家能够进行进一步的研究，测量大脑如何在任务变化中改变他们对刺激的表征 - 包括在强大，复杂场景的表征中。

“这是一个关键的发展，将回答关于大脑如何在动态认知任务中表示信息的基本问题，包括那些需要注意力，记忆和决策的任务，”他说。

他们现在正在探索的领域之一是找出大脑之间共享的内容和数量，以便可以构建AI模型，而不必每次都从零开始。

“基本的想法是，许多学科的人脑都有一些隐藏的潜在共性，”辛格实验室的博士生研究员克里斯托斯·赞戈斯(Christos Zangos)说。“基于这些，目前我正在研究完全相同的框架，但我正在尝试使用数据集的不同分区进行训练，看看在多大程度上，使用少量数据，我们可以为新主题构建模型。

免责声明：本文由用户上传，如有侵权请联系删除！