① 利用在体大规模记录神经元电活动的多通道电生理技术、以钙离子内流为原理的特定神经元/群成像技术和系统功能测试等方法深入研究脑部视听觉时间与空间整合处理的神经机制，模拟人脑多模态视听觉信息的认知过程，构建新型的分布式并行化类脑网络结构；

② 利用人脑处理多模态信息的层次表征机制，从计算体系结构、计算原理和算法等方面提出全新的思路，尤其是面向现实中复杂的多模态异构数据，改变现有的信息处理机制，全面提升计算机的感知和认知能力；

③ 提取新型的类脑计算新范式，提取融合多种模态数据的有效特征进行融合，应用于大规模跨模态检索、智能人机交互、生物医学信号处理等领域。