听觉、言语与音乐方向以通用智能为目标，基于脑科学与类脑智能的研究范式，采用身体与环境交互的具身学习进路，重点开展复杂声学环境的场景分析、人机言语交互、音乐智能创作等方面的理论、方法和应用研究，构建和完善听知觉加工模型、言语知识表达与心智发展的新框架。

主要研究内容包括：听觉的机理与建模，机器人复杂声学环境中主/被动目标声源检测、定位和增强，言语知觉、理解与生成，音乐信号多声源分离、分析，以及自动作曲、配器、演奏、混音与3D虚拟声场等。赋予智能机器人自主环境分析与理解的听感知和心智能力，并在真实环境中发展出通用目标、适应策略和有效方法。

本研究获多项国家级、省部级、国际合作和横向合作资金支持，其中包括国家重点研发计划、国家重点基础研究规划（973）课题、国家高技术发展计划（863）项目、国家自然科学基金重大项目或重点项目、国家社会科学基金重大项目、中央军委科学技术委员会基础加强计划重点基础研究课题、科技创新2030重大项目等，在相关研究和技术领域取得一系列显著进展，多项研究成果发表在国内外著名期刊和顶级会议上，包括IEEE TASLP、hearing research、JASA、JAES、ICASSP、Interspeech、AAAI、AES Convetion等，共计70余篇，申请国家发明专利50余项。