这样的设备将大大有助于解决科学家所说的“鸡尾酒会问题”,即人如何在拥挤,嘈杂的环境中从许多人中挑选出一种声音。研究的资深作者尼玛·梅斯加拉尼(Nima Mesgarani)说,这对当今的助听器来说是一个挑战,后者被迫通过增加所有声音的音量来解决问题。
Mesgarani补充说,人类并不是唯一解决鸡尾酒问题的人。通过在嘈杂的房间中识别并响应语音命令,也可以使智能扬声器和数字助理(如亚马逊的Alexa和Google Home Assistant)烦恼。
哥伦比亚大学Mortimer B. Zuckerman大脑思维行为研究所的神经工程学家Mesgarani和他的同事以两种方式解决了鸡尾酒问题。首先,他们开发了一种在“多通话者”音频环境中分离不同扬声器语音的方法。然后,他们将这些声音的声谱图(一种音频“指纹”)与由听众大脑中神经活动重建的声谱图进行了比较。
实验性听力设备可以提高与听众频谱图最匹配的扬声器频谱图的音量,从而使该声音高于房间中其他声音。
“到目前为止,我们仅在室内环境中进行了测试,” Mesgarani说。“但是我们要确保它在繁忙的城市街道或喧闹的餐厅也能正常工作,这样无论佩戴者去哪里,他们都可以充分体验世界和周围的人。”
Mesgarani和他的团队多年来一直致力于这项技术。最初,系统只能分离经过训练可以识别的特定语音。例如,一个经过四个朋友的声音训练的系统可以调高餐厅中一个朋友的音量,但是它无法以新的声音(例如,服务员出现在桌旁)提高音量。添加到混合中。
在这项新研究中,他们转向一种称为深度神经网络的人工智能处理程序,以区分和分离未知声音。该平台能够区分多达三种声音,并且可以像出现在现实对话中那样适应新声音的出现。
在先前的研究表明听众的脑电波只能跟踪位于听众注意力中心的讲话者的声音之后,研究人员使用脑电波数据来指导听力设备。在当前的研究中,他们使用电极直接植入了接受手术治疗的三个人的大脑中的电极收集了脑波。
Mesgarani说,未来的设备可能会通过放置在耳朵上方或头皮上的传感器收集这些神经数据。