交叉增强计算机视觉和语音处理

与您分享一篇非常有趣和有用的文章，它是WACV2021接受的论文VisualSpeechEnhancementWithoutARealVisualStream。本文的研究涉及计算机视觉与语音处理的交叉。
论文信息：作者来自：印度第十三届印度海得拉巴和英国巴斯大学。语音增强是语音处理的经典研究内容。
过去，语音增强功能通常仅将语音用作输入信号，这在现实环境中的嘈杂环境中通常无法很好地发挥作用。近年来，视觉辅助语音增强技术取得了突破。
通过跟踪视频中人的嘴形，它可以更好地帮助过滤环境噪声。但是，它需要视频中角色的正面，并且使用场景相对较窄。
毕竟，在大多数场景中，没有角色的正面，甚至没有视觉信息辅助。作者指出，事实上，基于语音的嘴唇合成已经是一种相对成熟的技术。
在现有框架下，语音信号本身可以直接用于合成人物嘴形的视频以辅助语音增强。以下视频显示了最终语音增强的效果：本文已在多个数据集上取得了SOTA结果，并且该技术可用于任何语言的语音增强，但是由于它包含视觉生成部分，因此估计可以进行比较。
到传统算法。开销很大。
作者已开源代码，有兴趣的朋友可以尝试一下。原标题：一无所有！没有视觉信号的视觉语音增强文章来源：[微信公众号：New Machine Vision]欢迎大家关注！请指出转载文章的来源。