近日，阿里云視頻云音頻技術團隊與新加坡國立大學李海洲教授團隊合作論文 《基于時頻感知域模型的單通道語音增強算法 》(Time-Frequency Attention for Monaural Speech Enhancement ) 被 ICASSP 2022 接收, 并受邀于今年 5 月在會議上向學術和工業界做研究報告。ICASSP（International Conference on Acoustics, Speech and Signal Processing）是全世界最大的，也是最全面的融合信號處理、統計學習、及無線通信的語音領域頂級會議。
七琦｜作者
本次合作論文提出了融合語音分布特性的 T-F attention (TFA) 模塊，可以在幾乎不額外增加參數量的情況下顯著提高語音增強的客觀指標。
arxiv 鏈接：https://arxiv.org/abs/2111.07518
往期研究成果回顧：
INTERSPEECH 2021：《Temporal Convolutional Network with Frequency Dimension Adaptive Attention for Speech Enhancement》
鏈接：
https://www.isca-speech.org/archive/pdfs/interspeech_2021/zhang21b_interspeech.pdf
語音增強算法旨在去除語音信號中的背景噪聲等多余信號成分，它是許多語音處理應用的基本組件，例如在線視頻會議與通話，智能短視頻剪輯，實時視頻直播，社交娛樂與在線教育等。
目前大多數關于語音增強的監督學習算法的研究中，通常沒有在建模的過程中明確考慮時頻域（T-F）表示中語音的能量分布，而其對于準確預測掩碼或頻譜至關重要。 在本文中，我們提出了一個簡單而有效的 T-F 注意力（TFA）模塊，使得在建模過程中可以顯式引入對語音分布特性的先驗思考。 為了驗證我們提出的 TFA 模塊的有效性，我們使用殘差時序卷積神經網絡（ResTCN）作為基礎模型，并使用語音增強領域中兩個常用的訓練目標 IRM [1]（The ideal ratio mask）和 PSM [2] （The phase-sensitive mask）分別進行了探索實驗。 我們的實驗結果表明，應用所提的 TFA 模塊可以在幾乎不額外增加參數量的情況下顯著提高常用的五個客觀評估指標，且 ResTCN+TFA 模型始終以較大的優勢優于其他 baseline 模型。
圖 1 展示了所提 TFA 模塊的網絡結構，其中 TA 和 FA 模塊分別以黑色和藍色虛線框標識。AvgPool 和 Conv1D 分別為 average pooling 和 1-D convolution operation 的縮寫。? 和 ⊙ 分別表示矩陣乘法和元素級乘法。
圖 1
TFA 模塊以變換后的時頻表示
為輸入，利用兩個獨立的分支來分別進行 1-D time-frame attention map
和 1-D frequency-dimension attention map 
的生成，然后將其融合為最終需要的 2-D T-F attention map 
，最終的結果可以重寫為：
?。
圖 2-3 顯示了每個模型在 150 epoch 訓練中產生的訓練和驗證集誤差曲線。可以看出，與 ResTCN 相比，使用了所提出的 TFA（ResTCN+TFA）的 ResTCN 產生的訓練和驗證集誤差顯著降低，這證實了 TFA 模塊的有效性。同時，與 ResTCN+SA 和 MHANet 相比，ResTCN+TFA 實現了最低的訓練和驗證集誤差，并顯示出明顯的優勢。在三個 baseline 模型中，MHANet 表現最好，ResTCN+SA 優于 ResTCN。此外，ResTCN、ResTCN+FA 和 ResTCN+TA 之間的比較證明了 TA 和 FA 模塊的功效。
圖 2 IRM 訓練目標下的訓練誤差曲線
圖 3 PSM 訓練目標下的訓練誤差曲線
我們使用了五個指標用于對增強性能的評估，包括 wideband perceptual evaluation of speech quality (PESQ) [3], extended short-time objective intelligibility (ESTOI) [4], 以及三個綜合指標 [5], mean opinion score (MOS) predictors of the signal distortion (CSIG), background-noise intrusiveness (CBAK), ?overall signal quality (COVL)。
表 1 和表 2 分別顯示了每個信噪比等級下（含四個噪聲源）的平均 PESQ 和 ESTOI 分數。評估結果表明，我們提出的 ResTCN+TFA 在 IRM 和 PSM 上的 PESQ 和 ESTOI 方面始終比 ResTCN 取得顯著改進，且參數增量可以忽略不計，這證明了 TFA 模塊的有效性。具體而言，在 5 dB 條件下，IRM 訓練目標下的 ResTCN+TFA 相比baseline ResTCN來說，在 PESQ 指標上提高了 0.18，在 ESTOI 指標上提高了 4.94%。與 MHANet 和 ResTCN+SA 相比，ResTCN+TFA 在所有情況下都表現最好，并且表現出明顯的性能優勢。在三個 baseline 模型中，整體看下來效果排名是 MHANet > ResTCN+SA > ResTCN。同時，ResTCN+FA 和 ResTCN+TA 相比 ResTCN 也有了可觀的改進，這進一步證實了 FA 和 TA 模塊的有效性。
表 3 列出了所有測試條件下的平均 CSIG、CBAK 和 COVL 分數。與在表 1和表 2中觀察到的趨勢一致，所提的 ResTCN+TFA 在三個指標上顯著優于 ResTCN，并且在所有模型中表現最好。具體而言，與 ResTCN 相比，PSM 訓練目標下 ResTCN+TFA 的 CSIG 提高了 0.21，CBAK 提高了 0.12，COVL 提高了 0.18。
阿里云視頻云音頻技術團隊，專注于采集播放-分析-處理-傳輸等全面的音頻技術，服務于實時通信、直播、點播、媒體生產、媒體處理，長短視頻等業務。通過神經網絡與傳統信號處理的結合，持續打磨業界領先的 3A 技術，深耕設備管理與適配、qos 技術，持續提升各場景下的直播、實時音頻通信體驗。
參考文獻
[1] Y. Wang, A. Narayanan, and D. Wang, “On training targets for supervised speech separation,” IEEE/ACM Trans. Audio, speech, Lang. Process., vol. 22, no. 12, pp. 1849–1858, 2014.
[2] H. Erdogan, J. R. Hershey, S. Watanabe, and J. Le Roux, “Phase-sensitive and recognition-boosted speech separation using deep recurrent neural networks,” in Proc. ICASSP, 2015, pp. 708–712.
[3] R. I.-T. P. ITU, “862.2: Wideband extension to recommendation P. 862 for the assessment of wideband telephone networks and speech codecs. ITU-Telecommunicatio.
[4] J. Jensen and C. H. Taal, “An algorithm for predicting the intelligibility of speech masked by modulated noise maskers,” IEEE/ACM Trans. Audio, speech, Lang. Process., vol. 24, no. 11, pp. 2009–2022, 2016.
[5] Y. Hu and P. C. Loizou, “Evaluation of objective quality measures for speech enhancement,” IEEE Trans. Audio, Speech, Lang. process., vol. 16, no. 1, pp. 229–238, 2007.
「視頻云技術」你最值得關注的音視頻技術公眾號，每周推送來自阿里云一線的實踐技術文章，在這里與音視頻領域一流工程師交流切磋。公眾號后臺回復【技術】可加入阿里云視頻云產品技術交流群，和業內大咖一起探討音視頻技術，獲取更多行業最新信息。
