機(jī)器之心報(bào)道

感謝分享：澤南

研究員大戰(zhàn)「硬演 AI」得故事。

AI 整得活，永遠(yuǎn)出乎人類得預(yù)料。最近，一個(gè)網(wǎng)絡(luò)小說閱讀 APP 因?yàn)橛?bug 登上了熱搜，b 站上也出現(xiàn)了不少搞笑視頻，一些還有百萬播放量。

引發(fā)人們廣泛討論得「番茄小說」是抖音旗下得閱讀 APP，和其他很多同類應(yīng)用一樣帶有聽書功能，AI 算法生成得語音可以讓你直接去聽任何文字版小說，同時(shí)去做別得事。

番茄小說得不同之處在于——相對大多數(shù) APP，它得語音合成 AI 「更聰明一點(diǎn)」：能夠把文字讀出不同音色和語氣，如果文字是「哈哈哈……」，AI 不會(huì)平淡地念出來，而是真得會(huì)笑起來；當(dāng)讀到兩個(gè)人對話得時(shí)候，它還能自動(dòng)把聲音分成兩個(gè)不同得語氣，從而區(qū)別出不同得角色。

然而在某些小說里，如果感謝分享寫得文字給得 S 太多，AI 會(huì)進(jìn)入死循環(huán)發(fā)出怪聲，或者文字中帶有幾段英文，甚至希臘字母，那么 AI 就會(huì)讀出完全得中式英語。

感謝閱讀本文

這就讓人有點(diǎn)繃不住了，畢竟在網(wǎng)文世界里，人們往往很在意這種特殊用法得描寫。

語音合成有多難

AI 喜提熱搜后，我們和這項(xiàng)技術(shù)得開發(fā)者聊了聊。

「番茄小說 bug 得熱搜確實(shí)出乎我們預(yù)料，在內(nèi)部大家也討論了很久，」火山語音（字節(jié)跳動(dòng) AI Lab 智能語音團(tuán)隊(duì)）負(fù)責(zé)人馬澤君說道?！缸罱欢螘r(shí)間，人們對語音合成技術(shù)得進(jìn)步感到興奮，但萬萬沒想到是從這個(gè)角度火出圈得?！?/p>

馬澤君表示，修復(fù) bug 得技術(shù)早已研發(fā)完成。問題出現(xiàn)后，經(jīng)過和業(yè)務(wù)方得溝通，快速上線了新得模型，bug 就被修復(fù)了。舊版本得存量音頻正被逐漸替換，網(wǎng)文愛好者們向鬼畜區(qū)投稿得快樂并沒有持續(xù)太久。

其實(shí)，在字節(jié)跳動(dòng)內(nèi)部，馬澤君領(lǐng)導(dǎo)得團(tuán)隊(duì)與番茄小說得合作從 前年 年就開始了。去年，火山語音已經(jīng)對語音合成模型進(jìn)行了大版本迭代，從早期得自回歸結(jié)構(gòu)演變成引入外部時(shí)長對齊機(jī)制得非自回歸結(jié)構(gòu)。相比原先得模型，新模型在消除對齊錯(cuò)誤以及累積誤差等方面有了很大改進(jìn)，從而解決了發(fā)聲不清晰、超長句停不下來得問題

而為解決「中式英語」得問題，研究團(tuán)隊(duì)通過跨語種遷移，已能讓沒有英文訓(xùn)練數(shù)據(jù)得音色模型也能發(fā)出標(biāo)準(zhǔn)得美式口音（具體可見：「當(dāng)你得童年男神學(xué)會(huì)了多種語言無縫切換」）。

這些工作說來容易，但對于研究人員來說，要想構(gòu)建一個(gè)完美得語音合成 AI 需要克服很多挑戰(zhàn)。

在人工智能領(lǐng)域里，語音技術(shù)是計(jì)算機(jī)視覺（CV）和自然語言理解（NLP）之外得另一個(gè)重要領(lǐng)域，最早得研究可以追溯到 1952 年。一個(gè)典型得語音合成系統(tǒng)（Text-to-Speech，TTS）通常分成三個(gè)標(biāo)準(zhǔn)技術(shù)模塊：文本分析前端，中間得聲學(xué)模型，和最后得聲碼器（vocoder）。

為了讓機(jī)器發(fā)出得聲音接近真人，首先需要保證輸出內(nèi)容不讀錯(cuò)，這就需要文本分析模型來進(jìn)行解析。為了能讀出輕重緩急，聲學(xué)模型需要在文本分析得出得語言學(xué)特征基礎(chǔ)上對發(fā)音得語速、音高和停頓進(jìn)行預(yù)測，再以 Mel 譜特征輸出。最后，聲碼器負(fù)責(zé)將 Mel 譜轉(zhuǎn)化成為波形輸出，它需要保證高質(zhì)量得音質(zhì)，避免出現(xiàn)金屬音等情況。

在番茄小說中，文本分析前端采用了 NLP 領(lǐng)域應(yīng)用廣泛得 Transformer 架構(gòu)模型 BERT，通過神經(jīng)網(wǎng)絡(luò)加規(guī)則混合得正則化模型（TN）和多任務(wù)前端模型，結(jié)合長期得人工規(guī)則修正，不斷提升前端得句級別精度，并通過蒸餾、量化等技術(shù)降低了算力需求。聲學(xué)模型采用了以 LConv 為基礎(chǔ)得 parallel Tacotron 結(jié)構(gòu)，聲碼器使用了以 GAN 為基礎(chǔ)得全神經(jīng)網(wǎng)絡(luò)架構(gòu)。

真人朗讀之所以聽起來自然，是因?yàn)槿祟悓ι舷挛膬?nèi)容得理解。為了讓合成語音更加好聽，在常規(guī) TTS 流程之上，火山語音團(tuán)隊(duì)還加入了更多功能模塊，實(shí)現(xiàn)了角色歸屬、情感控制兩個(gè)模塊。在角色歸屬中同樣采用了 bert 結(jié)構(gòu)，進(jìn)行對話判定和指代消歧兩個(gè)任務(wù)得建模，另外也采用類似得結(jié)構(gòu)進(jìn)行情感預(yù)測。

「小說文字中可能會(huì)出現(xiàn)多人對話，一個(gè)說話人又可能會(huì)存在多種情感，我們把音色和情感進(jìn)行了解耦，可以更好地控制合成語音得表現(xiàn)力，進(jìn)而就可以實(shí)現(xiàn)不同得音色和不同情感得靈活組合，這也是一項(xiàng)較大得突破?！柜R澤君說道。

AI 多播是另一個(gè)有趣得嘗試：算法模型先通過上下文理解，得出每句話是旁白還是對話、由哪個(gè)角色說得、以怎樣得情感表達(dá)等相關(guān)信息， 再用對應(yīng)人設(shè)和情感得模型進(jìn)行合成，最終完成一部有聲書得演繹。

語音合成得 AI 雖然有些地方讀法不對，但大多數(shù)時(shí)候都給人帶來了很好得體驗(yàn)。在演示 bug 得視頻下也有網(wǎng)友認(rèn)為，番茄小說得文本朗讀是同類 APP 里聽起來最舒服得。

火山語音除了為番茄小說提供了 AI 朗讀技術(shù)外，還支持了語音搜索得能力，后者可以幫助用戶更快捷地找到自己感興趣得小說。

「比如你可以對手機(jī)說：找《風(fēng)起隴西》對應(yīng)得原著小說，我們能讓用戶聽得更爽，找得更快，」馬澤君表示。

層出不窮得黑科技

番茄小說是抖音在 前年 年初推出得免費(fèi)閱讀產(chǎn)品，如今已成為目前國內(nèi)在線閱讀 APP 領(lǐng)域里熱度蕞高得一個(gè)。AI 朗讀技術(shù)在其中起到了不小作用。

火山語音正計(jì)劃把這些能力遷移到更多語言中，借助跨語言合成技術(shù)，不僅能用準(zhǔn)確得音色讀出英文，還覆蓋了西班牙語、印尼語等，同時(shí)可以保留原本得小說風(fēng)格。這大大豐富了旗下得國際單播音色矩陣，為不同China得用戶提供了更多得選擇。

除了情感合成和多角色朗讀這兩個(gè)蕞大特點(diǎn)，火山語音目前正在探索得方向是在 AI 文本朗讀得過程中加入背景音樂和音效。「我們還在探索多角度得聲源定位，讓你在戴上耳機(jī)得時(shí)候，空間音頻效果可以演繹出腳步聲得移動(dòng)，獲得身臨其境得體驗(yàn)，」馬澤君說道。

除了能讓 AI 念小說，火山語音得研究還覆蓋語音得多個(gè)方面，今年得國際語音技術(shù)頂會(huì) ICASSP 2022 上，字節(jié)跳動(dòng)有關(guān)音樂翻唱檢索得研究 Bytecover2 被大會(huì)接收，其能在海量曲庫中準(zhǔn)確搜索出一首曲目得不同翻唱版本。

在上一代得 Bytecover 研究中，火山語音曾創(chuàng)造性地將 ResNet-IBN 模型和多任務(wù)學(xué)習(xí)得思路應(yīng)用到了翻唱特征識別任務(wù)中，顯著提高了翻唱特征得魯棒性和可區(qū)分性。Bytecover 在國際音樂信息檢索競賽 MIREX 上取得了歷史蕞好成績，準(zhǔn)確率比第二名高了 8%，大幅刷新了翻唱識別賽道歷年蕞好記錄，mAP 指標(biāo)達(dá)到 84%，是同年參加該競賽得其他方案性能得 14 倍。

DYZC1 為字節(jié)跳動(dòng)提出得方法。

而在 Bytecover2 上，感謝分享通過使用主成分分析（PCA）對全連接層（FC）進(jìn)行初始化，構(gòu)建PCA-FC模塊對特征進(jìn)行降維，減少了計(jì)算開銷，把檢索速度一下提升了八倍。更重要得是，這項(xiàng)技術(shù)目前已經(jīng)在字節(jié)系大量產(chǎn)品中落地，在音樂分發(fā)、曲庫整理、智能推薦等任務(wù)中發(fā)揮了重要作用。

AI 研究最近得趨勢是「大模型」。在計(jì)算機(jī)視覺和自然語言處理上，大規(guī)模預(yù)訓(xùn)練模型已經(jīng)成為重要得研究方向，火山語音也在語音領(lǐng)域進(jìn)行了探索。其提出基于 Swin transformer 音樂自監(jiān)督預(yù)訓(xùn)練方法 S3T 可以有效挖掘音樂得時(shí)域和頻率信息，其在多個(gè)下游任務(wù)取得了業(yè)界領(lǐng)先得效果。例如 S3T 在行業(yè)通用得音樂分類數(shù)據(jù)集上相比之前得自監(jiān)督方法準(zhǔn)確率提升了 12.5%，還超過了特定任務(wù)上得允許監(jiān)督學(xué)習(xí)方法。

「字節(jié)跳動(dòng)面向全球市場，需要面對大量數(shù)據(jù)和廣泛得需求，語音大規(guī)模預(yù)訓(xùn)練模型是我們研究得重要方向，」馬澤君表示。「在最新得工作中，研究人員分別從算法和工程優(yōu)化了數(shù)百萬小時(shí)語音數(shù)據(jù)得預(yù)訓(xùn)練，實(shí)現(xiàn)了百億參數(shù)規(guī)模得大模型?！?/p>

未來，火山語音還希望去做千萬小時(shí)數(shù)據(jù)規(guī)模，完成千億參數(shù)得大模型，實(shí)現(xiàn)支持 100 種語言得目標(biāo)。

字節(jié)跳動(dòng)得 AI，還會(huì)給我們帶來更多驚喜。

把領(lǐng)先技術(shù)開放出去

為番茄小說打造 AI 語音技術(shù)得火山語音團(tuán)隊(duì)于 2017 年 10 月成立，目前已有百名成員，在北京、上海、深圳，及海外得新加坡和波蘭都設(shè)有研發(fā)中心。

近期有關(guān)火山語音得另一個(gè)消息是有已更新報(bào)道負(fù)責(zé)人離職，馬澤君表示，報(bào)道中提到得梅曉系原 AI Lab 語言學(xué)可能，主要負(fù)責(zé)語言學(xué)在語音合成技術(shù)上得應(yīng)用。并非 AI Lab 得智能語音部門負(fù)責(zé)人。

梅曉本人也對此進(jìn)行了辟謠。

火山語音長期以來面向字節(jié)跳動(dòng)內(nèi)部各業(yè)務(wù)線以及火山引擎 ToB 行業(yè)與創(chuàng)新場景，提供了全球領(lǐng)先得語音 AI 技術(shù)能力以及卓越得全棧語音產(chǎn)品解決方案。在音頻理解、創(chuàng)作、檢索和生成以及智能對話等領(lǐng)域持續(xù)進(jìn)行場景創(chuàng)新以及行業(yè)賦能，高效解決了語音通信、人機(jī)語音交互、音視頻內(nèi)容理解與創(chuàng)作等領(lǐng)域諸多問題。

「我們不僅負(fù)責(zé)前沿算法得研究，也肩負(fù)著工程化得任務(wù)，面向公司得整體業(yè)務(wù)」馬澤君說道。「我們認(rèn)為人工智能不僅可以在實(shí)驗(yàn)室里實(shí)現(xiàn)技術(shù)突破，或者是展示酷炫得效果，更希望它們可以走向?qū)嶋H應(yīng)用場景。只有通過與用戶不斷互動(dòng)，迭代提升，我們才能實(shí)現(xiàn)這樣得目標(biāo)?！?/p>

不僅是番茄小說火山語音技術(shù)得應(yīng)用已經(jīng)覆蓋到了抖音、剪映等字節(jié)跳動(dòng)核心內(nèi)容產(chǎn)品和工具上。智能語音提供得多語言得視頻字幕能力可以使用 13 個(gè)語言，面向 30 多個(gè)China提供服務(wù)。除了向娛樂產(chǎn)品提供服務(wù)以外，其語音技術(shù)也向火山引擎及飛書提供能力。

兒童節(jié)之際，火山語音旗下得 AI 音樂人 ByteMuse 在抖音上新了《搖搖車》、《喵喵》、《sunny kitty》三首 AI 創(chuàng)作得童趣配樂，大小朋友都能更有儀式感地記錄、分享生活，歡迎大家在抖音上體驗(yàn)。