IT之家 7 月 24 日消息，今天，字節(jié)跳動(dòng) Seed 團(tuán)隊(duì)正式發(fā)布端到端同聲傳譯模型 Seed LiveInterpret 2.0，是首個(gè)延遲 & 準(zhǔn)確率接近人類(lèi)水平的產(chǎn)品級(jí)中英語(yǔ)音同傳系統(tǒng)。

據(jù)官方介紹，它基于全雙工端到端語(yǔ)音生成理解框架，支持中英互譯，可實(shí)時(shí)處理多人語(yǔ)音輸入，像人類(lèi)同傳譯員一樣以極低的延遲“邊聽(tīng)邊說(shuō)”，一邊接收源語(yǔ)言語(yǔ)音輸入，一邊直接輸出目標(biāo)語(yǔ)言的翻譯語(yǔ)音。同時(shí)，Seed LiveInterpret 2.0 還支持 0 樣本聲音復(fù)刻，讓溝通更加流暢自然。

在測(cè)試中，可以觀察到，Seed LiveInterpret 2.0 面對(duì) 40 秒的大段中文表達(dá)，能夠低延遲地絲滑輸出同款音色的英語(yǔ)翻譯。此外，Seed LiveInterpret 2.0 還能快速學(xué)習(xí)音色。

相比傳統(tǒng)機(jī)器同傳系統(tǒng)，Seed LiveInterpret 2.0 模型具備以下優(yōu)勢(shì)：

• 接近真人同傳的翻譯準(zhǔn)確率。精準(zhǔn)的語(yǔ)音理解能力保障了翻譯準(zhǔn)確度，在多人會(huì)議等復(fù)雜場(chǎng)景中英雙向翻譯準(zhǔn)確率超 70%，單人演講翻譯準(zhǔn)確率超 80%，接近真人專(zhuān)業(yè)同傳水平。

• 極低延遲的“邊聽(tīng)邊說(shuō)”能力。采用全雙工語(yǔ)音理解生成框架，翻譯延遲可低至 2-3 秒，較傳統(tǒng)機(jī)器同傳系統(tǒng)降低超 60%，實(shí)現(xiàn)了真正的“邊聽(tīng)邊說(shuō)”翻譯。

• 零樣本聲音復(fù)刻，音色真實(shí)自然。只需采樣實(shí)時(shí)語(yǔ)音信號(hào)，便能提取聲音特征，用說(shuō)話人的音色特質(zhì)實(shí)時(shí)“說(shuō)出”外語(yǔ)，提升交流的沉浸感和親和力。

• 智能平衡翻譯質(zhì)量、延遲和語(yǔ)音輸出節(jié)奏。可根據(jù)語(yǔ)音清晰度、流暢度、復(fù)雜程度，調(diào)整輸出節(jié)奏，并適配不同語(yǔ)言特性。面對(duì)超長(zhǎng)信息，依然能保證傳譯語(yǔ)音節(jié)奏的自然流暢。

IT之家注意到，目前 Seed LiveInterpret 2.0 技術(shù)報(bào)告已公布，模型基于火山引擎對(duì)外開(kāi)放。此外，Ola Friend 耳機(jī)也將在 8 月底接入 Seed LiveInterpret 2.0，成為首個(gè)支持該模型的智能硬件設(shè)備。

廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。