資訊專欄INFORMATION COLUMN
過去我們讓AI說話，它給出的總是不咸不淡的機器合成聲音，毫無波瀾的死板音調讓人聽得昏昏欲睡。但由于chatTTS的到來，一切都將會變得不一樣。作為一款強大的對話式文本轉語音模型，它完美解決了用戶對于生動對話的需求。如此功能不可小覷，可以稱得上在業界一騎絕塵。對于短視頻內容創作，有聲小說配音，數字營銷推廣以及日常辦公，它都可以成為強有力的助手。此外，該項目還衍生出音色抽卡，長文本推理，角色扮演等功能。
項目簡介
ChatTTS由2noise推出，是專門為對話場景設計的文本轉語音模型，例如LLM助手對話任務。使用非常簡單，只需輸入文本和信息，就可以生成相應的語音文件。它同時支持英文和中文，兩種語言的發聲效果都非常良好，甚至你可以輸入中英文混搭的語句，它也能切換自如，輕松駕馭。
ChatTTS的訓練量也是十分驚人。最大的模型使用了10萬小時以上的中英文數據進行訓練。在HuggingFace中開源的版本為4萬小時訓練且未SFT的版本。
ChatTTS非常適合處理通常分配給大型語言模型LLM的對話框任務。當集成到各種應用程序和服務中時，它可以生成對話響應，并提供更自然、更流暢的交互體驗。
核心功能
1. ChatTTS文本轉語音
ChatTTS能夠生成自然流暢的語音，輸入的文本里允許加入笑聲 [laugh] 和停頓 [uv_break] 作為韻律標記，可操作性很強。有了這些停頓和語氣詞等副語言現象，它聽起來就像是我們在日常生活中的自然交流。它的發聲也是不拘一格，比如你提問四川當地有哪些美食，它給出的回答還會帶有一點口音！
（幾個示例https://colab.research.google.com/github/Kedreamix/ChatTTS/blob/main/ChatTTS_infer.ipynb#scrollTo=_xrONBIj9oxo）
如果讓它朗讀/陳述信息，可以聽到音質相當不錯，聲音清晰飽滿，背景噪音較少，語速適中，聲調平穩，英文發音頗為地道。。。這簡直是廣播電臺的播音員無疑了！當然，也存在發音詞帶有吞音之類的問題，不過還是瑕不掩瑜。
如果讓它讀故事，那聽起來真是抑揚頓挫，它時而提升聲調突出重點，時而放緩過渡，同時也能處理好斷句。
總的來說，ChatTTS針對對話式任務進行了優化，實現了自然流暢的語音合成，同時支持多說話人。生成效果上，不論是語調還是語氣的變化，都比較細膩，非常接近真人的說話方式，不會停留在單一的音調上顯得生硬。整體上聲音很連貫，不會有別扭的感覺。
2.細粒度控制--韻律調整:
該模型能夠預測和控制細粒度的韻律特征，包括笑聲、停頓和插入詞等。前面我們有提到過韻律特征：停頓和笑聲，實際上模型有許許多多種韻律的調整，不僅限于文本里常見的附加[uv_break]和[laugh]（實際上笑聲也有三種，[laugh_0]、[laugh_1]、[laugh_2]），還有[music]、[pure]、[oral_0]、[speed_3]、[Stts]、[Ptts]等，標記處上下文都會受到程度不一的影響，這樣可以很好地做到控制情緒的表達而不顯突兀。當然，目前運用參數自動地對文本的預處理還是不夠精細的，可能還是需要一定的人工處理，不然將會更為理想。
言而總之，這個模型可以精確控制韻律元素包括笑聲，停頓和語調等韻律元素。
項目實操
基礎用法
import ChatTTS
from IPython.display import Audio
chat = ChatTTS.Chat()
chat.load_models(compile=False) # Set to True for better performance
texts = ["PUT YOUR TEXT HERE",]
wavs = chat.infer(texts, )
torchaudio.save("output1.wav", torch.from_numpy(wavs[0]), 24000)進階用法
說話人生成的主要方法是先從高斯噪聲中采樣，然后得到一個固定長度的說話人向量，最后作為額外的信息，輸入到網絡。給出的項目音色本來是不能固定的，但我們可以通過固定隨機種子，將音色固定，解決音色過于隨機的問題
###################################
# Sample a speaker from Gaussian.
rand_spk = chat.sample_random_speaker()
params_infer_code = {
'spk_emb': rand_spk, # add sampled speaker
'temperature': .3, # using custom temperature
'top_P': 0.7, # top P decode
'top_K': 20, # top K decode
}
###################################
# For sentence level manual control.
# use oral_(0-9), laugh_(0-2), break_(0-7)
# to generate special token in text to synthesize.
params_refine_text = {
'prompt': '[oral_2][laugh_0][break_6]'
}
wav = chat.infer(texts, params_refine_text=params_refine_text, params_infer_code=params_infer_code)
###################################
# For word level manual control.
text = 'What is [uv_break]your favorite english food?[laugh][lbreak]'
wav = chat.infer(text, skip_refine_text=True, params_refine_text=params_refine_text, params_infer_code=params_infer_code)
torchaudio.save("output2.wav", torch.from_numpy(wavs[0]), 24000)如有興趣可以點擊以下鏈接了解更多細節：
https://github.com/2noise/ChatTTS/blob/main/README_CN.md
https://github.com/ultrasev/ChatTTS/blob/master/README.md
https://colab.research.google.com/github/Kedreamix/ChatTTS/blob/main/ChatTTS_infer.ipynb#scrollTo=_xrONBIj9oxo
推薦使用NVIDIA RTX 40 顯卡做模型推理，購買地址如下：
http://specialneedsforspecialkids.com/site/active/gpu.html?ytag=seo
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/131102.html
摘要：本文借助發布的數字營銷趨勢報告，從廣告的發展趨勢和尚存問題講起，引出前端開發在未來應該逐漸的所處的角色和應該承擔的責任。總結本文描述了廣告在年的發展趨勢和當前存在的問題，并在廣告的渲染，監測和上報上闡述了前端可以努力的方向。 上個周寫個篇文章《一篇文章了解廣告全鏈路》，在其中我們討論了數字營銷中廣告是如何售賣的，以及廣告的實時競價和庫存算法。但是，其實上面那篇文章還沒有完結，它還缺了一...
摘要：中國聯通對邊緣云的實踐在國內運營商中比較領先。目前，中國聯通在天津建成了全國最大的邊緣云測試床，驗證邊緣云相關技術能力。自研平臺是目前中國聯通邊緣云的重要任務。目前，中國聯通平臺已商用部署于天津寶坻上京順園邊緣機房。5G網路與云計算、大數據、虛擬增強現實、人工智能等技術的深入融合，將使萬物實現互聯，成為各行業數字化轉型的關鍵基礎設施。而uRLLC（超可靠低時延）作為5G三大應用場景之一，也使...
摘要：往年回顧氪研究院長期追蹤一級市場行業動態，深入調研各領域細分賽道最具代表性的企業，從行業發展環境成長性競爭格局未來趨勢等角度進行分析與研究，輸出了包含人工智能金融教育醫療交通文娛電商泛科技在內的上百份報告。 showImg(http://upload-images.jianshu.io/upload_images/13825820-d8888a77e920c16f.jpg?imageM...
摘要：大殺器之性能剖析原文地址大殺器之性能剖析前言寫了幾噸代碼，實現了幾百個接口。功能測試也通過了，終于成功的部署上線了結果，性能不佳，什么鬼 Golang 大殺器之性能剖析 PProf 原文地址：Golang 大殺器之性能剖析 PProf 前言 寫了幾噸代碼，實現了幾百個接口。功能測試也通過了，終于成功的部署上線了 結果，性能不佳，什么鬼？
閱讀 157·2024-12-10 11:51
閱讀 303·2024-11-07 17:59
閱讀 330·2024-09-27 16:59
閱讀 466·2024-09-23 10:37
閱讀 540·2024-09-14 16:58
閱讀 336·2024-09-14 16:58
閱讀 532·2024-08-29 18:47
閱讀 813·2024-08-16 14:40
