Text-to-speech hoạt động như thế nào, và TTS nơ-ron là gì?

Ba giai đoạn của một hệ thống TTS

1. Chuẩn hóa văn bản. Hệ thống viết lại văn bản thành những từ có thể đọc thành tiếng. “Dr. Lee paid $25 on 3/4” phải trở thành đại loại “Doctor Lee paid twenty-five dollars on March fourth” (hoặc “the third of April”, tùy khu vực). Nhiều lỗi phát âm xảy ra ở đây, không phải ở giọng đọc.
2. Phân tích ngôn ngữ. Từ được chuyển thành âm vị (phoneme), các đơn vị âm thanh của một ngôn ngữ, và hệ thống dự đoán trọng âm, cách ngắt cụm và ngữ điệu. Những từ viết giống nhau nhưng đọc khác, như “read” ở thì hiện tại và quá khứ, hay chữ Hán có nhiều hơn một cách đọc, cần ngữ cảnh để phân giải.
3. Tạo dạng sóng âm. Âm và thời gian của chúng được chuyển thành mẫu âm thanh. Hệ thống cũ ghép các đoạn thu sẵn (tổng hợp nối ghép) hoặc dùng mô hình formant, nghe như robot. Hệ thống nơ-ron dự đoán âm thanh bằng một mạng.

Một thiết kế nơ-ron kinh điển, Tacotron 2, cho thấy rõ cách chia hiện đại: một mạng ánh xạ văn bản sang mel spectrogram (bức tranh thời gian-tần số của lời nói), và mạng thứ hai, vocoder, biến bức tranh đó thành dạng sóng. Trong các bài nghe thử của chính tác giả, nó đạt điểm gần với bản thu chuyên nghiệp. Các hệ thống mới hơn thường gộp các giai đoạn lại hoặc tạo ra token âm thanh nén bằng mạng kiểu mô hình ngôn ngữ, nhờ đó sao chép được giọng người nói từ một mẫu ngắn.

TTS nơ-ron và giọng hệ thống trong trình duyệt

Trang web có thể nói qua Web Speech API mà không cần mô hình riêng. Đối tượng speechSynthesis đọc to một SpeechSynthesisUtterance bằng một trong các giọng mà nền tảng cung cấp.

Mỗi giọng báo một cờ localService. Đặc tả nói rằng nó đúng (true) với bộ tổng hợp cục bộ và sai (false) với dịch vụ từ xa; giọng từ xa có thể cần mạng và có thể thêm độ trễ.

const u = new SpeechSynthesisUtterance("Your order has shipped.");
u.lang = "en-GB";
u.rate = 0.9;   // 1 is normal; spec allows 0.1 to 10
u.pitch = 1.0;  // 0 to 2, 1 is the voice default
u.volume = 1.0; // 0 to 1
const voices = speechSynthesis.getVoices();
u.voice = voices.find(v => v.lang === "en-GB") || null;
speechSynthesis.speak(u);

Giọng thường tải sau khi trang bắt đầu, nên getVoices() lúc đầu có thể trả về danh sách rỗng; hãy lắng nghe sự kiện voiceschanged. Chẳng hạn, công cụ text-to-speech của cv.cm dùng đúng các giọng có sẵn này, kèm điều khiển tốc độ và cao độ. Đó là cách nhanh để nghe thử bản nháp, không phải trình tạo giọng nơ-ron, và danh sách giọng tùy thuộc vào thiết bị của bạn.

SSML: điều khiển quãng nghỉ và phát âm

Speech Synthesis Markup Language (SSML), một chuẩn của W3C, là XML cho bộ máy TTS biết cách đọc văn bản. Hầu hết dịch vụ TTS đám mây đều chấp nhận nó. Đặc tả Web Speech cho phép SSML trong một utterance, nhưng bộ máy không hỗ trợ một số thẻ phải bỏ chúng đi và đọc phần văn bản còn lại, nên mức hỗ trợ của trình duyệt không đồng nhất.

<speak>
  Your code is <say-as interpret-as="characters">A7K</say-as>.
  <break time="500ms"/>
  Please call <sub alias="World Health Organization">WHO</sub>
  before <prosody rate="90%" pitch="+2st">Friday at noon</prosody>.
  The word is <phoneme alphabet="ipa" ph="təˈmɑːtoʊ">tomato</phoneme>,
  and it is <emphasis level="strong">not</emphasis> optional.
</speak>

Nếu dịch vụ bỏ qua SSML, bạn vẫn có thể điều hướng bằng văn bản thường: dấu phẩy và dấu chấm để nghỉ, số viết thành chữ, và viết lại tên khó theo cách phiên âm.

Viết văn bản nghe hay khi đọc thành tiếng

• Dùng câu ngắn. Mệnh đề dài khiến giọng đọc hết chỗ lấy hơi tự nhiên.
• Viết số theo cách cần đọc khi điều đó quan trọng: “two thousand twenty-six” hoặc “twenty twenty-six”.
• Khai triển từ viết tắt và đơn vị mà người nghe cần nghe: “km/h” có thể bị đọc từng chữ cái.
• Đặt đúng ngôn ngữ và khu vực. Giọng en-US đọc tên tiếng Tây Ban Nha, hay giọng zh-CN đọc tiếng Anh, sẽ dùng sai hệ thống âm.
• Nghe toàn bộ kết quả một lần trước khi đăng. Kiểm tra tên, số và từ có hai cách phát âm.

Nhân bản giọng: sự đồng ý và pháp luật

Các mô hình hiện đại có thể bắt chước một giọng từ bản ghi ngắn. Điều đó hữu ích để lồng tiếng cho video của chính bạn hoặc trả lại giọng nói cho người đã mất nó, và cũng bị dùng cho lừa đảo, như các cuộc gọi giả giọng người thân hay giám đốc công ty. Hãy coi mọi giọng nói là dữ liệu cá nhân thuộc về người nói.

Các dịch vụ nhân bản uy tín yêu cầu người nói ghi âm một lời đồng ý trước khi tạo giọng. Nếu một công cụ cho phép nhân bản bất kỳ giọng nào từ bất kỳ đoạn clip nào mà không kiểm tra như vậy, đừng dùng nó cho bất cứ thứ gì bạn đăng tải.