Membina Sistem Teks-ke-Pertuturan Cina (Mandarin) Menggunakan Bert-VITS2

​

Penulis

​

Abstrak

• Mencapai WER 0.27 (terendah antara model yang dibandingkan)
• Mencapai MOS 2.90 untuk keaslian pertuturan
• Berjaya mensintesis pertuturan sehingga 22 saat
• Dilatih pada set data AISHELL-3 (85 jam, 218 penutur)

​

1. Pengenalan

​

Apakah Teks-ke-Pertuturan?

• Pembantu pintar
• Penyelesaian pembacaan yang boleh diakses
• Sistem navigasi
• Perkhidmatan pelanggan automatik

​

Mengapa Mandarin?

​

Apakah Bert-VITS2?

• Integrasi BERT: Pemahaman mendalam nuansa semantik dan kontekstual
• Latihan gaya GAN: Menghasilkan pertuturan yang sangat realistik melalui pembelajaran adversarial
• Berdasarkan VITS2: Seni bina sintesis suara terkini

​

2. Metodologi

​

2.1 Pemilihan Set Data

• 85 jam audio
• 218 penutur
• ~30 minit purata setiap penutur
• Kualiti transkripsi tinggi

Antara muka webui pra-pemprosesan data

​

2.2 Seni Bina Model

​

2.3 Proses Latihan

​

Fungsi Kehilangan

• Reconstruction Loss: Memadankan pertuturan yang dijana dengan kebenaran asas
• Duration Loss: Meminimumkan ralat ramalan tempoh fonem
• Adversarial Loss: Menggalakkan penjanaan pertuturan realistik
• Feature Matching Loss: Menjajarkan ciri pertengahan

​

Mitigasi Mode Collapse

• Gradient Penalty untuk kestabilan discriminator
• Spectral Normalization dalam generator dan discriminator
• Progressive Training dengan kerumitan yang meningkat

​

Hiper-parameter

{
  "train": {
    "batch_size": 20,
    "learning_rate": 0.00001,
    "epochs": 100,
    "bf16_run": true
  },
  "data": {
    "sampling_rate": 44100,
    "n_speakers": 174
  }
}

​

3. Keputusan dan Perbincangan

​

Dinamik Latihan

• Kehilangan discriminator stabil
• Kehilangan generator menunjukkan trend menurun yang jelas
• WER menurun dari ~0.5 ke ~0.2 semasa latihan

Keluk kehilangan latihan

Peningkatan WER semasa latihan

​

Perbandingan dengan Model Lain

​

Contoh Penjanaan

• Frasa pendek (2-10 saat)
• Pertuturan bentuk panjang (22 saat) - di luar skop data latihan

​

Batasan

​

4. Kesimpulan dan Kerja Masa Depan

​

Pencapaian

1. Berjaya menala halus Bert-VITS2 untuk TTS Mandarin
2. Mencapai WER terendah antara model yang dibandingkan
3. Menguasai metodologi untuk mengurangkan cabaran latihan GAN
4. Menjana pertuturan yang jelas dan boleh dikenali merentasi pelbagai tempoh

​

Hala Tuju Masa Depan

1. Latih lebih banyak langkah untuk meningkatkan skor MOS
2. Tangani batasan code-switching
3. Kembangkan kepada penutur dan domain tambahan

​

5. Rujukan

1. Ren, Y., et al. (2019). “Fastspeech: Fast, robust and controllable text to speech.” NeurIPS.
2. Wang, Y., et al. (2017). “Tacotron: Towards end-to-end speech synthesis.” Interspeech.
3. Kim, J., et al. (2021). “Conditional variational autoencoder with adversarial learning for end-to-end text-to-speech.” ICML.
4. Kong, J., et al. (2023). “VITS2: Improving Quality and Efficiency of Single-Stage Text-to-Speech.” INTERSPEECH.
5. Shi, Y., et al. (2020). “AISHELL-3: A Multi-speaker Mandarin TTS Corpus and the Baselines.” ArXiv.
6. Saeki, T., et al. (2022). “UTMOS: UTokyo-SaruLab System for VoiceMOS Challenge 2022.” INTERSPEECH.

​

Sumber

• Repositori Bert-VITS2: github.com/fishaudio/Bert-VITS2
• Set Data AISHELL-3: openslr.org/93