Преобразование голоса с помощью каскадного автоматического распознавания речи и преобразования текста в речь с передачей просодии

Преобразование голоса

Категории: Среднее число мнений

Метки: 2020 | Jing-Xuan Zhang | Li-Juan Liu | Li-Rong Dai | Ya-Jun Hu | Yan-Nian Chen | Yuan Jiang | Zhen-Hua Ling

С развитием технологий автоматического распознавания речи (ASR) и синтеза текста в речь (TTS) стало интуитивно понятно построить систему преобразования голоса путем каскадного подключения систем ASR и TTS. В этой статье мы представляем метод ASR-TTS для преобразования голоса, в котором используется механизм iFLYTEK ASR для преобразования исходной речи в текст и модель Transformer TTS с вокодером WaveNet для синтеза преобразованной речи из декодированного текста. Для модели TTS мы предложили использовать код просодии для описания просодической информации, отличной от текста и информации о дикто...

Непараллельное преобразование голоса на основе распознавания и синтеза с состязательным обучением

Преобразование голоса

Категории: Генеративно-состязательная сеть | Глубокое обучение | Мел-спектрограмма | Преобразование Фурье | Рекуррентная нейронная сеть | Свёрточная нейронная сеть | Состязательное обучение

Метки: 2020 | Jing-Xuan Zhang | Li-Rong Dai | Zhen-Hua Ling

В данной статье представлен метод состязательного обучения для непараллельного преобразования голоса на основе распознавания и синтеза. Распознаватель используется для преобразования акустических признаков в лингвистические представления, в то время как синтезатор восстанавливает выходные признаки из выходных данных распознавателя вместе с идентификатором говорящего. Отделяя характеристики говорящего от лингвистических представлений, преобразование голоса может быть достигнуто путем замены идентификатора говорящего на целевой. В предлагаемом нами методе используется состязательная потеря говор...

Последовательное акустическое моделирование для преобразования голоса

Преобразование голоса

Категории: WaveNet | Гауссовская модель смеси | Глубокое обучение | Динамическая трансформация временной шкалы | Мел-спектрограмма | Преобразование Фурье | Рекуррентная нейронная сеть | Среднее число мнений

Метки: 2020 | Jing-Xuan Zhang | Li-Juan Liu | Li-Rong Dai | Yuan Jiang | Zhen-Hua Ling

В этой статье представлена нейронная сеть под названием Sequence-to-sequence ConvErsion NeTwork (SCENT) для акустического моделирования в преобразовании голоса. На этапе обучения модель SCENT оценивается путем неявного сопоставления последовательностей признаков исходного и целевого говорящих, используя механизм внимания. На этапе преобразования акустические характеристики и длительность исходных звуков преобразуются одновременно с использованием единой акустической модели. В качестве акустических характеристик используются спектрограммы в масштабе Mel, которые содержат описания речевых сигнал...

Непараллельное преобразование голоса из последовательности в последовательность с распутанными языковыми представлениями и представлениями говорящего

Преобразование голоса

Категории: WaveNet | Генеративно-состязательная сеть | Глубокое обучение | Мел-спектрограмма | Преобразование Фурье | Распутанное представление | Состязательное обучение

Метки: 2019 | Jing-Xuan Zhang | Li-Rong Dai | Zhen-Hua Ling

В этой статье представлен метод преобразования голоса из последовательности в последовательность (seq2seq) с использованием непараллельных обучающих данных. В этом методе из акустических характеристик извлекаются неразборчивые лингвистические представления и представления говорящего, и преобразование голоса достигается путем сохранения лингвистических представлений исходных высказываний при замене представлений говорящего на целевые. Наша модель построена в рамках нейронных сетей кодирования-декодирования. Кодировщик распознавания предназначен для изучения неразборчивых лингвистических предста...