Преобразование голоса от любого ко многим с моделированием с относительным местоположением от последовательности к последовательности

Преобразование голоса

Категории: Глубокое обучение | Мел-спектрограмма | Преобразование Фурье | Рекуррентная нейронная сеть | Среднее число мнений

Метки: 2020 | Disong Wang | Helen Meng | Songxiang Liu | Xixin Wu | Xunying Liu | Yuewen Cao

В этой статье предлагается подход к непараллельному преобразованию голоса от любого ко многим относительно местоположения, от последовательности к последовательности (seq2seq), который использует контроль текста во время обучения. В этом подходе мы объединяем экстрактор функций бутылочного горлышка (BNE) с модулем синтеза seq2seq. На этапе обучения обучается гибридный распознаватель фонем коннекционист-временная классификация-внимание (CTC-attention) на основе кодера-декодера, кодер которого имеет слой горлышка бутылки. BNE получается из распознавателя фонем и используется для извлечения незав...

Передача исходного стиля при непараллельном преобразовании голоса

Преобразование голоса

Категории: WaveRNN | Гауссовская модель смеси | Глубокое обучение | Мел-спектрограмма | Преобразование Фурье | Рекуррентная нейронная сеть

Метки: 2020 | Dan Su | Dong Yu | Helen Meng | Na Hu | Shiyin Kang | Songxiang Liu | Xunying Liu | Yuewen Cao

Методы преобразования голоса (VC) направлены на изменение идентичности говорящего высказывания при сохранении лежащей в его основе лингвистической информации. Большинство подходов преобразования голоса игнорируют моделирование стиля речи (например, эмоции и акцент), который может содержать факторы, намеренно добавленные говорящим, и должен быть сохранен во время преобразования. Это исследование предлагает основанный на последовательности непараллельный подход преобразования голоса, который имеет возможность передачи стиля речи от исходной речи к преобразованной речи путем явного моделирования....

Многоцелевое преобразование эмоционального голоса с помощью нейронных вокодеров

Преобразование голоса

Категории: WaveNet | Глубокое обучение | Динамическая трансформация временной шкалы | Мел-спектрограмма | Преобразование Фурье | Рекуррентная нейронная сеть

Метки: 2020 | Helen Meng | Songxiang Liu | Yuewen Cao

Преобразование эмоционального голоса (EVC) - это один из способов создания выразительной синтетической речи. Предыдущие подходы в основном были сосредоточены на моделировании взаимно однозначного отображения, т.е. перехода из одного эмоционального состояния в другое эмоциональное состояние, с помощью мелкополосных вокодеров. В этой статье мы исследуем построение многоцелевой архитектуры EVC (MTEVC), которая сочетает в себе модель преобразования на основе глубокой двунаправленной долговременной памяти (DBLSTM) и нейронный вокодер. Фонетические апостериограммы (PPG), содержащие богатую лингвисти...

Преобразование эмоционального голоса с помощью циклически согласованной генерирующей состязательной сети

Преобразование голоса

Категории: Генеративно-состязательная сеть | Динамическая трансформация временной шкалы | Мел-спектрограмма | Преобразование Фурье | Состязательное обучение

Метки: 2020 | Helen Meng | Songxiang Liu | Yuewen Cao

Эмоциональное преобразование голоса, или эмоциональный VC, - это техника преобразования речи из одного эмоционального состояния в другое с сохранением основной лингвистической информации и идентичности говорящего. Предыдущие подходы к преобразованию эмоционального голоса требовали параллельных данных и использовали метод динамического выравнивания времени (DTW) для временного выравнивания параметров речи источника и цели. Эти подходы часто определяют минимальные потери генерации в качестве целевой функции, такой как потери L1 или L2, для изучения параметров модели. Недавно для непараллельного ...