Taco-VC: Преобразование голоса на базе Tacotron с одним говорящим и ограниченным объемом данных

Категории: WaveNet | Динамическая трансформация временной шкалы | Мел-спектрограмма | Преобразование Фурье | Среднее число мнений

Метки: 2019 | Raja Giryes | Roee Levy Leshem

В этой статье представлена Taco-VC, новая архитектура преобразования голоса, основанная на синтезаторе Tacotron, которая представляет собой модель последовательного преобразования голоса с учетом внимания. Обучение систем преобразования голоса с несколькими динамиками требует большого объема ресурсов, как в плане обучения, так и в плане размера корпуса. Taco-VC реализован с использованием синтезатора Tacotron с одним говорящим, основанного на фонетических апостериограммах (PPG), и вокодера Wavenet с одним говорящим, основанного на спектрограммах Mel. Для повышения качества преобразованной речи...

Неконтролируемое преобразование певческого голоса

Преобразование голоса

Категории: WaveNet | Глубокое обучение | Обучение без учителя | Свёрточная нейронная сеть

Метки: 2019 | Eliya Nachmani | Lior Wolf

Мы представляем метод глубокого обучения для преобразования голоса певца. Предлагаемая сеть не зависит от текста или нот и напрямую преобразует аудио одного певца в голос другого. Обучение проводится без какого-либо контроля: никаких текстов или каких-либо фонетических особенностей, никаких нот и совпадающих сэмплов между певцами. Предлагаемая сеть использует единый кодер CNN для всех исполнителей, единый декодер WaveNet и классификатор, который обеспечивает независимое от певца скрытое представление. Каждый исполнитель представлен одним вектором встраивания, к которому привязан декодер. Чтобы...

Преобразование голоса WaveNet без вокодера с использованием непараллельных данных

Преобразование голоса

Категории: WaveNet | Гауссовская модель смеси | Динамическая трансформация временной шкалы

Метки: 2019 | Eng Siong Chng | Haizhou Li | Xiaohai Tian

В типичной системе преобразования голоса вокодер обычно используется для преобразования речи в признаки и синтеза признаков в речь. Однако вокодер может быть источником ухудшения качества речи. В этой статье представлен подход к преобразованию голоса без использования вокодера с использованием вейвлета для непараллельных обучающих данных. Вместо того, чтобы работать с промежуточными функциями, предлагаемый подход использует WaveNet для непосредственного сопоставления фонетических апостериорограмм (PPG) с образцами формы сигнала. Таким образом, мы избегаем ошибок оценки, вызванных вокодером и п...

Статистическое преобразование голоса с помощью квазипериодического вокодера WaveNet

Преобразование голоса

Категории: WaveNet | Глубокое обучение | Среднее число мнений

В этой статье мы исследуем эффективность квазипериодического вокодера WaveNet (QPNet) в сочетании с методом статистического спектрального преобразования для задачи преобразования голоса. Вокодер WaveNet (WN) применяется в качестве модуля генерации сигналов во многих различных системах преобразования голоса и обеспечивает значительное улучшение по сравнению с обычными вокодерами. Однако из-за фиксированной расширенной свертки и общей сетевой архитектуры вокодер WN не обладает достаточной устойчивостью к невидимым функциям ввода и часто требует большого размера сети для достижения приемлемого ка...

Иерархическое преобразование голоса из последовательности в последовательность с ограниченными данными

Преобразование голоса

Метки: 2019 | Francois Charette | Gint Puskorius | Praveen Narayanan | Punarjay Chakravarty

Мы представляем решение для преобразования голоса с использованием рекуррентного моделирования последовательности в последовательность для DNN. Наше решение использует последние достижения в области моделирования на основе внимания в области нейронного машинного перевода (NMT), преобразования текста в речь (TTS) и автоматического распознавания речи (ASR). Проблема заключается в параллельном преобразовании между голосами при наличии аудиопар. В нашей архитектуре seq2seq используется иерархический кодер для суммирования входных аудиокадров. Что касается декодера, мы используем архитектуру, основ...

Усовершенствованный вокодер WaveNet для преобразования голоса на основе вариационного автоэнкодера

Преобразование голоса

Категории: WaveNet | Автокодировщик | Мел-спектрограмма | Преобразование Фурье | Среднее число мнений

В этой статье представлена усовершенствованная система вокодеров WaveNet для преобразования голоса на основе вариационного автоэнкодера (VAE), которая уменьшает искажение качества, вызванное несоответствием между данными обучения и тестирования. Обычные вокодеры WaveNet обучаются с учетом естественных акустических характеристик, но зависят от преобразованных характеристик на этапе преобразования голоса, и такое несоответствие часто приводит к значительному ухудшению качества и сходства. В этой работе мы используем преимущества особой структуры VAE для усовершенствования вокодеров WaveNet с пом...

AUTOVC: передача стиля голоса Zero-Shot с потерей только автоэнкодера

Преобразование голоса

Непараллельное преобразование голоса "многие ко многим", а также преобразование голоса с нулевым кадром остаются недостаточно изученными областями. Алгоритмы глубокой передачи стилей, такие как генеративные состязательные сети (GAN) и условно-вариационный автоэнкодер (CVAE), применяются в качестве новых решений в этой области. Однако обучение стрельбе из пистолета является сложным процессом, и нет убедительных доказательств того, что генерируемая им речь обладает хорошим качеством восприятия. С другой стороны, обучение CVAE является простым, но не обладает свойством сопоставления с распределен...

Совместная обучающая платформа для преобразования текста в речь и преобразования голоса с использованием Tacotron и WaveNet с несколькими источниками

Преобразование голоса

Категории: WaveNet | Мел-спектрограмма | Преобразование Фурье | Рекуррентная нейронная сеть | Среднее число мнений

Мы исследовали процесс обучения общей модели как для задач преобразования текста в речь, так и для задач преобразования голоса. Мы предлагаем использовать архитектуру расширенной модели Tacotron, которая представляет собой модель последовательного преобразования из нескольких источников с механизмом двойного внимания, в качестве общей модели как для задач преобразования текста в речь, так и для задач преобразования голоса. Эта модель может выполнять эти две различные задачи соответственно в зависимости от типа входных данных. Задача сквозного синтеза речи выполняется, когда модели в качестве в...

Категория: WaveNet