Самонастраивающееся непараллельное преобразование голоса из диктор-адаптивное преобразование текста в речь

Метки: 2019 | Hieu-Thi Luong | Junichi Yamagishi

Преобразование голоса и текста в речь - это две задачи, которые преследуют схожую цель: генерировать речь с помощью целевого голоса. Однако, как правило, они разрабатываются независимо друг от друга в рамках совершенно разных платформ. В этой статье мы предлагаем методологию начальной загрузки системы преобразования голоса из предварительно подготовленной модели преобразования текста в речь, адаптируемой к диктору, и объединяем методы, а также интерпретации этих двух задач. Более того, благодаря переносу большого объема данных на этап обучения модели преобразования текста в речь, наша система ...

Межъязыковое преобразование голоса на основе DNN с использованием функций "узкого места"

Преобразование голоса

Метки: 2019 | K Sreenivasa Rao | M Kiran Reddy

Преобразование голоса на разных языках является довольно сложной задачей, поскольку говорящие на разных языках говорят на разных языках. В этой статье предлагается платформа для преобразования голоса на разных языках, основанная на функциях "узких мест" и глубокой нейронной сети (DNN).). В предлагаемом методе признаки узких мест, извлеченные из глубокого автоэнкодера (DAE), используются для представления не зависящих от говорящего особенностей речевых сигналов с разных языков. Модель DNN обучается для определения соответствия между признаками узких мест и соответствующими спектральными характе...

Blow: одномасштабный гиперкондиционный поток для непараллельного преобразования голоса в формате raw-audio

Преобразование голоса

Категории: Порождающая модель

Метки: 2019 | Carlos Segura | Joan Serrà | Santiago Pascual

Сквозные модели для генерации необработанного звука представляют собой сложную задачу, особенно если им приходится работать с непараллельными данными, что является желательной настройкой во многих ситуациях. Преобразование голоса, при котором модель должна выдавать себя за диктора в записи, является одной из таких ситуаций. В этой статье, приведенной ниже, мы предлагаем одномасштабный нормализующий поток с использованием гиперсетевого кондиционирования для выполнения преобразования голоса "многие ко многим" между необработанными аудио. Blow обучается от начала до конца, с использованием непара...

Однократное преобразование голоса путем разделения представлений диктора и контента с нормализацией экземпляра

Преобразование голоса

Категории: Мел-спектрограмма | Порождающая модель | Преобразование Фурье | Распутанное представление

Метки: 2019 | Cheng-chieh Yeh | Hung-yi Lee | Ju-chieh Chou

Недавно преобразование голоса без параллельных данных было успешно адаптировано к многоцелевому сценарию, в котором одна модель обучается преобразованию вводимого голоса для множества различных говорящих. Однако такая модель страдает тем ограничением, что она может преобразовывать голос только дикторов в обучающих данных, что сужает применимый сценарий преобразования голоса. В этой статье мы предложили новый подход к однократному преобразованию голоса, который позволяет выполнять преобразование голоса только с помощью примера произнесения от исходного и целевого диктора соответственно, при это...

StarGAN-VC2: Переосмысление условных методов преобразования голоса на основе Stargen

Преобразование голоса

Категории: Генеративно-состязательная сеть | Глубокое обучение | Состязательное обучение

Метки: 2019 | Hirokazu Kameoka | Kou Tanaka | Nobukatsu Hojo | Takuhiro Kaneko

Непараллельное многодоменное преобразование голоса - это метод изучения сопоставлений между несколькими доменами без использования параллельных данных. Это важно, но сложно из-за необходимости изучения нескольких сопоставлений и отсутствия явного контроля. В последнее время StarGAN-VC привлек к себе внимание благодаря своей способности решать эту проблему только с помощью одного генератора. Однако по-прежнему существует разрыв между реальной и преобразованной речью. Чтобы устранить этот пробел, мы переосмысливаем условные методы StarGAN-VC, которые являются ключевыми компонентами для достижени...

V2S attack: построение преобразования голоса на основе DNN автоматической проверки говорящего

Преобразование голоса

Категории: Глубокое обучение | Мел-спектрограмма | Преобразование Фурье

В этой статье представлена новая атака на имитацию голоса с использованием преобразования голоса. Регистрация личных голосов для автоматической проверки говорящего (ASV) предлагает естественные и гибкие системы биометрической аутентификации. В основном, системы ASV не включают голосовые данные пользователей. Однако, если система ASV неожиданно обнаруживается и взламывается злоумышленником, существует риск того, что злоумышленник будет использовать методы преобразования голоса для воспроизведения голосов зарегистрированных пользователей. Мы называем это атакой от проверки к синтезу (V2S)" и пре...

Обобщение прямой модификации формы сигнала на основе дифференциала спектра для преобразования голоса

Преобразование голоса

Категории: Автокодировщик | Мел-спектрограмма | Преобразование Фурье

Мы представляем прямую модификацию формы сигнала для преобразования голоса на основе дифференциала спектра (DIFFVC), которая может быть непосредственно применена в качестве модуля генерации формы сигнала к моделям преобразования голоса. Недавно предложенный DIFFVC позволяет избежать использования вокодера, сохраняя при этом богатые спектральные характеристики, что позволяет генерировать преобразованный голос высокого качества. Для применения платформы DIFFVC необходимо предварительно обучить модель, которая может оценивать спектральную разницу по преобразованной входной речи F0. Это требование...

Непараллельное преобразование голоса с помощью циклического вариационного автоэнкодера

Преобразование голоса

Категории: Автокодировщик

В этой статье мы представляем новую технику непараллельного преобразования голоса с использованием спектрального моделирования на основе циклического вариационного автоэнкодера (CycleVAE). В рамках вариационного автоэнкодера (VAE) скрытое пространство, обычно с гауссовым априором, используется для кодирования набора входных признаков. При голосовом преобразовании на основе VAE закодированные скрытые характеристики передаются в декодер вместе с характеристиками, кодирующими диктора, для генерации оценочных спектров либо с исходной идентификацией диктора (восстановленной), либо с другой идентифи...

Статистическое преобразование голоса с помощью квазипериодического вокодера WaveNet

Преобразование голоса

Категории: WaveNet | Глубокое обучение | Среднее число мнений

В этой статье мы исследуем эффективность квазипериодического вокодера WaveNet (QPNet) в сочетании с методом статистического спектрального преобразования для задачи преобразования голоса. Вокодер WaveNet (WN) применяется в качестве модуля генерации сигналов во многих различных системах преобразования голоса и обеспечивает значительное улучшение по сравнению с обычными вокодерами. Однако из-за фиксированной расширенной свертки и общей сетевой архитектуры вокодер WN не обладает достаточной устойчивостью к невидимым функциям ввода и часто требует большого размера сети для достижения приемлемого ка...

Иерархическое преобразование голоса из последовательности в последовательность с ограниченными данными

Преобразование голоса

Метки: 2019 | Francois Charette | Gint Puskorius | Praveen Narayanan | Punarjay Chakravarty

Мы представляем решение для преобразования голоса с использованием рекуррентного моделирования последовательности в последовательность для DNN. Наше решение использует последние достижения в области моделирования на основе внимания в области нейронного машинного перевода (NMT), преобразования текста в речь (TTS) и автоматического распознавания речи (ASR). Проблема заключается в параллельном преобразовании между голосами при наличии аудиопар. В нашей архитектуре seq2seq используется иерархический кодер для суммирования входных аудиокадров. Что касается декодера, мы используем архитектуру, основ...