Многоцелевое преобразование эмоционального голоса с помощью нейронных вокодеров

Метки: 2020 | Helen Meng | Songxiang Liu | Yuewen Cao

Преобразование эмоционального голоса (EVC) - это один из способов создания выразительной синтетической речи. Предыдущие подходы в основном были сосредоточены на моделировании взаимно однозначного отображения, т.е. перехода из одного эмоционального состояния в другое эмоциональное состояние, с помощью мелкополосных вокодеров. В этой статье мы исследуем построение многоцелевой архитектуры EVC (MTEVC), которая сочетает в себе модель преобразования на основе глубокой двунаправленной долговременной памяти (DBLSTM) и нейронный вокодер. Фонетические апостериограммы (PPG), содержащие богатую лингвисти...

Преобразование эмоционального голоса с помощью циклически согласованной генерирующей состязательной сети

Преобразование голоса

Категории: Генеративно-состязательная сеть | Динамическая трансформация временной шкалы | Мел-спектрограмма | Преобразование Фурье | Состязательное обучение

Метки: 2020 | Helen Meng | Songxiang Liu | Yuewen Cao

Эмоциональное преобразование голоса, или эмоциональный VC, - это техника преобразования речи из одного эмоционального состояния в другое с сохранением основной лингвистической информации и идентичности говорящего. Предыдущие подходы к преобразованию эмоционального голоса требовали параллельных данных и использовали метод динамического выравнивания времени (DTW) для временного выравнивания параметров речи источника и цели. Эти подходы часто определяют минимальные потери генерации в качестве целевой функции, такой как потери L1 или L2, для изучения параметров модели. Недавно для непараллельного ...

Непараллельная система преобразования голоса с вокодером WaveNet и подавлением свернутой речи

Преобразование голоса

Категории: WaveNet | Линейное предсказание | Среднее число мнений

В этой статье мы интегрируем простую систему непараллельного преобразования голоса (VC) с вокодером WaveNet (WN) и предлагаемым методом подавления свернутой речи. Эффективность WN в качестве вокодера для генерации высокоточных речевых сигналов на основе акустических характеристик была подтверждена в недавних работах. Однако при объединении вокодера WN с системой преобразования голоса искаженные акустические характеристики, акустические и временные несоответствия и смещение экспозиции обычно приводят к значительному ухудшению качества речи, заставляя WN генерировать некоторые очень зашумленные ...

Вклад гласных и просодии в алгоритм преобразования голоса на основе нейронной сети с зашумленными обучающими данными

Преобразование голоса

Категории: Глубокое обучение | Линейное предсказание

Метки: 2020 | Olaide Ayodeji Agbolade

В этом исследовании представлена модель преобразования голоса на основе нейронных сетей. Хотя известно, что озвученные звуки и просодия являются наиболее важными компонентами системы преобразования голоса, неизвестен их объективный вклад, особенно в шумной и неконтролируемой среде. Эта модель использует двухслойную нейронную сеть прямого действия для сопоставления коэффициентов анализа линейного прогнозирования исходного динамика с акустическим векторным пространством целевого говорящего с целью объективного определения вклада озвученных, невокализованных и надсегментарных компонентов звуков в...

Преобразование певческого голоса с использованием разрозненных представлений о певце и вокальной технике с использованием вариационных автоэнкодеров

Преобразование голоса

Метки: 2020 | Chin-Cheng Hsu | Dorien Herremans | Kat Agres | Yin-Jyun Luo

Мы предлагаем гибкую структуру, которая работает как с преобразованием голоса певца, так и с преобразованием вокальной техники певцов. Предлагаемая модель разработана на непараллельных корпусах, поддерживает преобразование "многие ко многим" и использует последние достижения вариационных автоэнкодеров. В нем используются отдельные кодеры для изучения скрытых представлений об индивидуальности певца и вокальной технике по отдельности, а для реконструкции используется совместный декодер. Преобразование осуществляется с помощью простой векторной арифметики в изученных скрытых пространствах. Как ко...

PitchNet: Неконтролируемое преобразование певческого голоса с помощью состязательной сети по высоте тона

Преобразование голоса

Категории: WaveNet | Обучение без учителя | Свёрточная нейронная сеть | Состязательное обучение | Среднее число мнений

Преобразование певческого голоса заключается в преобразовании голоса певца в голос другого человека без изменения содержания пения. Недавняя работа показывает, что преобразование певческого голоса без контроля может быть достигнуто с помощью подхода, основанного на автоэнкодировании [1]. Однако преобразованный певческий голос может легко сбиться с тональности, что свидетельствует о том, что существующий подход не позволяет точно моделировать информацию о высоте тона. В этой статье мы предлагаем усовершенствовать существующий метод преобразования певческого голоса без контроля, предложенный в [...

Обучение лифтеров и моделирование поддиапазонов для эффективного с точки зрения вычислений и высококачественного преобразования голоса с использованием спектральных различий

Преобразование голоса

Категории: WaveNet | Глубокое обучение | Преобразование Фурье

Метки: 2020 | Hiroshi Saruwatari | Shinnosuke Takamichi | Takaaki Saeki | Yuki Saito

В этой статье мы предлагаем эффективные с точки зрения вычислений и высококачественные методы статистического преобразования голоса (VC) с прямой модификацией формы сигнала на основе спектральных различий. Традиционный метод с фильтром минимальной фазы обеспечивает высококачественное преобразование, но требует больших вычислений при фильтрации. Это связано с тем, что минимальная фаза с использованием фиксированного лифтера в преобразовании Гильберта часто приводит к фильтру с длинным нажатием. Один из наших методов - это метод обучения атлета, основанный на данных. Поскольку этот метод учитыва...

Преобразование голоса "Многие ко многим" с использованием состязательных сетей, согласованных по условному циклу

Преобразование голоса

Категории: Генеративно-состязательная сеть | Глубокое обучение | Свёрточная нейронная сеть | Состязательное обучение

Преобразование голоса (VC) относится к преобразованию характеристик говорящего при произнесении без изменения его лингвистического содержания. Многие работы по преобразованию голоса требуют наличия данных для параллельного обучения, приобретение которых является очень дорогостоящим. Недавно для преобразования голоса была применена циклически согласованная состязательная сеть (CycleGAN), которая не требует параллельного обучения данных, что демонстрирует самую современную производительность. Однако преобразование голоса на основе CycleGAN может использоваться только для пары говорящих, т.е. пре...

Оценка защиты конфиденциальности на основе преобразования голоса от информированных злоумышленников

Преобразование голоса

Категории: Гауссовская модель смеси | Распутанное представление

Речевые данные передают важные атрибуты говорящего, такие как личность или акцент. При небольшом количестве найденных данных такие атрибуты могут быть выведены и использованы в злонамеренных целях: клонировании голоса, подделке и т.д. Цель анонимизации - сделать данные несвязываемыми, то есть гарантировать, что ни одно высказывание не может быть связано с его первоначальным носителем. В этой статье мы исследуем методы анонимизации, основанные на преобразовании голоса. В отличие от предыдущих работ, мы утверждаем, что различные атаки на привязку могут быть разработаны в зависимости от знаний зл...

Неконтролируемое представление с использованием междоменных функций и состязательного обучения при преобразовании голоса на основе вариационного автоэнкодера

Преобразование голоса

Эффективный подход к преобразованию голоса (VC) заключается в отделении лингвистического контента от других компонентов речевого сигнала. Эффективность VC на основе вариационного автоэнкодера (VAE-VC), например, в значительной степени зависит от этого принципа. В нашей предыдущей работе мы предложили междоменную структуру VAE-VC (CDVAE-VC), которая использовала акустические характеристики с различными свойствами, чтобы улучшить производительность VAE-VC. Мы полагали, что успех был достигнут благодаря более четким скрытым представлениям. В этой статье мы расширяем рамки CDVAE-VC, включая концеп...

Статьи