Преобразование голоса для синтеза шепотной речи

Мы представляем подход к синтезу шепота, применяя разработанный вручную рецепт обработки сигналов и методы преобразования голоса для преобразования обычной фонетической речи в речь шепотом. Мы исследуем, используя модели гауссовой смеси (GMM) и глубокие нейронные сети (DNN), чтобы смоделировать соответствие между акустическими характеристиками обычной речи и речи шепотом. Мы оцениваем естественность и сходство с диктором преобразованного шепота во внутреннем корпусе и в общедоступном корпусе wTIMIT. Мы показываем, что применение методов преобразования голоса значительно эффективнее, чем исполь...

Тест на подделку для конкурса по преобразованию голоса в 2018 году: Использование средств противодействия подделке для оценки речевых артефактов

Преобразование голоса направлено на преобразование характеристик говорящего без изменения содержания. Из-за ограниченности обучающих данных и несовершенства моделирования трудно добиться правдоподобной имитации говорящего без внесения артефактов обработки; поэтому оценка эффективности преобразования голоса обычно включает в себя как сходство говорящего, так и оценку качества с помощью человека. Поскольку это трудоемкий, дорогостоящий и невоспроизводимый процесс, он затрудняет быстрое создание прототипов новой технологии преобразования голоса. Мы рассматриваем оценку искажений, используя альтер...

Конкурс по преобразованию голоса в 2018 году: Содействие разработке параллельных и непараллельных методов

Мы представляем конкурс Voice Conversion Challenge 2018, разработанный в дополнение к выпуску 2016 года с целью обеспечения общей основы для оценки и сравнения различных современных систем преобразования голоса. Цель задания состояла в том, чтобы выполнить преобразование голоса (т.е. преобразовать голосовую идентификацию) исходного носителя в целевой, сохранив при этом лингвистическую информацию. В дополнение к предыдущему заданию мы рассматривали как параллельные, так и непараллельные данные для формирования задач Hub и Spoke соответственно. В общей сложности 23 команды со всего мира представ...

Высококачественное непараллельное преобразование голоса на основе циклически согласованной состязательной сети

Несмотря на то, что алгоритмы преобразования голоса достигли значительных успехов с развитием машинного обучения, по-прежнему трудно достичь высокой производительности при использовании непараллельных данных. В этой статье мы предлагаем использовать циклически согласованную состязательную сеть (CycleGAN) для обучения непараллельному преобразованию голоса на основе данных. CycleGAN - это генеративная состязательная сеть (GAN), изначально разработанная для непарного преобразования изображений в изображения. Субъективная оценка межполовой конверсии показала, что предложенный метод значительно пре...