Предупреждение: Представленные примеры демонстрируют возможности синтеза речи. Прослушайте аудио предупреждение ниже.

Технология синтеза речи может быть использована только в законных целях и с согласия лиц, чьи голоса используются. Не используйте синтезированную речь для введения людей в заблуждение или мошенничества.

Доступны веса модели!

Веса дообученной модели F5-TTS доступны по ссылке: Misha24-10/F5-TTS_RUSSIAN

Дообучение модели F5-TTS русскому языку

Fine-tuned F5‑TTS vs X‑TTS vs FishSpeech на русском языке

Конфигурации моделей

Модель Архитектура Данные
F5-TTS (Fine-tuned) Diffusion Transformer
  • Предобучение: 95K часов английской и китайской речи (оригинальная модель)
  • Дообучение: на 5K часов русской и английской речи:
    • Кастомный датасет русский датасет - 4K часов
    • Common Voice (RU, EN) - 239 и 240 часов соответственно
    • Sova (RuDevices, RuAudiobooksDevices) - 400 часов
    • Часть Libriheavy - 180 часов
X-TTS (coqui/XTTS-v2) Transformer
  • Всего: 27,281 часов
  • Аудио на английском: 14,513 часов
  • Аудио на русском: 147 часов
FishSpeech Dual Autoregressive (Dual-AR)
  • Всего: 1 миллион часов
  • Аудио на английском: 300K часов
  • Аудио на русском: ~20K часов

Обзор модели

Model Overview Diagram

F5-TTS - это неавторегрессионная модель синтеза речи, основанная на механизме Flow Matching с использованием архитектуры Diffusion Transformer (DiT). Модель принимает на вход символьную последовательность, дополненную специальными токенами до длины аудио, и мел-спектрограмму с зашумлёнными и замаскированными фрагментами. Для обработки текста используется ConvNeXt-блок. Генерация выполняется при помощи ODE solver, начиная с шума и постепенно восстанавливая речь.

Примеры синтеза речи на различных голосах

Мужские голоса

Текст для генерации (нажмите, чтобы развернуть)

Хорошо, скажите, пожалуйста, когда я могу приехать и куда?

Audio promt

F5‑TTS

X‑TTS

FishSpeech

Текст для генерации (нажмите, чтобы развернуть)

Фейковая новость. Две синие галочки в WhatsApp станут равноценны подписи о получении повестки. Россияне вскоре могут начать получать повестки в виде сообщений. В случае, если адресат прочитает сообщение и появятся две синие галочки, повестка будет считаться вручённой под роспись. Решение об отправке триста тысяч сообщений в мессенджере WhatsApp было принято ещё в конце сентября, на данный момент идут поиски подрядчика, который займётся этой задачей.

Audio promt

F5‑TTS

X‑TTS

FishSpeech

Текст для генерации (нажмите, чтобы развернуть)

Российский искусственный интеллект научился пить водку.
В федеральном исследовательском институте «Сколтех» состоялась презентация новой отечественной нейросети «Полугар», которая станет незаменимым помощником россиян в повседневных делах.
«В чём-то мы даже превосходим американские и китайские решения. Например, «Полугар» умеет пить водку – напиток вливается в специальную ёмкость, после чего нейронка его перерабатывает. Выпить она может до литра крепенького, потом вырубается», – сказал руководитель проекта Гамлет Лероян.

Audio promt

F5‑TTS

X‑TTS

FishSpeech

Текст для генерации (нажмите, чтобы развернуть)

Руководитель стартапа DeepSeek Лян Вэньфэн в интервью на YouTube-канале американского блогера Лекса Фридмана рассказал об истории создания своего чат-бота. Оказалось, что основой для самой мощной из существующих на сегодняшний день нейросетей стал программный код советских программистов, написанный в 1985 году.

Audio promt

F5‑TTS

X‑TTS

FishSpeech

Текст для генерации (нажмите, чтобы развернуть)

Кафедра польского языка и литературы МГУ прекратила свою работу после того, как весь преподавательский состав в рамках добровольно-принудительной диспансеризации посетил стоматологический кабинет.

Audio promt

F5‑TTS

X‑TTS

FishSpeech

Текст для генерации (нажмите, чтобы развернуть)

Использование TWS-наушников может привести к серьёзным медицинским проблемам, поскольку они фактически «поджаривают» мозг об этом объявила команда независимых исследователей из Института биомедицины в Токио.

Audio promt

F5‑TTS

X‑TTS

FishSpeech

Текст для генерации (нажмите, чтобы развернуть)

ИА «Панорама».
«Это жизнь, всякое бывает»: учёные нашли записи о четвёртом законе Ньютона.
«Так, в послании своему ученику Уильяму Уистону, которое Ньютон отправил за полгода до смерти, физик писал: «Дорогой друг, запомни главный закон мироздания это жизнь, всякое бывает», рассказал старший научный сотрудник отдела рукописей музея Роберт Джефферсон.

Audio promt

F5‑TTS

X‑TTS

FishSpeech


Женские голоса

Текст для генерации (нажмите, чтобы развернуть)

Хорошо, скажите, пожалуйста, когда я могу приехать и куда?

Audio promt

F5‑TTS

X‑TTS

FishSpeech

Текст для генерации (нажмите, чтобы развернуть)

Фейковая новость. Две синие галочки в WhatsApp станут равноценны подписи о получении повестки. Россияне вскоре могут начать получать повестки в виде сообщений. В случае, если адресат прочитает сообщение и появятся две синие галочки, повестка будет считаться вручённой под роспись. Решение об отправке триста тысяч сообщений в мессенджере WhatsApp было принято ещё в конце сентября, на данный момент идут поиски подрядчика, который займётся этой задачей.

Audio promt

F5‑TTS

X‑TTS

FishSpeech

Текст для генерации (нажмите, чтобы развернуть)

Российский искусственный интеллект научился пить водку.
В федеральном исследовательском институте «Сколтех» состоялась презентация новой отечественной нейросети «Полугар», которая станет незаменимым помощником россиян в повседневных делах.
«В чём-то мы даже превосходим американские и китайские решения. Например, «Полугар» умеет пить водку – напиток вливается в специальную ёмкость, после чего нейронка его перерабатывает. Выпить она может до литра крепенького, потом вырубается», – сказал руководитель проекта Гамлет Лероян.

Audio promt

F5‑TTS

X‑TTS

FishSpeech

Текст для генерации (нажмите, чтобы развернуть)

Кафедра польского языка и литературы МГУ прекратила свою работу после того, как весь преподавательский состав в рамках добровольно-принудительной диспансеризации посетил стоматологический кабинет.

Audio promt

F5‑TTS

X‑TTS

FishSpeech

Текст для генерации (нажмите, чтобы развернуть)

Да-да-да, я хочу. Вы хотите отправить меня... Почему отправить? Я хочу, чтобы вы пошли на заслуженный отдых, на пенсию. И вы будете... У вас будет много свободного времени. Вы будете...

Audio promt

F5‑TTS

X‑TTS

FishSpeech

Текст для генерации (нажмите, чтобы развернуть)

Правительство утвердило финансирование государственной программы «Искусственный интеллект в помощь сельскому жителю» в размере двенадцати миллиардов рублей. В рамках инициативы во всех деревнях, сёлах и станицах России с населением от десяти до двух тысяч пятисот человек установят сенсорные терминалы с искусственным интеллектом.

Audio promt

F5‑TTS

X‑TTS

FishSpeech

Текст для генерации (нажмите, чтобы развернуть)

Серьезно? Не, я не хочу. У меня вообще это... Ну, жутко интересно, Гент, я волосы закорю, конечно. Так, хорошо. А что можно делать этим станком?

Audio promt

F5‑TTS

X‑TTS

FishSpeech

Примеры синтеза речи на датасете Ruslan

Текст для генерации (нажмите, чтобы развернуть)

Наконец появилась возможность добраться до интернета, сейчас мы находимся в Панамском канале и здесь есть wifi. Я на судне уже больше месяца и пока я здесь, я писал все интересное что здесь происходит и вот наконец есть возможность этим поделиться. Фотографий пока не будет, их я выложу или позже, или уже когда вернусь домой. Итак, понеслась.

Audio promt

F5‑TTS

X‑TTS

FishSpeech

Текст для генерации (нажмите, чтобы развернуть)

Как сегодня погода за окном?

Audio promt

F5‑TTS

X‑TTS

FishSpeech

Текст для генерации (нажмите, чтобы развернуть)

Ну что я могу сказать с этими цифрами? С ними всё в порядке, но да, там немного непонятно было. Но я думаю, что ещё мне нужно пару дней и тогда будет всё точно.

Audio promt

F5‑TTS

X‑TTS

FishSpeech

Примеры синтеза текста с поэзией

Письмо Татьяны к Онегину (нажмите, чтобы развернуть)

Я к вам пишу — чего же боле? Что я могу ещё сказать? Теперь, я знаю, в вашей воле Меня презреньем наказать. Но вы, к моей несчастной доле Хоть каплю жалости храня, Вы не оставите меня. Сначала я молчать хотела; Поверьте: моего стыда Вы не узнали б никогда, Когда б надежду я имела Хоть редко, хоть в неделю раз В деревне нашей видеть вас, Чтоб только слышать ваши речи, Вам слово молвить, и потом Всё думать, думать об одном И день и ночь до новой встречи. Но, говорят, вы нелюдим; В глуши, в деревне всё вам скучно, А мы ничем мы не блестим, Хоть вам и рады простодушно.

Audio promt

F5‑TTS w/o accent

F5‑TTS

X‑TTS

FishSpeech

Письмо Татьяны к Онегину (нажмите, чтобы развернуть)

Я к вам пишу — чего же боле? Что я могу ещё сказать? Теперь, я знаю, в вашей воле Меня презреньем наказать. Но вы, к моей несчастной доле Хоть каплю жалости храня, Вы не оставите меня. Сначала я молчать хотела; Поверьте: моего стыда Вы не узнали б никогда, Когда б надежду я имела Хоть редко, хоть в неделю раз В деревне нашей видеть вас, Чтоб только слышать ваши речи, Вам слово молвить, и потом Всё думать, думать об одном И день и ночь до новой встречи. Но, говорят, вы нелюдим; В глуши, в деревне всё вам скучно, А мы ничем мы не блестим, Хоть вам и рады простодушно.

Audio promt

F5‑TTS w/o accent

F5‑TTS

X‑TTS

FishSpeech

GPT (by GPT 4-5) (нажмите, чтобы развернуть)

GPT — три буквы, словно мост Меж мыслями и океаном знаний, Слова плетутся ярко, в полный рост, И мир идей доступен без границ и расстояний. Он друг в ночи, помощник среди дня, Учитель терпеливый и поэт, Ответит на вопросы для тебя, В потоках данных он зажжёт нам свет. Его слова точны и глубоки, Но помни: хоть умён он и силён, Его сердца касаются строки, Лишь если в них тепло вложил наш он. И пусть искусственен он по рожденью, Но в диалогах оживает вновь. И в каждом нашем с ним взаимодействии Есть капелька души, и, может быть, любовь.

Audio promt

F5‑TTS w/o accent

F5‑TTS

X‑TTS

FishSpeech

GPT (by GPT 4-5 && Denis Sexy IT) (нажмите, чтобы развернуть)

На перекрёстке улиц вечер тих, И фонари укутаны туманом, Там теплится огонь палатки малой — Шаурма дарует сердцу стих. Пылает вертел — словно жизнь, И мясо нежно шепчет соком пряным, Лаваш в руках, завёрнутый кафтаном, Хранит в себе огонь и аромат. Там листья зелени, там свежесть трав, Хрустит капуста, словно снег под шагом, И соус острый, будто бы с размахом Раскрасил мир в палитру ярких глав. Укус к укусу — радость бытия, Простое счастье спрятано в ладонях. Шаурма, как детство на ладонях, Искусство вкуса, света и огня. Забыты все дела, ушла тоска, Пока теплом наполнены мгновенья. Ты даришь сердцу свет и вдохновенье, Обычная, великая шаурма.

Audio promt

F5‑TTS w/o accent

F5‑TTS

X‑TTS

FishSpeech

Парус — Михаил Лермонтов (нажмите, чтобы развернуть)

Белеет парус одинокой В тумане моря голубом!.. Что ищет он в стране далекой? Что кинул он в краю родном?.. Играют волны — ветер свищет, И мачта гнется и скрипит… Увы! он счастия не ищет, И не от счастия бежит! Под ним струя светлей лазури, Над ним луч солнца золотой… А он, мятежный, просит бури, Как будто в бурях есть покой!

Audio promt

F5‑TTS w/o accent

F5‑TTS

X‑TTS

FishSpeech