О том как я выучил турецкий нейросетями

Проблема - студент из Турции говорит по русски, но не очень хорошо понимает специальный технический язык на лекции. Что делать? Конечно есть сервисы типа HeyGen которые вам всё резво переведут хоть на какой язык. Но с зарплатой преподавателя рассчитывать на такие не приходится. К счастью, есть решение.

  1. https://huggingface.co/openai/whisper-large-v3 - этот тшедевр от величайшей компании в нашей области распознаёт большинство языков с фантастической скоростью.
  2. Ок, получили русский текст лекции, надо бы на турецкий перевести. Тут можно попользовать яндекс-переводчик, однако как оказалось, он специальные термины тянет не очень. Поэтому тут только агент codex/claude или что-то посильнее. Кстати, иногда он даже в слайны подсматривает, чтобы термины уточнить.
  3. Теперь - как всё это произнести. Можно конечно оставить субтитры, но это не прикольно. На помощь приходит новейший https://huggingface.co/Qwen/Qwen3-TTS-12Hz-0.6B-Base и его турецкая адаптация от энтузиаста https://huggingface.co/erkamk/qwen3-tts-tiny-tr. Парень молорик, выполнил файнтюнинг на свой язык и выложил в паблик.

Итого имеем лекцию, начало которой приложил выше.

Тут нет моего красивого лица, тогда бы рассказал ещё и про синхронизацию губ. Классическое решение тут обычный wav2lip, но работает часто не очень - он выделяет квадрат рта и в нём шевелит губами, получается неестественно. Как-то пробовал liny-talker - вышло очень неплохо. Думаю позже выложу примеры с этими сетками и другими.

2
0
Нет комментариев
Будьте первым, кто оставит комментарий

Ответов на этот пост пока нет. Скажите, что вы думаете по этому поводу, чтобы поддержать обсуждение.

ИИ Агенты

Обсуждаем вопросы касающиеся ИИ агентов, делимся новостями и личным опытом. ИИ Агенты - это LLM большие языковые модели (LLM), способные "использовать инструменты" или "выполнять функции" в автономном или полуавтономном режиме (также известном как режим с участием человека — human-in-the-loop).

Создано

Публичное

12

посетителей в неделю

8

опубликованных материалов в неделю


ПРАВИЛА ИИ Агенты

Не допускается чрезмерная самореклама, спам или любая другая рекламная активность.

Не допускаются оскорбления, разжигание ненависти или агрессивное поведение. Будьте добры ко всем участникам и членам сообщества.