Что такое AUDIO

29 июля – Согласно официальным источникам, компания Fish Audio, занимающаяся искусственным интеллектом в области голосовых технологий, объявила о завершении раунда начального финансирования на сумму 52 миллиона долларов, конкретные инвесторы не раскрыты. Компания также официально запустила свою модель генерации голоса следующего поколения, S2.1 Pro. Fish Audio утверждает, что S2.1 Pro может клонировать голоса, используя всего 5 секунд аудиозаписей, генерируя речь примерно в два раза быстрее, чем Cartesia, и при этом по стоимости примерно в одну шестую от ElevenLabs. Кроме того, модель поддерживает детальный контроль над эмоциями на уровне слов, интонацией и скоростью речи, что делает ее одной из самых выразительных голосовых моделей, доступных в настоящее время. Несколько компаний в области ИИ, включая HeyGen, LiveKit, Retell, Sanas и OpenArt, уже используют модели Fish Audio в производстве. Компания заявила, что если предприятие примет ее голосовой ИИ-сервис и не сможет сократить расходы как минимум на 50%, Fish Audio предоставит один год бесплатного обслуживания. В честь своего первого юбилея Fish Audio также предлагает пользователям бесплатный месячный пробный период S2.1 Pro.

28 июля, по данным TechCrunch, Fish Audio объявила во вторник о том, что привлекла 50 миллионов долларов в рамках посевного финансирования. Раунд возглавили Coreline Ventures и Capital Today, с участием 359 Capital, Parable, Play Time, Alphalist Partners, Bayhouse Ventures, Carya Venture Partners и HF0. Fish Audio изначально начиналась как небольшой проект Шидзя Ляо, бывшего исследователя Nvidia. Недовольный отсутствием выразительных технологий синтетического голоса на рынке, он обучил модель генерации голоса, используя один GPU, и опубликовал ее с открытым исходным кодом. Сегодня репозиторий проекта Fish Speech собрал более 31 000 звезд на GitHub и широко используется независимыми разработчиками, дизайнерами игр и создателями контента. За последний год Fish Audio выпустила пять моделей, включая четыре модели генерации голоса и одну модель распознавания речи. Компания опубликовала с открытым исходным кодом три свои модели генерации голоса, но ее последняя модель S2.1 Pro доступна только через платный API. С момента своего запуска в прошлом году открытые и хостинговые версии стартапа привлекли более 8 миллионов пользователей, а его текущий годовой повторяющийся доход (ARR) достиг 21 миллиона долларов.

29 апреля NVIDIA официально представила Nemotron 3 Nano Omni, нового члена серии Nemotron 3, который интегрирует унифицированную многомодальную инференцию в единую эффективную модель с открытым исходным кодом. NVIDIA заявила, что агентные системы обычно требуют рассуждений в едином цикле восприятия-действия через экраны, документы, аудио, видео и текст, но все еще полагаются на фрагментированные цепочки моделей — отдельные технологические стеки для зрения, аудио и текста. Это увеличивает количество переходов инференции и сложность оркестрации, повышая затраты на инференцию и ослабляя согласованность кросс-модального контекста. Nemotron 3 Nano Omni нацелен на замену этого фрагментированного стека технологий визуализации-языка-аудио, выступая в качестве многомодального восприятия и контекстного субагента в агентных системах. Что касается точности, Nemotron 3 Nano Omni достиг лидирующих результатов на лидербордах по интеллекту документов, а также занимает лидирующие позиции в бенчмарках понимания видео и аудио. На открытом отраслевом бенчмарке MediaPerf для оценки моделей понимания видео, Nemotron 3 Nano Omni достиг наивысшей пропускной способности в каждой задаче и зафиксировал самые низкие затраты на инференцию в задачах аннотирования на уровне видео. Что касается производительности, при фиксированном пороге взаимодействия на пользователя, для видеоинференции Nemotron 3 Nano Omni поддерживает более высокую общую пропускную способность системы, достигая до примерно 9,2 раз эффективной системной мощности по сравнению с другими моделями омни с открытым исходным кодом; для многодокументной инференции она может достичь до примерно 7,4 раз эффективной системной мощности. NVIDIA заявила, что эта модель предназначена для замены традиционных архитектур многомодального соединения моделей, снижая сложность и затраты на инференцию и способствуя применению многомодального ИИ в таких сценариях, как финансы, здравоохранение, научные исследования и СМИ.