Яндекс разрабатывает мультимодальную нейросеть SpeechGPT
Нейросеть SpeechGPT будет мультимодальной – способной обрабатывать разные виды вводных данных. Она должна уметь воспринимать текст и звук, отвечать текстом и звуком, решать разные задачи на стыке текста и звука, указано в описании.
Изображение: Freepik Некоторые сервисы Яндекса уже понимают вводные данные разных видов. Например, с ассистентом «Алиса» можно общаться как голосом, так и текстом, а возможность обрабатывать одновременно текст и картинки есть в сервисе «Нейро».
Но между мультимодальным пользовательским опытом и мультимодальностью самой нейросети есть разница, считают эксперты: в первом случае данные переводятся из одного вида в другой.
Так, голосовой ассистент сначала преобразовывает речь в текст, затем его анализирует другая нейросеть, а уже третья превращает ответ обратно из текста в речь.
Причём на каждом из этих шагов данные упрощаются. Мультимодальные модели учитывают контент разных типов без задержек и призваны улавливать эмоции, которые теряются при конвертации; так работает, к примеру, GPT-4o от OpenAI.
Аналитики полагают, что MVP-версия (минимально жизнеспособный продукт) SpeechGPT может появиться в ближайшие месяцы, а затем будет дорабатываться.
Скорее всего, SpeechGPT будет встраиваться в уже существующие сервисы – будет происходить постепенная замена текущих нейросетевых моделей на более современные.
«Яндекс» разрабатывает нейросеть SpeechGPT для задач на стыке текста и звука, но она вряд ли дотянет до уровня ChatGPT «Яндекс» занимается разработкой новой нейросетевой модели SpeechGPT и для этого нанимает в свою команду специалиста в области машинного о …
Hardware 17:40, июня 3, 2024 | 3dnews.ruИ говорит как пишет // «Яндекс» разрабатывает единую нейросеть для речи и текста «Яндекс» (MOEX: YNDX) нанимает сотрудников для работы над мультимодальной моделью SpeechGPT, которая, согласно описанию вакансии, должна будет воспри …
Бизнес 14:35, июня 3, 2024 | kommersant.ru«Яндекс» пустился в рассуждения // Компания разрабатывает первую reasoning-нейросеть в России «Яндекс» (MOEX: YDEX) работает над «рассуждающей» (reasoning) нейросетью, выход которой ожидается в 2025 году. Новый искусственный интеллект (ИИ) мож …
Бизнес 15:12, марта 2, 2025 | kommersant.ru
«Лучшее от двух миров»: «Яндекс» начал разработку мультимодальной модели SpeechGPT «Яндекс» работает над мультимодальной моделью SpeechGPT и ищет для этого сотрудников. «SpeechGPT — мультимодальная LLM (большая языковая модель), кот …
Бизнес, Промышленность, Энергетика 11:45, июня 3, 2024 | forbes.ru«Яндекс» разрабатывает аналог канадского Shopify «Яндекс» (MOEX: YDEX) запустит аналог канадского сервиса для малого бизнеса Shopify, пишет газета «Ведомости» со ссылкой на представителей компании. …
Бизнес 15:12, марта 22, 2025 | kommersant.ru«Яндекс» разрабатывает свой аналог Tinder Для дейтингового приложения могут использоваться данные об интересах пользователей из других сервисов …
Технологии, Наука 01:10, мая 25, 2024 | vedomosti.ru
«Яндекс» выпустил облегчённую нейросеть YandexGPT 3 Lite В дополнение к ранее анонсированной языковой модели YandexGPT 3 Pro компания «Яндекс» презентовала YandexGPT 3 Lite — облегчённую версию фирменной ге …
Технологии, Наука 17:10, мая 28, 2024 | 4pda.to
В «Яндекс.Документах» появилась возможность использовать нейросеть Компания «Яндекс» (MOEX: YDEX) представила новые онлайн-редакторы документов и таблиц, в которые встроена нейросеть YandexGPT 4. Сейчас редакторы бес …
Технологии, Наука 20:12, декабря 13, 2024 | kommersant.ru
В «Яндекс Маркет» встроили нейросеть. Зачем она нужна и что делает? Компания «Яндекс» интегрировала в мобильное приложение «Маркета» нейросеть, которая анализирует действия пользователей. На основе изученных данных ге …
Технологии, Наука 19:15, мая 27, 2024 | 4pda.to
«Яндекс» представил YandexGPT 4 — новая нейросеть научилась рассуждать YandexGPT 4 точнее отвечает на вопросы, умеет рассуждать и способна обрабатывать длинные запросы. В одинаковых тестах YandexGPT 4 превосходит YandexG …
Технологии, Наука 20:12, октября 25, 2024 | ichip.ru «Яндекс» запустил генеративную нейросеть YandexGPT Lite третьего поколения Компания «Яндекс» официально представила облегчённую версию своей генеративной нейросети третьего поколения YandexGPT 3 Lite. ИИ-сервис д …
Hardware 18:10, мая 28, 2024 | 3dnews.ru «Яндекс» представил новую нейросеть. YandexGPT 4 может обрабатывать до 60 страниц текста В «РБК» сообщили, что «Яндекс» представил новое поколение нейросетей YandexGPT 4, которые могут обрабатывать около 60 страниц текста и поддерживают ф …
Это интересно, Курьезы 05:12, октября 27, 2024 | incrussia.ru
Нейросеть «Алиса» в «Яндекс Браузере» научилась описывать изображения для незрячих и слабовидящих пользователей Нейросеть «Алиса» в «Яндекс Браузере» теперь умеет понимать, что изображено на картинках в интернете, и создавать... …
Интернет 00:12, октября 23, 2025 | internet.cnews.ru Серия Samsung Galaxy S25: в мультимодальную эру с ИИ-компаньоном Искусственный интеллект с момента появления ChatGPT стал главной темой в технологическом мире, и сегодня он занимает центральное место на презентации …
Технологии, Наука 10:12, января 29, 2025 | hardwareluxx.ru OpenAI представила мультимодальную генеративную модель GPT-4o Компания OpenAI представила мультимодальную генеративную модель GPT-4o, которая может работать с текстом, аудио и изображениями, включая видео. Модел …
Наука 20:45, мая 15, 2024 | nplus1.ru
Управление проектами в онлайн-офисе Яндекс 360 для бизнеса. Обзор Яндекс Трекера Для успешной реализации любого проекта крайне важно обеспечить совместную работу специалистов, оперативный обмен данными и эффективное управление вну …
Технологии, Наука 15:12, февраля 7, 2025 | ict-online.ru
В «Яндекс Картах» и «Яндекс Метро» появились новые станции Троицкой линии московского метро Пользователи «Яндекс Карт» могут строить маршруты через новые станции на Троицкой линии Московского метрополитена.... …
Интернет, Игры 10:12, декабря 29, 2024 | cnews.ru LiquidPiston Разрабатывает компактный генератор для ВС США Компания LiquidPiston тестирует новый прототип компактного генератора мощностью 10 кВт, разработанный для армии США. Этот генератор весит 95 кг и зан …
Технологии, Наука 15:12, сентября 30, 2024 | pravda.ru Nokia разрабатывает решения для «военного 5G» После потери крупного контракта с AT&T Inc. в пользу Ericsson AB, генеральный директор Nokia Oyj Пекка Лундмарк ставит перед собой задачу удержать ко …
Технологии, Наука 15:12, декабря 3, 2024 | api.follow.it Google разрабатывает версию Android для ПК Компания Google постепенно раскрывает свои планы по объединению Android и ChromeOS в единую операционную систему для ПК, и к этому процессу присоедин …
Технологии, Наука 20:12, сентября 25, 2025 | itzine.ru
«МТС Юрент» разрабатывает электротранспорт для курьеров Сервис кикшеринга «МТС Юрент» рассматривает для себя выход на рынок электротранспорта для курьеров в Москве.... …
Технологии, Наука 18:05, мая 22, 2024 | zoom.cnews.ru
Microsoft разрабатывает конкурента для Gemini и GPT-4 Microsoft разрабатывает новую собственную языковую модель искусственного интеллекта, достаточно большую, чтобы конкурировать с моделями от Google и O …
Финансы, Экономика, Forex 11:00, мая 7, 2024 | finam.ru
"Аэрофлот" разрабатывает ПО для планшетов пилотов на ОС "Аврора" "Аэрофлот" станет первой российской авиакомпанией, которая внедрит внутри компании оборудование на базе "Авроры" …
Экономика 17:50, мая 22, 2024 | tass.ru
Apple разрабатывает сразу два складных iPhone Компания Apple продолжает отставать в плане ввода новых форм-факторов в свою линейку. Пока Samsung выпускает очередную версию своих складных смартфон …
Технологии, Наука 00:12, августа 8, 2024 | i-ekb.ru
Nokia разрабатывает лунную 4G-систему связи Бренд Nokia работает над созданием LTE/4G-системы на поверхности Луны. Первая партия оборудования может быть установлена на спутнике уже до конца 202 …
Технологии, Наука 18:55, мая 5, 2024 | 4pda.to
Банк ВТБ разрабатывает торговую платформу для ВТБ Форекс Российский внебиржевой сегмент Форекс, в лице трех оставшихся активных лицензированных форекс-дилеров, недавно завершил публикацию финансовой отчетно …
Forex 10:12, апреля 23, 2025 | ru.financemagnates.com
Группа «Тинькофф» разрабатывает новую дивполитику Группа «Тинькофф» разрабатывает новую дивидендную политику, сообщил во время конференц-колла председатель правления компании Станислав Близнюк. Его с …
Бизнес, Промышленность, Энергетика 21:20, мая 16, 2024 | finam.ru
МВД не разрабатывает новый дизайн российского паспорта Тем не менее, ведомство работает над совершенствованием форм-фактора документа и усилениям его защиты …
Основные новости 00:12, июня 18, 2025 | iluki.ru Reuters: Nvidia разрабатывает новый ИИ-чип для Китая Американский производитель чипов Nvidia работает над усовершенствованной версией процессора для китайского рынка, адаптированной под экспортные огран …
Это интересно, Курьезы 20:12, августа 20, 2025 | incrussia.ru Исследовательская группа разрабатывает ИИ для химического синтеза Химия с ее сложными процессами и огромным инновационным потенциалом всегда была проблемой для автоматизации. Традиционные вычислительные инструменты, …
Software 18:20, мая 8, 2024 | android-robot.com
Слух: ARM разрабатывает собственные игровые видеокарты ARM, известная как проектировщик мобильных процессоров, готовится выйти на новый для себя рынок. Как сообщают СМИ, компания намерена потягаться с NVI …
Технологии, Наука 15:12, августа 19, 2024 | 4pda.to