В «Яндексе» разработают нейросеть, способную понимать и голос и текст

В «Яндексе» разработают нейросеть, способную понимать и голос и текст
01:15, июня 4, 2024 «Яндекс» разработает нейросеть которая «умеет воспринимать текст и звук, отвечать текстом и звуком, решать разные задачи на стыке текста и звука»«Яндекс» занялся разработкой новой нейросетевой модели под названием SpeechGPT, хотя компания пока официально не объявила об этом.

Эта модель, как сообщается, будет мультимодальной, что означает, что она способна обрабатывать и текстовую, и звуковую информацию, а также выполнять разные задачи, связанные с текстом и звуком.

Представители «Яндекса» пояснили, что они уже работают над мультимодальностью в своих сервисах, таких как ассистент «Алиса», однако они не дали ответа на вопрос о модели SpeechGPT.

Некоторые сервисы «Яндекса» уже умеют обрабатывать данные разного типа: например, ассистент «Алиса» позволяет общаться голосом и текстом, а в сервисе Yandex SpeechSense появилась возможность анализировать текстовые сообщения.

Однако эксперты отмечают, что есть разница между мультимодальным пользовательским опытом и самой мультимодальностью модели.

В отличие от мультимодальных моделей, такие как GPT-4o, от OpenAI, которые могут работать сразу с разными видами контента без задержек, текущие подходы часто требуют перевода данных из одного формата в другой, что занимает больше времени.

Источник: www.ferra.ru
 
 

Поделиться новостью в Facebook Поделиться новостью в Twittere Поделиться новостью в VK Поделиться новостью в Pinterest Поделиться новостью в Reddit

Почему мы слышим голос в голове, когда читаем текст

Почему мы слышим голос в голове, когда читаем текст Голос, который озвучивает нам читаемый про себя текст, называется субвокализацией Когда вы читаете книгу или текст в интернете, озвучивает ли его ваш …

Технологии, Наука 08:00, мая 24, 2024 | hi-news.ru
В России разработают нейросеть для ранней диагностики деменции

В России разработают нейросеть для ранней диагностики деменции Компания NtechLab разработает нейросеть, которая обнаружит ранние признаки Альцгеймера и деменции Российская компания NtechLab работает над созданием …

Технологии, Наука 00:25, июня 11, 2024 | ferra.ru
Писатель Цыпкин: Нейросеть не сможет написать текст, который по-настоящему зацепит душу

Писатель Цыпкин: Нейросеть не сможет написать текст, который по-настоящему зацепит душу Российский писатель Александр Цыпкин не верит, что искусственный интеллект (ИИ) сможет заменить писателей …

Основные новости 07:20, июня 9, 2024 | nsn.fm
Как закрыть все вкладки в Яндексе на телефоне

Как закрыть все вкладки в Яндексе на телефоне? Открытые вкладки могут тормозить работу браузера, из-за чего содержимое страниц будет отображаться медленнее. Расскажем, как закрыть вкладки в Яндекс …

Технологии, Наука 21:00, мая 28, 2024 | androidlime.ru
В Яндексе рассказали, что россияне хотят знать о ключевой ставке

В «Яндексе» рассказали, что россияне хотят знать о ключевой ставке Самые популярные запросы россиян о ключевой ставке — что это за инструмент, как он влияет на экономические процессы и что означает изменение ее разме …

Основные новости 09:40, июня 7, 2024 | rbc.ru
В Яндексе оценили готовность к серийному производству роботов-курьеров

В «Яндексе» оценили готовность к серийному производству роботов-курьеров В настоящее время роботы-курьеры «Яндекса» используются в отдельных районах Москвы, в Красной Поляне, Иннополисе и Мурино. В компании не исключили на …

Основные новости 06:30, мая 20, 2024 | rbc.ru
В Яндексе заявили, что лишние деньги за такси списывались по техническим причинам

В "Яндексе" заявили, что лишние деньги за такси списывались по техническим причинам Сервис "Яндекс Go" (объединяет сервисы такси и доставки) объяснил техническими причинами списание лишних денег у пассажиров такси. Об этом сообщает а …

Авто 20:12, сентября 30, 2024 | gazeta.ru
Беспорядки в США перерастают в революцию, способную развалить страну

Беспорядки в США перерастают в революцию, способную развалить страну Акции протеста, мародерство, поджоги полицейских участков происходят почти в каждом штате Америки. В Америке не прекращаются беспорядки. Люди нападаю …

Политика 05:12, декабря 6, 2024 | versiya.info
В Яндексе рассказали, какие ошибки пользователей чаще всего исправляют нейросети

В «Яндексе» рассказали, какие ошибки пользователей чаще всего исправляют нейросети Для анализа качества русского языка в своем браузере Яндекс составил рейтинг самых частых ошибок, связанных с проблемами нейросетей при исправлении т …

Технологии, Наука 19:35, июня 9, 2024 | astera.ru
В Яндексе теперь можно исключить YouTube-ролики из результатов поиска по видео

В «Яндексе» теперь можно исключить YouTube-ролики из результатов поиска по видео Компания «Яндекс» добавила новый фильтр в поиск по видео. Фильтр называется «Без YouTube» и позволяет исключить ролики YouTub …

Software 05:12, августа 24, 2024 | 3dnews.ru
Ставропольский школьник создал клавиатуру, способную распознавать пользователя

Ставропольский школьник создал клавиатуру, способную распознавать пользователя В Ставрополе создали уникальную клавиатуру, способную заменить собой систему безопасности компьютера. Ее секрет – распознавание манеры печати пользов …

Основные новости 20:12, ноября 21, 2025 | vesti26.ru
Учёные назвали диету, способную замедлить старение мозга

Учёные назвали диету, способную замедлить старение мозга Американские учёные из исследовательских университетов в Линкольне и Урбана-Шампейн заявили, что средиземноморская диета способна замедлить старение …

Основные новости 05:15, мая 24, 2024 | regnum.ru
В России разработали вакцину способную вылечить от меланомы и метастаз

В России разработали вакцину способную вылечить от меланомы и метастаз В центре эпидемиологии и микробиологии имени Гамалеи российского Минздрава разработали уникальную вакцину от рака. Препарат заставляет исчезать мелан …

Гаджеты 10:12, декабря 5, 2024 | 24gadget.ru
Автоэксперт назвал российскую машину, способную заменить Toyota Camry

Автоэксперт назвал российскую машину, способную заменить Toyota Camry Отечественная машина Volga С40 имеет потенциал стать в России новой Toyota Camry. Об этом заявил автомобильный аналитик Владимир Беспалов.Читать дале …

Основные новости 06:50, мая 22, 2024 | ura.news
Ученые создали электронику, способную работать в экстремальной среде Венеры

Ученые создали электронику, способную работать в экстремальной среде Венеры Американские ученые из Пенсильванского университета создали термостойкие электронные устройства, способные работать при чрезвычайно высоких температу …

Технологии, Наука 18:25, мая 21, 2024 | news.rambler.ru
В Китае показали робо-собаку, способную уничтожать дроны и вертолёты

В Китае показали робо-собаку, способную уничтожать дроны и вертолёты Китайские инженеры превратили робо-пса в мобильное средство против летающих дронов. Телеграм-канал "Беспилот" показал необычную разработку и объяснил …

Основные новости 00:12, января 13, 2025 | ruposters.ru
Китай представил блэкаут-бомбу, способную на массовое отключение электричества

Китай представил «блэкаут-бомбу», способную на массовое отключение электричества В конце июня китайская общественная телекомпания CCTV обнародовала репортаж о новом типе графитовой бомбы, которая якобы может вывести из строя элект …

Технологии 00:12, июля 12, 2025 | eadaily.com
Meta* представила новую модель ИИ, способную генерировать видео со звуком

Meta* представила новую модель ИИ, способную генерировать видео со звуком Meta* (запрещена на территории РФ) объявила о создании новой модели искусственного интеллекта под названием Movie Gen, способной создавать реалистичн …

Это интересно, Курьезы 00:12, октября 8, 2024 | incrussia.ru
Глава СПЧ раскритиковал Алису и Марусю за то, что они не говорят, что случилось в Буче. В Яндексе ответили: Нас тогда вообще запретят

Глава СПЧ раскритиковал «Алису» и «Марусю» за то, что они не говорят, что случилось в Буче. В «Яндексе» ответили: «Нас тогда вообще запретят» Глава Совета по правам человека (СПЧ) при президенте РФ Валерий Фадеев раскритиковал алгоритмы работы виртуальных голосовых помощников «Алиса» (разра …

Основные новости 07:35, мая 29, 2024 | meduza.io
SoftBank и Sceye готовят летающую вышку связи, способную месяцами управлять дронами

SoftBank и Sceye готовят летающую вышку связи, способную месяцами управлять дронами Японский телеком-гигант SoftBank поддержал проект американской компании Sceye, которая предлагает использовать летающий интернет-хаб для управления Б …

Основные новости 05:12, июля 2, 2025 | ruposters.ru
ИИ распознает текст, набранный на тачскрине

ИИ распознает текст, набранный на тачскрине Алгоритм будет работать с воображаемой клавиатурой, которая не имеет чётких границ. Несколько лет назад были довольно популярны всякие лазерные клави …

Технологии 00:12, января 4, 2025 | versiya.info
Как распознать и перевести онлайн текст по фото

Как распознать и перевести онлайн текст по фото Инструкция.shutterstock.comРаспознавание текста по фото — это процесс перевода графического изображения символов (букв) в текстовые символы. Сделать …

Спорт 05:12, мая 8, 2025 | sport24.ru
Speech2Text поможет перевести аудио в текст

Speech2Text поможет перевести аудио в текст В мире, где информация передается все быстрее, а темп жизни требует мгновенной обработки данных, сервис Speech2Text становится ключевым инструментом …

Технологии, Наука 05:12, июня 15, 2025 | xakep.ru
Российский ИИ научили понимать схемы и скриншоты

Российский ИИ научили понимать схемы и скриншоты Сниппет MWS AI создала ИИ, который понимает текст и изображения. Он поможет бизнесу быстрее обрабатывать документы, схемы и скриншоты без потери конт …

Это интересно, Курьезы 10:12, октября 13, 2025 | incrussia.ru
Компьютеры научились понимать эмоции человека

Компьютеры научились понимать эмоции человека Ученые из Финляндии создали модель, которая позволяет компьютерам распознавать человеческие эмоции. Статья об этом опубликована в материалах конферен …

Технологии, Наука 11:05, июня 5, 2024 | ferra.ru
В РФ разработан нейроимплант, позволяющий незрячим читать текст

В РФ разработан нейроимплант, позволяющий незрячим читать текст В России разработан новый нейроимплант под названием ELVIS V, который открывает для незрячих людей возможность не только распознавать объекты, но и ч …

Технологии, Наука 10:00, мая 28, 2024 | pravda.ru
iOS 18 сможет записывать и расшифровывать в текст телефонные разговоры

iOS 18 сможет записывать и расшифровывать в текст телефонные разговоры Apple представила на конференции для разработчиков WWDC 2024 новую функцию платформы iOS 18, которая позволит записывать и расшифровывать телефонные …

Software 14:50, июня 11, 2024 | 3dnews.ru
Стало известно как выровнять текст по центру в Р7-Офис

Стало известно как выровнять текст по центру в «Р7-Офис» Выяснилось, что выровнять текст по центру в текстовых документах «Р7-Офис»... Сообщение Стало известно как выровнять текст по центру в «Р7-Офис» появ …

Технологии, Наука 15:12, августа 16, 2024 | gadgets.su
Для ленивых  Google Pixel 4 будет понимать жесты

Для ленивых – Google Pixel 4 будет понимать жесты Новая утечка подтвердила наличие датчика, следящего за хозяином. В нынешних реалиях достаточно сложно удержать что-либо за завесой тайны, поэтому обо …

Технологии 15:12, марта 13, 2025 | versiya.info
ОС Windows 11 сможет распознавать текст с фото на смартфоне без его скачивания

ОС Windows 11 сможет распознавать текст с фото на смартфоне без его скачивания Microsoft удивляет пользователей новым функционалом в своем приложении «Связь с телефоном» для Windows. В скором времени ожидается пополнен …

Технологии, Наука 19:50, мая 28, 2024 | astera.ru
Локальные языковые модели. Генерируем текст на своем компьютере

Локальные языковые модели. Генерируем текст на своем компьютере Для подписчиковКогда слышишь про генерацию, первыми в голову приходят картинки — от сюрреалистичных шедевров до аниме‑клубнички. Но генерировать можн …

Технологии, Наука 05:12, июня 23, 2025 | xakep.ru
Зачем может понадобиться преобразование аудио и видео в текст

Зачем может понадобиться преобразование аудио и видео в текст? В эпоху цифровых технологий, когда информация льется непрерывным потоком, умение быстро и эффективно обрабатывать данные становится ключевым навыком. …

Технологии, Наука 10:12, декабря 31, 2025 | appleinsider.ru