ИИ может преобразовывать звуки в изображения с картой
В статье, опубликованной в журнале Computers, Environment and Urban Systems , исследовательская группа описывает обучение модели искусственного интеллекта, преобразующей звуковой ландшафт в изображение, с использованием аудио- и визуальных данных, собранных с различных городских и сельских улиц, а затем использование этой модели для генерации изображений из аудиозаписей.
«Наше исследование показало, что акустическая среда содержит достаточно визуальных подсказок для создания высокоузнаваемых изображений уличного пейзажа, которые точно отображают различные места», — сказал Юхао Кан, доцент кафедры географии и окружающей среды в Техасском университете и соавтор исследования.
«Это означает, что мы можем преобразовать акустическую среду в яркие визуальные представления, эффективно переводя звуки в зрелища».
Используя видео и аудио YouTube из городов Северной Америки, Азии и Европы, команда создала пары 10-секундных аудиоклипов и кадров изображений из разных мест и использовала их для обучения модели ИИ, которая могла создавать изображения высокого разрешения из аудиовхода.
Затем они сравнили творения ИИ по преобразованию звука в изображение, сделанные из 100 аудиоклипов, с соответствующими им реальными фотографиями, используя как человеческие, так и компьютерные оценки.
Компьютерные оценки сравнивали относительные пропорции зелени, зданий и неба на исходных и сгенерированных изображениях, в то время как экспертов-людей просили правильно сопоставить одно из трех сгенерированных изображений с аудиообразцом.
Результаты показали сильную корреляцию в пропорциях неба и зелени между сгенерированными и реальными изображениями и немного меньшую корреляцию в пропорциях зданий.
А участники-люди в среднем имели 80% точности при выборе сгенерированных изображений, которые соответствовали исходным аудиообразцам.
«Традиционно способность представлять себе сцену по звукам является уникальной человеческой способностью, отражающей нашу глубокую сенсорную связь с окружающей средой .
Использование нами передовых методов искусственного интеллекта, поддерживаемых большими языковыми моделями (LLM), демонстрирует, что у машин есть потенциал приблизиться к этому человеческому сенсорному опыту», — сказал Канг.
«Это говорит о том, что ИИ может выйти за рамки простого распознавания физического окружения и потенциально обогатить наше понимание субъективного опыта человека в разных местах».
Помимо приблизительного воспроизведения пропорций неба, зелени и зданий, созданные изображения часто сохраняли архитектурные стили и расстояния между объектами своих реальных аналогов, а также точно отражали, были ли записаны звуковые ландшафты в условия.
Учёные научились преобразовывать CO2 в чистое топливо Учёные из Притцкеровской школы разработали метод преобразования углекислого газа (CO2) в чистое топливо и полезные химические вещества с почти 100%-н …
Технологии, Наука 10:15, мая 27, 2024 | pravda.ruВ интернете появились изображения, характеристики и цена на Vivo V40 Lite, который может появится в Европе Скоро состоится запуск смартфона среднего класса Vivo V40 Lite и свежая утечка предоставила новую информацию о его дизайне и спецификациях. Наши колл …
Гаджеты 16:30, июня 10, 2024 | gagadget.comЗвуки машин приводят к стрессу Мы все знаем, что пение птиц и другие природные звуки очень полезны для здоровья. Они помогают успокоиться, могут помочь снизить давление, нормализов …
Технологии, Наука 15:12, декабря 3, 2024 | api.follow.it
Еще в одной стране начались проблемы с картой «Мир» Проблемы с работой российской платежной системы «Мир» начались в Узбекистане. Об этом заявил министр финансов РФ Антон Силуанов.По его словам, из-за …
Финансы, Экономика, Forex 10:30, мая 28, 2024 | banki.ruСилуанов рассказал о проблемах с картой «Мир» в Узбекистане Министр финансов России Антон Силуанов сообщил, что в Узбекистане есть проблемы с расчетами картой «Мир». По его словам, для их решения нужно в том ч …
Бизнес 07:35, мая 28, 2024 | kommersant.ruОрловчанка оплатила наркотики картой дочери Женщина объяснила суду, что собственные карты у нее арестованы. Фото: ИА “Орелград” Вступило в силу решение по уголовному делу о незаконн …
Основные новости 20:55, мая 5, 2024 | orelgrad.ruГладков объяснил громкие звуки в Белгороде Вооруженные силы России работают в Белгороде и Белгородском районе. Так губернатор Белгородской области Вячеслав Гладков объяснил в своем Telegram-ка …
Общество, регионы 01:25, мая 12, 2024 | gazeta.ruМузей приглашает горожан на "Звуки тишины" В музее-усадьбе Чернышевского готовится к открытию выставка "Звуки тишины. Аромат цвета". Презентация пройдет 21 февраля в 16 часов. На экспозиции бу …
Спорт 10:12, февраля 21, 2025 | news.sarbc.ru
Музыкальный фестиваль «Звуки Эльбурса» прошел в КБР Танцы на склонах горы Счастья, экскурсии по экотропам, дегустация национальных блюд. На поляне Азау прошёл самый высокогорный музыкальный фестиваль Р …
Основные новости 15:12, июля 8, 2024 | stavropolye.tv В Воронеже звуки сирен оказались не связаны с ЧП ГУ МЧС по Воронежской области. В Воронеже вновь поступили сообщения о звуках сирен в центральной части города. Некоторые жители слышали тревожные сиг …
Основные новости 05:12, апреля 1, 2025 | vrn.vestipk.ru Звуки сирены в Воронеже прокомментировали власти Фото «Мой и твой Воронеж». О громком гудке утром 27 мая сообщили жители улицы Беговой в Воронеже. Как сообщается в социальных сетях, сигнал …
Основные новости 22:50, мая 27, 2024 | vrn.vestipk.ru Силуанов заявил о проблемах с расчетами в Узбекистане картой «Мир» В Узбекистане есть сложности с оплатой картой «Мир», необходимо искать альтернативы таким расчетам, заявил глава Минфина России. Они появились в респ …
Основные новости 18:45, мая 27, 2024 | rbc.ru Российские туристы смогли расплатиться картой «Мир» на Мальдивах Российские туристы на Мальдивах сообщили о возможности оплаты с помощью карт национальной платёжной системы «Мир». По словам отдыхающих, карты стали …
Общество, регионы 10:12, декабря 22, 2025 | versia.ru
Оплату российской картой «Мир» хотят запустить в Таиланде Страна остаётся популярной у российских туристов. По данным министерства туризма и спорта Таиланда, с начала года страну посетило свыше 800 тысяч рос …
Основные новости 11:35, мая 30, 2024 | news-kmv.ru Звуки в автомобилях Porsche оценивает искусственная голова Устройство помогает инженерам оценить уровень шума и качество звука различных систем. Антропоморфный модуль под названием Sound Acoustic Module (SAM) …
Технологии, Наука 04:20, мая 15, 2024 | news.rambler.ru AirPods Pro 2 пищат и издают странные звуки. Что делать В этом году Apple не стала выпускать новую версию AirPods Pro, а просто сделала для наушников второго поколения прошивку с дополнительными функциями. …
Технологии, Наука 10:12, декабря 5, 2024 | appleinsider.ru Силуанов раскрыл планы по решению проблем с картой "Мир" в Узбекистане В России заявили о необходимости поиска альтернативных способов расчетов для российских граждан в Узбекистане из-за проблем с картой "Мир". Об этом п …
Бизнес 17:20, мая 27, 2024 | gazeta.ru Медведев поздравил с Днем России включающей Украину картой Заместитель Совета безопасности России Дмитрий Медведев опубликовал в своих соцсетях видеопоздравление с Днем России, в котором на карте Украина впис …
Основные новости 13:50, июня 12, 2024 | vz.ru В Барнауле 10-летнего мальчика высадили из трамвая из-за ошибки с картой 30 мая в Барнауле кондуктор высадила 10-летнего ребенка из трамвая № 7. Об этом в группе "Черное и Белое Барнаул" в соцсети "ВКонтакте" рассказала ег …
Основные новости 17:20, мая 30, 2024 | tolknews.ru «Картой коммунальных услуг» воспользовались более 5,6 млн жителей Подмосковья В Министерстве энергетики Московской области рассказали о 5,6 млн жителей региона, воспользовавшихся «Картой коммунальных услуг». …
Основные новости 22:50, мая 16, 2024 | russian.rt.com Покупка табака онлайн закончилась для йошкаролинца опустевшей картой Покупка табака онлайн закончилась для йошкаролинца опустевшей картой Йошкаролинец, при попытке закупить табачную продукцию через интернет, попался на …
Основные новости 19:40, мая 23, 2024 | pg12.ru Huawei представила MatePad Pro с SIM-картой и эксклюзивными опциями за 134 тыс. рублей Huawei представила планшет MatePad Pro 12.2 Gold Collector’s Edition, который выделяется своим блестящим золотым цветом и некоторыми эксклюзивными фу …
Технологии, Наука 10:12, октября 25, 2024 | astera.ru Экономия на проезде с картой «Мир» в телефоне — свыше 3,3 млн рублей за три месяца Успейте воспользоваться скидкой до 31 декабря. Фото предоставлено пресс-службой платёжной системы «Мир» С 1 сентября 2025 года в Орловской области де …
Основные новости 05:12, декабря 12, 2025 | orelgrad.ru
Силуанов призвал искать альтернативы расчётам картой «Мир» в Узбекистане В Узбекистане с 2022 года наблюдаются проблемы с работой российской платежной системы «Мир», поэтому ведутся поиски альтернативных систем расчёта, вк …
Основные новости 19:15, мая 27, 2024 | regnum.ru Новый Casio LF-30W-1A с картой мира появился в магазинах Европы Casio выпустила новые часы LF-30W-1A еще в нескольких европейских странах - теперь модель доступна для покупки в Нидерландах, Испании и Германии. …
Гаджеты 00:12, июня 8, 2025 | gagadget.com
В Грузии на заправках «Лукойла» не принимают оплату картой из-за санкций В Грузии на заправках «Лукойла» перестали принимать оплату картой на фоне санкций, передает издание «Батумелеби». …
Общество, регионы 20:12, ноября 29, 2025 | eadaily.com
Гладков: громкие звуки в Белгороде вызваны работой ВС России Жителей Белгорода и Белгородского района призвали не опасаться громких звуков в городе, вызванных работой российских военнослужащих. Об этом поздним …
Основные новости 08:45, мая 12, 2024 | regnum.ru Звуки взрыва и странный гул напугали волгоградцев в ночь на 12 июня Ночью жители Волгограда были встревожены странными звуками. В Кировском районе люди сообщали о взрыве непонятной природы, а в Красноармейском и Дзерж …
Основные новости 14:50, июня 12, 2024 | novostivolgograda.ru Насекомые слышат стрессовые звуки растений, выяснили ученые Ученые из Израиля обнаружили, что насекомые могут "подслушивать" растения и использовать их звуки для выбора места откладки яиц. Согласно исследовани …
Наука 20:12, января 19, 2026 | gazeta.ru Какие звуки издает Солнце — послушайте прямо сейчас Солнце издает звуки, но по целому ряду причин мы их не слышим. Источник изображения: Live Science Мы ежедневно видим Солнце, ощущаем его тепло на сво …
Технологии, Наука 00:12, декабря 26, 2024 | hi-news.ru Власти объяснили звуки взрывов в Казани испытаниями на заводе Звуки взрывов в Казани вызваны испытаниями на пороховом заводе, сообщает администрация Кировского и Московского районов Казани. …
Основные новости 15:12, декабря 21, 2024 | rbc.ru