Новый инструмент ИИ генерирует высококачественные изображения быстрее, чем самые современные подходы
Но генеративные методы ИИ, которые все чаще используются для создания таких изображений, имеют недостатки.
Один популярный тип модели, называемый диффузионной моделью, может создавать потрясающе реалистичные изображения, но слишком медленный и требует больших вычислительных затрат для многих приложений.
С другой стороны, авторегрессионные модели, которые поддерживают LLM, такие как ChatGPT, намного быстрее, но они создают изображения худшего качества, которые часто изобилуют ошибками.
Исследователи из MIT и NVIDIA разработали новый подход, который объединяет лучшее из обоих методов. Их гибридный инструмент генерации изображений использует авторегрессионную модель для быстрого захвата общей картины, а затем малую диффузионную модель для уточнения деталей изображения.
Работа опубликована на сервере препринтов arXiv.
Их инструмент, известный как HART (сокращение от Hybrid Autoregressive Transformer), может генерировать изображения, которые по качеству соответствуют или превосходят самые современные модели диффузии, но делают это примерно в девять раз быстрее.
Процесс генерации потребляет меньше вычислительных ресурсов, чем типичные модели диффузии, что позволяет запускать HART локально на коммерческом ноутбуке или смартфоне.
Пользователю нужно только ввести одну подсказку на естественном языке в интерфейс HART, чтобы сгенерировать изображение.
HART может иметь широкий спектр применения, например, помогать исследователям обучать роботов выполнять сложные реальные задачи и помогать дизайнерам создавать яркие сцены для видеоигр.
«Если вы рисуете пейзаж и просто закрашиваете весь холст один раз, это может выглядеть не очень хорошо. Но если вы рисуете большую картину, а затем дорабатываете изображение более мелкими мазками кисти, ваша картина может выглядеть намного лучше.
Это основная идея HART», — говорит Хаотянь Тан, доктор философии, соавтор новой статьи о HART.
К нему присоединились соавтор Ечэн У, студент бакалавриата Университета Цинхуа; старший автор Сон Хань, доцент кафедры электротехники и компьютерных наук (EECS), сотрудник лаборатории искусственного интеллекта IBM Watson MIT и выдающийся ученый NVIDIA; а также другие специалисты из Массачусетского технологического института, Университета Цинхуа и NVIDIA.
Исследование будет представлено на Международной конференции по обучению репрезентациям.
Лучшее из обоих миров Популярные модели диффузии, такие как Stable Diffusion и DALL-E, известны тем, что создают высокодетализированные изображения.
Эти модели генерируют изображения посредством итеративного процесса, в котором они предсказывают некоторое количество случайного шума на каждом пикселе, вычитают шум, затем повторяют процесс предсказания и «удаления шума» нескольк.
Новый алгоритм искусственного интеллекта для роботов неизменно превосходит по производительности самые современные системы Инженеры Северо-Западного университета разработали новый алгоритм искусственного интеллекта (ИИ), разработанный специально для умной робототехники. П …
Software 15:45, мая 7, 2024 | android-robot.comВ Уфе в рамках Академии «Территория женского счастья» прошел круглый стол «ЗОЖ XXI века: лучшие практики и современные подходы» Участники круглого стола поделились своими практиками. Общий итог дискуссии: ЗОЖ надо обучать каждого человека начиная с детства. …
Основные новости 01:25, мая 19, 2024 | mgazeta.comСовременные технологии в крепости: мобильный интернет в Яблонове стал быстрее на 30% В селе Яблоново Белгородской области постоянно проживают около 1 700 человек, а каждые выходные сюда приезжают сотни туристов, чтобы окунуться в исто …
Туризм, путешествия 10:12, апреля 30, 2025 | oskol.cityВсё как у Tesla: самые современные роботы-гуманоиды будут собирать машины Dongfeng Dongfeng Motor официально подписала соглашение с Ubtech Robotics об использовании роботов-гуманоидов на заводах по производству автомобилей. Промышле …
Технологии, Наука 11:55, июня 3, 2024 | ixbt.com
День знаний: В школе № 13 Брянска созданы самые современные условия для учеников и педагогов 1 сентября в средней общеобразовательной школе № 13 имени Героя Советского Союза Ильи Борисовича Катунина, как и во всех школах областного центра, со …
Основные новости 05:12, сентября 3, 2025 | bryanskobl.ruЗонд Solar Orbiter прислал самые чёткие изображения поверхности Солнца (4 фото) Европейское космическое агентство (ЕКА) опубликовало самые чёткие на сегодняшний день фотографии повехности Солнца, полученные при помощи аппарата So …
Гаджеты 05:12, ноября 26, 2024 | 24gadget.ruТаким будет новый BMW M5: первые изображения 700-сильной «пятерки» без камуфляжа BMW опубликовала видеоролик, в котором показала процесс создания и тестирования BMW M5 нового поколения. На кадрах машина впервые засветилась без кам …
Технологии, Наука 17:15, мая 14, 2024 | ixbt.comНа выставке «Россия» обсудили новый нацпроект «Современные технологии сбережения здоровья» Демографические тренды последних лет формируют новые вызовы для здравоохранения, заявила вице-премьер Татьяна Голикова в ходе обсуждения нового нацпр …
Основные новости 22:45, мая 16, 2024 | vz.ru
Новый ИИ-инструмент с микроскопом ускорил борьбу с деменцией В борьбе с деменцией появился очередной проблеск надежды. Исследователи химического факультета Копенгагенского университета разработали новое мощное …
Технологии, Наука 10:55, мая 24, 2024 | ferra.ru В России появился новый инструмент борьбы с фейками В Общественной палате России презентовали онлайн-инструмент вовлечения граждан в противодействие информационным фейкам. Им может воспользоваться любо …
Основные новости 19:05, мая 16, 2024 | vz.ru Российские ученые разработали новый инструмент для хирургов В пресс-службе Минобрнауки РФ сообщили, что ученые МГТУ им. Н. Э. Баумана разработали уникальный лазер, который будет использоваться в различных обла …
Технологии, Наука 13:55, мая 17, 2024 | ferra.ru
В YouTube появился новый инструмент для борьбы с дипфейками В качестве новой меры по борьбе с контентом, созданным ИИ, разработчики YouTube добавили инструмент для метки дипфейков. С его помощью пользователи с …
Технологии, Наука 05:12, июля 3, 2024 | 4pda.to Новый инструмент ИИ обнаруживает фейковые новости с точностью 99% Инструмент, разработанный исследователями из Университета Киля, показал свою эффективность в обнаружении фейковых новостей с впечатляющим уровнем точ …
Технологии, Наука 15:12, января 19, 2025 | android-robot.com Создан новый инструмент для диагностики болезни Альцгеймера Ученые из Копенгагенского университета создали алгоритм машинного обучения, который может выявлять признаки болезни Альцгеймера и других нейродегенер …
Наука 13:00, мая 23, 2024 | gazeta.ru Nubia готовит новый бюджетный смартфон: первые изображения утекли в сеть Nubia, недавно представившая модель V80 Design на глобальных рынках, судя по всему, работает над ещё одним доступным смартфоном под названием Nubia S …
Технологии, Наука 15:12, ноября 17, 2025 | itzine.ru Современные квартиры и продуманные планировки. Каким будет новый ЖК напротив Преображенского парка «Квартал 12» — это новый жилой комплекс, который расположен в красивом месте с развитой инфраструктурой. Рядом находятся школы и детские сады, а напр …
Основные новости 12:35, мая 8, 2024 | 66.ru Новый инструмент упростит обновление открытого кода для разработчиков Исследователи создали инструмент VFCFinder, который помогает разработчикам быстрее внедрять необходимые обновления программного обеспечения с открыты …
Технологии, Наука 04:15, мая 10, 2024 | ferra.ru У силовиков появится новый инструмент поиска интернет-пользователей Министерство цифровой индустрии планирует расширить список информации о пользователях, которую интернет-ресурсы должны сохранять для правоохранительн …
Общество, регионы 07:35, мая 6, 2024 | gazeta.ru NASA создаст новый инструмент для борьбы с лесными пожарами Ученые NASA разрабатывают инструмент для борьбы с лесными пожарами — «цифровой двойник». Он подскажет пожарным, куда движется огонь и дым, а ученым — …
Технологии, Наука 23:55, мая 22, 2024 | ferra.ru Контур.Толк представил новый ИИ-инструмент — резюме встречи Российский сервис коммуникаций Контур.Толк запустил функцию резюмирования видеовстреч. ИИ проанализирует запись разговора и сформирует структурирован …
Software 00:12, апреля 17, 2025 | 3dnews.ru Сбер запустил новый финансовый инструмент для российских импортеров Сбер запустил аккредитив с отсрочкой платежа для российских импортеров из Индии, сообщает пресс-служба банка. В Сбере отметили, что банк будет произв …
Бизнес 15:12, декабря 2, 2025 | gazeta.ru
RuStore внедрил новый инструмент от F6 для борьбы с цифровыми угрозами RuStore усилил защиту пользователей от цифровых угроз — теперь магазин приложений использует систему Digital Risk Protection... …
Интернет 00:12, апреля 7, 2025 | internet.cnews.ru Совершенно новый Nissan Navara на платформе Mitsubishi Triton представят в ноябре: первые изображения Компания Nissan завершает подготовку к мировому дебюту нового поколения пикапа Navara, который теперь будет построен на платформе Mitsubishi Triton, …
Технологии, Наука 20:12, октября 16, 2025 | ixbt.com Новый инструмент Google позволит перенести Live Photos с iOS на Android Последнее обновление программы Data Transfer Tool от Google (известной также как Pixel Migrate на устройствах Pixel) добавило поддержку передачи Live …
Гаджеты 04:55, июня 4, 2024 | gagadget.com Российские силовики получат новый инструмент для поиска нарушителей в Сети Минцифры Российской Федерации планирует обязать интернет-провайдеров хранить и предоставлять по обращению правоохранительных органов больше информаци …
Основные новости 09:25, мая 6, 2024 | life.ru
Продавцы «Яндекс Маркета» получили новый инструмент для работы с брошенными корзинами Продавцы «Яндекс Маркета» смогут предложить скидку клиентам, которые добавили товары в корзину, но не оплатили... …
Интернет, Игры 13:15, мая 23, 2024 | cnews.ru Путин: В 2024 году будет введен новый инструмент - «сберегательный сертификат» В 2024 году будет введен новый инструмент - «сберегательный сертификат», который позволит сохранять гражданам деньги под более выгодный процент, чем …
Основные новости 22:30, июня 7, 2024 | nsn.fm Хоскинсон утверждает, что новый инструмент Cardano превзойдет Solance в сети Speed Основатель Cardano Чарльз Хоскинсон обнародовал амбициозные планы на новый инструмент Cardano, который, как он утверждает, будет конкурировать с возм …
Крипто 05:12, апреля 15, 2025 | cryptobrokers.ru Инструкция: включаем новый редактор изображения профиля в Windows 11 Build 22635.3646+ и 26231+ (Beta и Canary) В актуальных инсайдерских сборках Windows 11 для каналов Beta и Canary (сборки 22635.3646 и 26231 соответственно) пользователь PhantomOcean3 обнаружи …
Интернет, Игры 19:15, июня 7, 2024 | thecommunity.ru Новый хирургический инструмент перемещает крошечные биочастицы с помощью робототехники и акустической энергии Операция редко бывает приятным занятием, а иногда она может быть весьма инвазивной. Хирургические процедуры постоянно развивались на протяжении веков …
Технологии, Наука 00:45, мая 27, 2024 | android-robot.com Новый инструмент с элементами геймификации помогает защитить цепочки поставок спутников от киберугроз По мере того как зависимость мира от спутников усиливается, возрастает и риск сложных кибератак, направленных на космические системы и критическую ин …
Интернет, Игры 20:12, декабря 24, 2025 | android-robot.com Новый стандарт Wi-Fi сделает Интернет на 30% быстрее Роутеры нового поколения «разгоняются» до 4,8 Гбит в секунду. Пока крупнейшие телекоммуникационные рынки внедряют сети пятого поколения в …
Технологии 00:12, января 14, 2025 | versiya.info