Модели ИИ учатся разделять задачи, сокращая время ожидания сложных подсказок
Традиционные LLM основаны на концепции «авторегрессивного декодирования», где каждый элемент («токен») в последовательности предсказывается на основе ранее сгенерированных выходных данных.
Такой подход неизбежно приводит к задержкам при обработке более сложных подсказок, хотя исследователи пытались смягчить это с помощью проектов, более эффективно использующих параллелизм многоядерных компьютерных чипов.
Например, спекулятивное декодирование использует быструю черновую модель для предложения токенов, которые затем параллельно проверяются более медленной, высококачественной моделью. Новый класс методов вместо этого использует «семантическую независимость», выявляя синтаксические шаблоны, такие как пункты списка, и параллельно раскрывая каждый из них.
Однако они опираются на вручную созданные синтаксические эвристики, которые нестабильны и часто дают сбои, когда ответы отклоняются от ожидаемых форматов.
Эти недостатки вдохновили исследователей из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) и Google использовать подход, основанный на обучении, для параллельного декодирования.
Вместо того, чтобы полагаться на фиксированные правила, их метод обучает LLM распознавать семантическую независимость, то есть параллельно идентифицировать и декодировать семантически независимые фрагменты текста.
В частности, метод параллельной структурной аннотации (PASTA), разработанный командой CSAIL, позволяет магистрам права генерировать текст параллельно, значительно ускоряя время ответа .
В отличие от предыдущих попыток, которые опирались на жёсткие, вручную запрограммированные правила для определения независимых текстовых сегментов, PASTA позволяет магистрам права изначально понимать и выражать эти возможности параллелизации в своих ответах.
Этот подход, называемый «обученным асинхронным декодированием», знаменует собой переход к обучению моделей самостоятельной стратегии параллельного декодирования.
Результаты исследования опубликованы на сервере препринтов arXiv . «Традиционные программы магистратуры права (LLM) подобны повару, готовящему лазанью в одиночку, шаг за шагом», — пояснил Тянь Цзинь, ведущий автор новой статьи по проекту, представленной на Международной конференции по машинному обучению ( ICML 2025 ) в Ванкувере.
«PASTA учит повара понимать, когда разные части лазаньи можно готовить одновременно, например, смешивая подмножество ингредиентов, пока разогревается духовка, что значительно ускоряет процесс в целом».
Это нововведение устраняет фундаментальное узкое место в выводе LLM, где последовательный характер декодирования часто приводит к недоиспользованию оборудования и длительному ожид.
Ученые Сбербанка разработали модели искусственного интеллекта для распознавания сложных эмоций Ученые Центра практического искусственного интеллекта Сбербанка повысили точность определения эмоций на фото... …
Интернет, Игры 00:12, октября 27, 2025 | cnews.ruСобянин: Время ожидания приема врача в поликлиниках сократилось с 30 до 7 минут Это достижение стало возможным благодаря комплексным мерам, направленным на оптимизацию работы медицинских учреждений и внедрение новых технологий. П …
Основные новости 20:12, января 20, 2025 | dni.ruAndroid 15 увеличит время автономной работы в режиме ожидания до 3 часов Вторая бета-версия Android 15 уже доступна и она приносит некоторые интересные улучшения. Одно из них связано с продолжительностью работы в режиме ож …
Гаджеты 14:00, мая 19, 2024 | gagadget.com
Бесконечность — это время ожидания до момента, когда экономика России лопнет На Западе обывателя продолжают тешить прогнозами, что экономика России когда-то должна сломаться под грузом тысяч санкций. От которых, кстати, страда …
Политика 15:12, октября 1, 2024 | eadaily.comAndroid 15 увеличил время работы смартфонов в режиме ожидания на 3 часа Грядущее обновление Android 15 от Google обещает увеличить время автономной работы в режиме ожидания до трех дополнительных часов на некоторых устрой …
Технологии, Наука 11:55, мая 19, 2024 | ferra.ru
Время ожидания на приеме в частных медицинских клиниках России: факторы и влияние. Вопрос времени ожидания на приеме у врача в частных медицинских клиниках России является достаточно актуальным и интересующим многих пациентов. Опред …
Здоровье, медицина 19:15, мая 23, 2024 | versiya.infoКомпания расширяет производство, сокращая его в своём автограде Российский автогигант вознамерился существенно расширить географию производства своих машин. До 2028 года концерн, чьё главное предприятие работает в …
Основные новости 15:12, ноября 6, 2025 | versia.ruВ Дубае в ближайшее время начнут официально продавать модели Lada В ходе Петербургского международного экономического форума один из участников, прибывший из Дубая, посидел за рулем новой модели Iskra: он заявил, чт …
Авто 06:55, июня 8, 2024 | motor.ru
Келлог заявил, что не предлагал разделять Украину Спецпосланник президента США Кит Келлог заявил, что не говорил о разделении территории Украины, а его слова исказили …
Основные новости 15:12, апреля 12, 2025 | nsn.fm «Яндекс» запустит генерацию ИИ-подсказок для операторов контакт-центров Эксперты считают, что у компании есть все компетенции для этого, но на рынке уже активно работают конкуренты …
Технологии, Наука 20:12, мая 19, 2025 | vedomosti.ru Вылечить овечку без «шпор» и подсказок: будущие айболиты сдали новый демоэкзамен в ЕАО Проверку готовности к профессиональной деятельности на практическом демонстрационном экзамене прошли выпускники отделения ветеринарии ОГПОБУ «Сельско …
Основные новости 15:40, июня 9, 2024 | riabir.ru С выходом на ПК в God of War Ragnarok наконец появится возможность остановить поток подсказок к загадкам Накануне выхода скандинавского экшена God of War Ragnarok на ПК разработчики из Santa Monica Studio при поддержке партнёров из Jetpack Interactive ра …
Игры 10:12, сентября 30, 2024 | 3dnews.ru
ЦСКА уволил Федотова: «Благодарны за победные мгновения и ценности, которые мы были рады вместе разделять» «Сегодня руководством клуба было принято решение о прекращении сотрудничества с главным тренером. Также тренерский штаб покидают Олег Фоменко, Мурат …
Спорт 18:55, июня 3, 2024 | sports.ru
Маркус Крамер: «Мы должны разделять спорт и политику. Надеюсь, что российские лыжники смогут участвовать в Олимпийских играх» Крамер был тренером сборной России по лыжным гонкам с 2015-го по 2022 год. Сейчас он работает в команде Италии. – Похоже, у них есть небольшая возмож …
Спорт 00:12, февраля 14, 2025 | sports.ru
Миллениалы учатся на курсах материнства Подготовка к родам – дело обоснованное и понятное. Много женских страхов собрал вокруг себя процесс родоразрешения. Но что с материнством?! Онлайн-шк …
Основные новости 00:12, декабря 17, 2024 | 443000.ru Женщины доверяют ИИ меньше, но учатся активнее Женщины в России демонстрируют меньший уровень доверия к искусственному интеллекту (ИИ) по сравнению с мужчинами, но при этом чаще проявляют интерес …
Технологии, Наука 15:12, августа 7, 2025 | ferra.ru Как нейросети меняют Интернет и учатся креативности? ИИ-системы становятся все лучше и лучше, стремительно меняя Интернет и подход к креативности. Изображение: media.wired.com С момента своего дебюта ге …
Технологии, Наука 02:45, июня 12, 2024 | hi-news.ru Ставропольские школьники учатся управлять беспилотниками В Кочубеевском округе Ставрополья дети учатся управлять беспилотниками. Кроме того, изучают их устройство. …
Основные новости 20:35, мая 8, 2024 | stavropolye.tv
«МегаФон»: брянцы усиленно учатся программированию С начала учебного года жители Брянской области стали активно подбирать образовательные курсы для себя и своих... …
Интернет 20:12, октября 14, 2024 | internet.cnews.ru Лепс объяснил, почему его дети учатся за границей Народный артист России Григорий Лепс объяснил, почему его дети учатся за границей. Об этом он поговорил в рамках записи интервью для YouTube-канала « …
Шоу-бизнес 14:55, мая 11, 2024 | news.rambler.ru В Курской области дети из ПВР учатся оказывать первую помощь В областном Курском центре туризма дети из приграничных районов осваивают программу "Островок безопасности". Они изучают основы первой неотложной пом …
Основные новости 00:12, октября 30, 2024 | takt-tv.ru «Учатся далеко»: Филипп Киркоров отправил детей за границу Дети Филиппа Киркорова — 12-летняя Алла-Виктория и 11-летний Мартин — учатся за границей. Об этом сообщили в эфире федерального телеканал …
Основные новости 20:45, июня 2, 2024 | 5-tv.ru Каким профессиям дети российских знаменитостей учатся за границей Звёзды выбирают престиж и перспективы зарубежных учреждений. Дети знаменитостей зачастую спешат получать знания за рубежом, ведь это уже вошло в моду …
Шоу-бизнес 00:12, декабря 21, 2024 | versiya.info Будущие абитуриенты увидели, как учатся кадеты президентского кадетского училища У ставропольских школьников сейчас важная пора - нужно определиться с будущей профессией. Часть юных ставропольцев делают это после четвёртого класса …
Основные новости 04:35, мая 22, 2024 | stavropolye.tv Уникальный эксперимент: в России учатся доставлять донорскую кровь с помощью дронов Под Петербургом проходит уникальный эксперимент: разработчики вместе с медиками тестируют первую в России систему транспортировки крови с помощью бес …
Основные новости 17:30, мая 21, 2024 | 5-tv.ru Лепс объяснил, почему его дети учатся не в России, вспомнив про Ивана Грозного и Петра I Российский музыкант Григорий Лепс признался, что выступает против обучения своих детей за границей, так как они могут научиться всему и на родине. Пе …
Основные новости 20:00, мая 16, 2024 | life.ru Дорогие. Элитные. Наши: сколько стоят школы, в которых учатся дети звезд? Обучение на английском языке, секции — от скрипки до футбола, эко-продукты в столовых и личные психологи: для селебрити-чад все это — только базовый …
Шоу-бизнес 15:12, августа 31, 2025 | woman.ru
Вице-премьер Оверчук: на Западе «ничему не учатся», используя язык угроз и санкций Странам Запада необходимо понять, что с Россией нельзя разговаривать языком угроз и санкций, но они «ничему не учатся». Об этом заявил журналистам ви …
Экономика 05:12, октября 27, 2025 | eadaily.com Федеральная автономия цыган раскрыла причины, почему цыганские дети не учатся в школах Цыганским детям, по мнению экспертов, в получении школьного образования мешает замкнутость общин и отсутствие в России государственных программ, обес …
Общество, регионы 20:12, января 28, 2025 | versia.ru «Проклятая Америка, быстро учатся». Русские фигуристы пытались обмануть систему в США: прокатывало не всегда Хотели сэкономить.Владимир Завьялов / ИТАР-ТАСС / shutterstock.comЛедовые шоу — самый популярный заработок для действующих фигуристов. Межсезонье поз …
Спорт 18:50, июня 7, 2024 | sport24.ru Инженеры вяжут «одеяло» из сложных радиочастотных антенн Представьте себе, что вы взяли радиочастотные свойства антенн-тарелок, которые вы видите на крышах, и связали из них предмет одежды, который можно но …
Интернет, Игры 20:12, ноября 28, 2024 | android-robot.com Магия воды и электричества: простое решение для сложных ран Недавно учёные обнаружили, что электрическая стимуляция может ускорить заживление хронических ран, таких как диабетические язвы. На основе этого откр …
Технологии, Наука 20:12, августа 18, 2024 | api.follow.it