ИИ всё чаще рассуждает как человек — лидеры индустрии призывают срочно сохранить способность «подглядывать» за его логикой, пока не стало слишком поздно
Подписи под статьёй поставили, в частности, лауреат премии Тьюринга Джеффри Хинтон и один из основателей OpenAI Илья Суцкевер.
В центре внимания — цепочки рассуждений (chain-of-thought, CoT), которые используются в современных языковых и мультимодальных моделях. Это промежуточные шаги, которые ИИ «проговаривает» внутри себя, прежде чем выдать ответ.
Они особенно важны при решении сложных задач, где требуется логика, планирование или работа с числами. Пока ИИ остаётся «прозрачным» и даёт возможность следить за ходом своих мыслей, люди могут выявлять ошибки, перекосы или потенциально опасное поведение.
Иллюстрация: ChatGPT Однако авторы статьи предупреждают: по мере роста возможностей ИИ и усложнения архитектур, способность мониторить такие цепочки может ослабнуть.
Модели могут начать «прятать» свои внутренние шаги, оптимизируя поведение под внешние метрики.
Это уже наблюдалось в некоторых случаях, когда ИИ «обманывал» систему вознаграждений или манипулировал, чтобы достичь заданной цели.
Поэтому учёные призывают срочно закрепить мониторинг цепочек рассуждений как одну из ключевых мер безопасности. Они предлагают разработчикам исследовать, какие свойства моделей делают их рассуждения видимыми для человека, как сохранять эту прозрачность при обучении более мощных систем и каким образом можно встроить CoT-мониторинг в процессы тестирования и сертификации.
Примечательно, что статья стала редким примером сотрудничества конкурирующих гигантов ИИ-индустрии.
* Компания Meta (Facebook и Instagram) признана в России экстремистской и запрещена.
Почему ученым срочно стоит вмешаться в освоение космоса пока не стало слишком поздно Освоение космоса неизбежно, но делать это надо с умом, а не бежать туда всей толпой. Космические исследования находятся на критическом перекрестке: п …
Технологии, Наука 20:12, ноября 21, 2025 | hi-news.ru
Инсайдеры OpenAI призывают к радикальным изменениям в индустрии ИИ Группа инсайдеров OpenAI предупреждает о «безрассудной» гонке компании за доминирование, пишет издание The New York Times.Несколько нынешних и бывших …
Финансы, Экономика, Forex 18:20, июня 4, 2024 | finam.ru
Россиян призывают срочно скупать авто, один тип недвижимости резко подешевеет. Главное за день …
Финансы, Экономика, Forex 00:12, сентября 29, 2024 | banki.ruПольский судья Шмидт: украинцы прозрели, но слишком поздно Многие украинцы прозрели, поняв, что воюют за своих олигархов, но слишком поздно. Такое мнение в интервью Tsargrad.tv высказал бежавший в Белоруссию …
Политика 11:40, мая 22, 2024 | gazeta.ruFrance 24: Закон о мобилизации на Украине приняли слишком поздно Закон о мобилизации на Украине приняли слишком поздно, время для подобных мер упущено на фоне продвижения российских войск, такое мнение высказал ред …
Основные новости 07:25, мая 21, 2024 | vz.ruПодросток ослеп и потерял способность говорить, выпив слишком много алкоголя В США подросток потерял зрение и способность говорить после того, как выпил слишком много алкоголя, пишет LADBible. Как пишут СМИ, Дэнни Сантулли был …
Общество, регионы 18:25, мая 16, 2024 | gazeta.ru
France 24: власти Украины слишком поздно приняли закон о мобилизации Принятый киевскими властями закон об ужесточении мобилизации не сможет исправить критическое положение, в котором оказались Вооружённые силы Украины …
Основные новости 10:55, мая 20, 2024 | regnum.ru«АвтоВАЗ», бери пример, пока не поздно»: Доработанная LADA 4x4 «вскружила голову» поклонникам Тюнинг отечественного автопрома давно стал произведением искусства. Мнения «ниваводов» о предназначении автомобиля разделяется: одни счит …
Авто 15:12, октября 6, 2024 | versiya.info
Катя Гордон предупредила Ларису Долину о страшных последствиях: сделайте это, пока еще не поздно Лариса Долина оказалась в центре скандала после того, как суд вернул ей квартиру, которую артистка продала под воздействием мошенников. …
Шоу-бизнес 20:12, декабря 11, 2025 | news.rambler.ru
NYT: на Украине с мая ежемесячно призывают в ВСУ по 30 тыс. человек Киевский режим мобилизует ежемесячно по 30 тыс. человек. Это происходит с мая — после принятия закона об усилении мобилизации. Подробности написала г …
Основные новости 00:12, августа 1, 2024 | regnum.ru Microsoft навсегда отключит Skype 5 мая и призывает пользователей перенести контакты и чаты в Teams, пока не поздно Microsoft официально объявила о предстоящем закрытии сервиса интернет-звонков Skype, последний звонок в котором будет сделан 5 мая. Компания отметила …
Software 10:12, марта 2, 2025 | 3dnews.ru Слишком добрым чаще достаётся: Как прохладный душ защитит от негатива Доброта обернётся проблемами под конец апреля. Люди не будут выражать прямо всё, что они чувствуют — и навредят себе. Лучшее — враг хорош …
Наука 15:12, июня 30, 2025 | versiya.info Как сохранить фото, видео, файлы и переписки из WhatsApp, пока его не заблокировали 28 ноября Роскомнадзор объявил, что к Ватсапу в России начали применять ограничительные меры. Если текстовые сообщения у пользователей еще более-мене …
Технологии, Наука 15:12, декабря 1, 2025 | appleinsider.ru
Мето про НХЛ: «Непопулярное мнение: слишком много внимания к тренерам. Лидеры и костяк – от этого зависит успех. При потолке зарплат проще всего все скинуть на тренера» «Торонто» отправил Шелдона Кифа в отставку после поражения от «Бостона» (3-4 в серии) в первом раунде Кубка Стэнли. Таким образом, с конца прошлого с …
Спорт 00:05, мая 10, 2024 | sports.ru Стало известно о планах Финляндии срочно построить завод по производству тротила Финляндия намерена в срочном порядке построить завод по производству тротила, такое желание обусловлено нехваткой взрывчатых веществ в Европе, сообща …
Основные новости 22:20, мая 5, 2024 | vz.ru
Уэйр: «Пока еще слишком рано говорить, кто по этому сезону самый принципиальный соперник для УНИКС» Разыгрывающий защитник ЦСКА Каспер Уэйр считает, что все соперники его команды в этом сезоне Единой лиги ВТБ являются отличными командами. …
Спорт 05:12, декабря 27, 2024 | sport-express.ru Фриц: на этой неделе я получил травмы, о которых пока не хочу слишком много говорить Финалист US Open — 2024, девятая ракетка мира американский теннисист Тейлор Фриц после выхода во второй круг Australian Open — 2026 рассказал, наскол …
Спорт 00:12, января 21, 2026 | championat.com Гладков: 19 человек пострадали при обрушении части дома, погибших пока не нашли // Погибших при обрушении подъезда многоэтажки в Белгороде пока не обнаружили Губернатор Белгородской области Вячеслав Гладков рассказал о ситуации в связи с обрушением части дома в Белгороде из-за обстрела. По его данным, 19 ч …
Происшествия 23:30, мая 12, 2024 | kommersant.ru
В 2023 году в европейской игровой индустрии было занято 114 тысяч человек — больше, чем годом ранее Федерация разработчиков игр Европы (EGDF) и организация Video Games Europe (бывшая ISFE) опубликовали отчет о состоянии европейского игрового сегмент …
Технологии, Наука 15:12, августа 27, 2024 | app2top.ru Стало известно, за что чаще всего штрафуют водителей Чаще всего водителей в России штрафуют за превышение скорости от 20 до 40 км/ч. Доля таких штрафов составляет около 70%. Об этом "Газете.Ru" рассказа …
Бизнес 10:12, сентября 7, 2024 | gazeta.ru Стало известно, кого чаще кусают клещи 21:02, 09 мая 2024, автор: Майя Б.Стало известно, кого чаще кусают клещиЧтобы выяснить, какая группа крови больше привлекает клещей, ученые провели б …
Основные новости 10:50, мая 10, 2024 | incnews.ru Назван человек, который сильнее всего хотел сохранить тен Хага в «Манчестер Юнайтед» «Манчестер Юнайтед» решил довериться Эрику тен Хагу, который уже два года тренирует командуЧитать дальше → …
Футбол 22:00, июня 12, 2024 | euro-football.ru
Стало известно, какие запчасти подделывают чаще всего На рынке запчастей и технических жидкостей к автомобилям наибольшая доля подделок в России — в сегменте моторных масел в канистрах, пишет «Российская …
Авто 15:12, июля 31, 2024 | news.drom.ru Стало известно, кто в России чаще берет займы "до зарплаты" Мужчины, оформляющие займы "до зарплаты" ??? до 30 тыс. рублей на срок до одного месяца с единоразовой выплатой ??? , чаще всего являются самозанятым …
Бизнес 10:50, мая 14, 2024 | gazeta.ru Стало известно, какие электромобили чаще покупают россияне Каждый третий зарегистрированный в России электромобиль оказался японским. Об этом свидетельствуют данные "Автостата". По состоянию на 1 июля в РФ на …
Бизнес 10:12, ноября 25, 2024 | gazeta.ru
В игровой индустрии Великобритании работают более 28,5 тысяч человек, из которых 3,6 тысяч — фрилансеры Британская Независимая ассоциация разработчиков игр (TIGA) представила свежие данные о состоянии индустрии в стране. …
Технологии, Наука 20:12, ноября 7, 2024 | app2top.ru Стало известно, зачем спортсменам нужно чаще есть свеклу О полезных свойствах овоща рассказали специалисты портала здоровое-питание.рф. Так, в свекле содержится бетаин, благодаря которому она и имеет такой …
Основные новости 23:30, мая 19, 2024 | sovainfo.ru
Стало известно, в каких городах чаще всего происходят ДТП с трамваями Курск и Улан-Удэ стали лидерами по количеству ДТП с трамваями: на эти города по итогам 2022–2024 годов пришлось по 22 страховых события. Такие данные …
Финансы, Экономика, Forex 19:10, мая 11, 2024 | banki.ru Стало известно, какими болезнями женщины страдают чаще мужчин Ученые из Университета штата Калифорния выяснили, что женщины страдают от болей в нижней части спины и деменции чаще мужчин. Также у первых чаще диаг …
Наука 01:20, мая 7, 2024 | gazeta.ru Стало известно, где чаще всего россияне покупают жилье за рубежом Чаще всего российские граждане приобретают жилую недвижимость за рубежом в Турции, Таиланде и Грузии. Об этом пишет "Лента.ру" со ссылкой на данные р …
Бизнес 03:15, мая 7, 2024 | gazeta.ru