У искусственного интеллекта есть проблемы с уверенностью в себе
Они используются в различных отраслях, таких как финансы, здравоохранение и информационные технологии , для решения задач, требующих рассуждений и принятия решений.
Поэтому их точность и надёжность имеют первостепенное значение, а это означает, что они должны быть всегда уверены в своих ответах. Однако они могут колебаться. Для безопасного использования LLM их ответы сопровождаются оценками уверенности.
Но неясно, как они используют их для управления своим поведением. Это исследование, опубликованное на сервере препринтов arXiv , показывает, что они могут быть слишком уверены в своих первоначальных ответах, но терять уверенность и менять свое мнение, когда им предъявляют неверный контраргумент.
Проверка уверенности в LLM Чтобы исследовать этот очевидный парадокс, исследователи проверили, как обладатели степени магистра права обновляют свою уверенность и решают, следует ли изменить свой ответ при получении внешней консультации.
Сначала «отвечающему LLM» предлагался вопрос с бинарным выбором ответа. После ответа он получал совет от второго LLM, сопровождаемый оценкой точности ответа.
Этот «совет LLM» также мог либо согласиться с первым ответом отвечающего LLM, либо возразить, либо отнестись нейтрально к нему. Затем отвечающему LLM предлагалось сделать окончательный выбор. Исследователи также варьировали, мог ли LLM видеть свой первый ответ при принятии окончательного решения.
Результаты Исследование показало, что магистры права (LLM) чаще придерживаются своего первоначального ответа и не меняют его, когда он виден, чем когда он скрыт.
Другими словами, они становятся более уверенными в себе. Исследование также показало, что, когда модели получают противоположные советы, они часто теряют уверенность и меняют своё решение. Они делают это гораздо охотнее, чем когда советы поддерживают их.
Эти закономерности были выявлены в нескольких различных магистрах права, таких как Gemma 3, GPT4o и o1-preview. «Наши результаты показывают, что поведение магистров права отличается от нормативного несколькими существенными способами: во-первых, они демонстрируют поразительную предвзятость в отношении выбора, которая повышает их уверенность в своем ответе и заставляет их придерживаться его даже при наличии доказательств обратного», — говорят исследователи.
«Во-вторых, мы показываем, что, хотя LLM действительно интегрируют новую информацию в свои убеждения, они делают это неоптимальным образом: они демонстрируют профиль обновлений уверенности, который отличается от идеального наблюдателя, и заметно переоценивают противоположные советы, что приводит к заметной потере уверенности в их первоначальном ответе».
Создание лучшего ИИ Всё это важно, поскол.
Система искусственного интеллекта может представить себе целый мир по одной картинке Ученые-компьютерщики Университета Джонса Хопкинса создали систему искусственного интеллекта, способную «воображать» свое окружение без необходимости …
Интернет, Игры 10:12, декабря 27, 2024 | android-robot.com
Песков: в сотрудничестве регионов РФ и КНР есть проблемы, но это "проблемы роста" Пресс-секретарь президента РФ отметил, что "это отношение региона к региону, это вопрос развития нашего Дальнего Востока, приграничных провинций Кита …
Экономика 11:25, мая 16, 2024 | tass.ruКитайские приложения искусственного интеллекта ... В последние дни мы стали свидетелями стремительного прогресса китайских компаний в области искусственного интеллекта. Такие компании, как DeepSeek и …
Финансы, Экономика, Forex 10:12, января 28, 2025 | profinance.ruСэм Альтман рассказал о будущем искусственного интеллекта Генеральный директор OpenAI Сэм Альтман поделился своим видением эволюции искусственного интеллекта, сравнив прошлые, текущие и будущие тенденции, чт …
Технологии, Наука 00:12, июня 4, 2025 | itzine.ru
Эти 10 новых функций искусственного интеллекта появятся в iOS 18 В iOS 18 и macOS 15 появится множество новых функций искусственного интеллекта, таких как автогенерируемые эмодзи, предлагаемые ответы на электронные …
Технологии, Наука 16:00, мая 28, 2024 | itzine.ru
Лукашенко предупредил об опасности искусственного интеллекта К чему приведет развитие искусственного интеллекта в мире неизвестно. Об этом 10 июля заявил президент Белоруссии Александр Лукашенко на открытии XXX …
Технологии 00:12, июля 12, 2025 | eadaily.com
Маск пригрозил Apple из-за искусственного интеллекта Компани предпринимателя и миллиардера из США Илона Маска могут отказаться от устройств Apple. Дело в том, что корпорация ввела технологии искусственн …
Основные новости 04:10, июня 11, 2024 | ura.news
В Совфеде обсудили регулирование искусственного интеллекта Сенаторы признали: ИИ может вызвать проблемы, если попадет не в те руки. Применение технологии нуждается в серьезной законодательной корректировке. …
Закон и Право 11:50, мая 24, 2024 | pravo.ru
США ограничат экспорт искусственного интеллекта в Китай Комитет по иностранным делам Палаты представителей Конгресса США выступает против возможного использования американских технологий искусственного инт …
Технологии, Наука 09:00, мая 24, 2024 | ferra.ru AMD представила новые процессоры для искусственного интеллекта AMD представила новые процессоры Ryzen 9000 для ПК и Ryzen AI 300 для ноутбуков. Новые чипы обещают пользователям высокую производительность и поддер …
Технологии, Наука 06:25, июня 4, 2024 | ferra.ru Spinncloud представляет SpiNNaker2: чип искусственного интеллекта В рамках проекта Human Brain Project, запущенного Манчестерским университетом, компанией Spinncloud был создан ИИ-процессор SpiNNaker (Spiking Neural …
Технологии, Наука 09:05, мая 15, 2024 | hardwareluxx.ru
У искусственного интеллекта обнаружили любимые числа В новом исследовании, проведенном аналитиками компании Gramener, стало ясно, что различные ИИ-модели предпочитают одни и те же числа при выборе случа …
Технологии, Наука 21:10, мая 30, 2024 | astera.ru Разработчиков искусственного интеллекта убивают одного за другим? Мать экс-сотрудника OpenAI Сухира Баладжи настаивает – её сын вовсе не покончил с собой, а был убит. На это, по её словам, указывает целая череда ули …
Общество, регионы 20:12, января 28, 2025 | versia.ru Exeed интегрирует технологии искусственного интеллекта Deepseek* Exeed объявляет об успешной интеграции собственной разработки материнской компании Lion AI Smart Cockpit с моделью DeepSeek Ожидается, что коллаборац …
Авто 20:12, февраля 25, 2025 | drive.ru
Греф оценил вклад искусственного интеллекта в ВВП России Искусственный интеллект к 2030 году внесет вклад в ВВП России в размере от 4 до 6%, что является беспрецедентным показателем для технологий. Об этом …
Бизнес, Промышленность, Энергетика 11:30, июня 7, 2024 | finam.ru
Autodesk покупает студию искусственного интеллекта Wonder Dynamics Autodesk купила Wonder Dynamics, облачную студию анимации и визуальных эффектов, использующую искусственный интеллект, сообщает Morningstar. Сумма сд …
Финансы, Экономика, Forex 12:15, мая 22, 2024 | finam.ru
МТС усилила сеть в Якутии с помощью искусственного интеллекта МТС запустила на мобильной сети в большинстве регионах Дальнего Востока функционал распределения частотного... …
Интернет 09:45, мая 28, 2024 | internet.cnews.ru Новая технология искусственного интеллекта Apple — это шаг вперед Доцент бизнес-школы Гойзуэта Университета Эмори Раджив Гарг изучает искусственный интеллект более 25 лет. Поскольку эта область становится все более …
Hardware 10:12, июня 20, 2024 | android-robot.com AMD запустил чип искусственного интеллекта для конкуренции с Blackwell от Nvidia Недавно компания AMD представила новый чип для искусственного интеллекта, который станет прямой целью графических процессоров Nvidia для центров обра …
Это интересно, Курьезы 05:12, октября 27, 2024 | incrussia.ru
T2 и VK займутся развитием искусственного интеллекта для маркетинга и аналитики T2, российский оператор мобильной связи, и VK заключили соглашение о сотрудничестве в области технологий искусственного... …
Интернет, Игры 15:12, июня 18, 2025 | cnews.ru Представлен процессор Apple M4 — ещё больше искусственного интеллекта и игр С новым процессором производительность планшетов Apple будет сопоставима с новейшими игровыми ноутбуками. …
Технологии, Наука 23:05, мая 7, 2024 | iguides.ru Шри-Ланка изучит связи буддизма и искусственного интеллекта В Шри-Ланке изучат взаимосвязь буддизма с искусственным интеллектом (ИИ), на исследования власти выделят в 2025 году более $3 млн. Об этом заявил пре …
Общество, регионы 15:15, мая 13, 2024 | gazeta.ru Нужна ли помощь государства в развитии искусственного интеллекта По утверждению экспертов, искусственный интеллект способен трансформировать ключевые сферы жизни, упрощая процессы и ускоряя экономическое развитие, …
Общество, регионы 10:12, июня 25, 2025 | oskol.city OpenAI представила новую модель искусственного интеллекта GPT-4o Компания OpenAI, разработчик чат-бота ChatGPT, представила новую модель искусственного интеллекта – GPT-4o. Она быстрее предыдущей версии и обладает …
Основные новости 04:10, мая 14, 2024 | vz.ru
79% ИТ-специалистов не боятся потерять работу из-за искусственного интеллекта ИТ-компания QTIM и платформа онлайн-рекрутинга hh.ru провели совместный опрос среди российских ИТ-специалистов и... …
Интернет, Игры 10:12, декабря 29, 2024 | cnews.ru Apple показала своё видение искусственного интеллекта Помимо анонса новых версий операционных систем Apple включилась в гонку искусственного интеллекта, представив Apple Intelligence. Рассказываем о неко …
Гаджеты 07:25, июня 12, 2024 | 24gadget.ru
Arm выпустит чипы искусственного интеллекта к 2025 году Arm, британский разработчик чипов, 90% акций которого принадлежит SoftBank, планирует выпустить чипы искусственного интеллекта к следующему году на ф …
Финансы, Экономика, Forex 17:10, мая 13, 2024 | finam.ru Эксперты обсудят влияние искусственного интеллекта на общество 20 ноября в 13:00 Экспертный институт социальных исследований проведёт круглый стол "Искусственный интеллект: общественное благо или вред?" в пресс-ц …
Основные новости 20:12, ноября 19, 2025 | ruposters.ru Глобальный спрос на электроэнергию растет из-за искусственного интеллекта Центры обработки данных способствуют росту потребления энергии, однако в ближайшие годы ожидается рост использования чистых источников энергии. Между …
Software 15:12, августа 30, 2024 | android-robot.com
В кампусе НГУ начали внедрять технологии искусственного интеллекта Проект, получивший название «Окулист Игорь», реализуется Исследовательским центром в сфере искусственного интеллекта... …
Интернет, Игры 10:20, мая 13, 2024 | cnews.ru