Учёные Сколково и AIRI придумали, как ускорить работу языковых нейросетей
Открытие позволит тратить меньше вычислительных ресурсов на развёртку и инференс нейросетей. Генеральный директор AIRI Иван Оселедец отметил, что эффект, который выявили исследователи, выглядит очень контринтуитивно и противоречит многим представлениям о глубоком обучении.
Однако именно это свойство позволяет повысить эффективность работы языковых моделей. Исследователи из AIRI, SberAI и «Сколтеха» изучили устройство двух десятков языковых моделей с открытым исходным кодом и выявили высокую линейную зависимость в числовых представлениях данных, что упрощает архитектуру моделей.
Андрей Белёвцев, старший вице-президент Сбербанка, заявил, что банк планирует тестировать и, в случае успеха, внедрять эту идею в свои флагманские модели.
По его словам, такие находки в ИИ-архитектурах помогают частично компенсировать вычислительный голод. Учёные разработали алгоритм-регуляризатор и выложили его в открытый доступ, чтобы поделиться этим важным открытием с научным сообществом.
Учёные придумали, как ускорить квантовые расчёты с помощью фрактальности Международный коллектив физиков из России, Германии и ОАЭ показал, что одна из основных теорий для расчётов в области квантовой термодинамики — …
Hardware 20:45, мая 24, 2024 | 3dnews.ruРоссийские ученые ускорили работу нейросетей для разработки лекарств В пресс-службе НИУ ВШЭ сообщили, что ученые вуза обнаружили, что применение классических алгоритмов обучения с подкреплением значительно улучшает ско …
Технологии, Наука 20:30, июня 13, 2024 | ferra.ruУченые нашли способ ускорить работу квантовых компьютеров Ученые из Японии совершили прорыв, который позволит значительно ускорить работу квантовых компьютеров. Одной из главных особенностей квантовых компью …
Технологии, Наука 15:25, мая 11, 2024 | ferra.ru
Региональный оператор «Сколково» начнет работу в Республике Башкортостан Фонд «Сколково» (группа ВЭБ.РФ), Правительство Республики Башкортостан и компания «Эталонные Концессии» заключили... …
Интернет, Игры 10:10, июня 7, 2024 | cnews.ruПутин поручит ускорить работу по соцподдержке бойцов ЧВК Президент России Владимир Путин поручит правительству ускорить работу по оказанию социальной поддержки некоторым участникам военной операции на Украи …
Основные новости 17:30, июня 1, 2024 | rbc.ruПутин поручит ускорить работу по соцсподдержке бойцов ЧВК Президент России Владимир Путин поручит правительству ускорить работу по оказанию социальной поддержки некоторым участникам военной операции на Украи …
Основные новости 16:15, июня 1, 2024 | rbc.ruПутин поручил ускорить работу по подготовке стратегии развития ТЭК Президент РФ Владимир Путин в ходе совещания о развитии топливно-энергетического комплекса поручил ускорить и как можно скорее закончить работу по по …
Политика 23:30, мая 20, 2024 | gazeta.ruПутин поручил ускорить работу по подготовке долгосрочной энергетической стратегии Президент России Владимир Путин распорядился ускорить работу по подготовке долгосрочной энергетической стратегии. Выступая на совещании по развитию о …
Основные новости 04:00, мая 21, 2024 | life.ru
В Союзном государстве могут ускорить работу по промышленному программному обеспечению В рамках Союзного государства может быть ускорена работа совместной рабочей группы по промышленному программному обеспечению. Об этом сегодня, 14 окт …
Технологии 15:12, октября 16, 2024 | eadaily.com
Путин поручит ускорить работу по соцподдержке некоторых категорий участников СВО Президент России Владимир Путин пообещал поручить правительству ускорить работу по соцподдержке некоторых категорий участников специальной военной оп …
Основные новости 16:55, июня 1, 2024 | iz.ru
Путин пообещал ускорить работу по соцподдержке ряда категорий участников СВО Президент Владимир Путин в ходе встречи с руководителем фонда «Защитники Отечества» Анной Цивилевой пообещал поручить властям ускорить работу по соцп …
Основные новости 23:25, июня 1, 2024 | vz.ru
Чем известен бывший гендиректор технопарка «Сколково» Ренат Батыров // Экс-главу «Сколково» Рената Батырова арестовали за посредничество во взятке Батыров Ренат Рафикович родился 2 ноября 1976 года в городе Советск Калининградской области. В 1998 году окончил Астраханский государственный техниче …
Происшествия 10:12, ноября 19, 2025 | kommersant.ru Ученые придумали, как бороться с поставками ... Фото из открытых источников Ученые пытаются предотвратить проникновение попавшей под санкции российской древесины в Европу. Для этого они составляют …
Финансы, Экономика, Forex 22:45, июня 11, 2024 | profinance.ru Ученые придумали чип для сортировки сперматозоидов Ученые Сеченовского Университета вместе с иранскими коллегами из Технологического университета имени Шарифа разработали прототип микрофлюидного чипа …
Наука 11:50, июня 10, 2024 | gazeta.ru Ученые назвали лучший способ ускорить дрессировку собак Венгерские ученые-этологи из Будапештского университета имени Этвёша Лоранда выяснили, как эффективнее всего дрессировать собак. Исследование опублик …
Наука 23:40, июня 6, 2024 | gazeta.ru Ученые МИСИС разработали способ ускорить квантовые вычисления В пресс-службе НИТУ МИСИС сообщили, что ученые вуза разработали новый подход, который позволит ускорить проведение логических операций на квантовых к …
Технологии, Наука 02:35, мая 7, 2024 | ferra.ru Российские учёные придумали, как лечить рак мозга во сне Саратовские учёные разработали технологию лечения опухоли мозга во сне Учёные из СГУ представили новый метод лечения глиобластомы мозга, который можн …
Технологии, Наука 03:15, мая 17, 2024 | ferra.ru Учёные МГУ нашли способ ускорить перевод видео в текст нейросетями Российские учёные ускорят перевод информации из видео в текст с помощью нейросетей Учёные из МГУ провели исследование, посвящённое проблеме преобразо …
Технологии, Наука 23:25, июня 13, 2024 | ferra.ru
Пермские ученые придумали, как получить пользу от борщевика Ученые Пермского университета (ПГНИУ) нашли способ борьбы с грибковыми инфекциями, используя плоды борщевика Сосновского. Эфирное масло, добытое из э …
Основные новости 05:25, июня 5, 2024 | ura.news Учёные придумали, как заставить левитировать воду при 130 °C — это пригодится для СЖО Физики из Вирджинского политехнического института и университета штата (Virginia Polytechnic Institute and State University) открыли новый способ лев …
Hardware 02:45, июня 9, 2024 | 3dnews.ru
Российские ученые нашли способ ускорить считывание платежных QR-кодов до 40 миллисекунд Клиенты 10 из 13 системно значимых банков смогут значительно быстрее совершать платежи в интернет-банках с технологией... …
Интернет 15:12, июля 10, 2024 | internet.cnews.ru Учёные придумали, как научить людей ощущать невидимые вещи Учёные из Гонконга вдохновились системой чувств у рыбок семейства клюворылых и разработали устройство, которое способно добавить те же способности лю …
Технологии, Наука 00:12, декабря 15, 2024 | iguides.ru
Российские ученые придумали новый способ изготовления сверхпроводников Новый способ изготовления сверхпроводников придумали ученые «Росатома». Они предлагают ускоренный метод — метод магнетронного напыления с последующей …
Промышленность, Энергетика 15:12, июня 25, 2025 | eadaily.com Учёные придумали новый способ соединения углеродных трубок Российские учёные разработали новую технологию соединения углеродных трубок для сверхпроводников Учёные из нескольких российских университетов и науч …
Технологии, Наука 14:50, мая 7, 2024 | ferra.ru Российские учёные придумали "умную повязку" для лечения хронических ран Российские учёные придумали повязку со встроенной электростимуляцией. Суть её работы заключается в том, иммунные клетки привлекаются в очаг воспалени …
Основные новости 04:50, мая 15, 2024 | life.ru Российские учёные придумали, как перерабатывать пластиковые отходы в нефть В России разработали технологию переработки пластиковых отходов в нефть В России каждый год создаётся много пластикового мусора — от 3,5 до 8,5 милли …
Технологии, Наука 00:45, июня 12, 2024 | ferra.ru Российские учёные придумали, как удешевить производство авиационных деталей Пермские учёные разработали отливочные модели для производства авиационных деталей Изготовление деталей для производственных машин — это сложный проц …
Технологии, Наука 02:25, мая 21, 2024 | ferra.ru Ученые придумали, как превратить любое окно в солнечную батарею Новое покрытие наделяет окна способностью вырабатывать электричество Обычное окно скоро можно будет превратить в солнечную батарею! Все благодаря том …
Технологии, Наука 00:12, сентября 23, 2025 | hi-news.ru Российские учёные придумали, как прогнозировать износ опор мостов Учёные ПНИПУ разработали технологию прогнозирования износостойкости опор мостов Учёные Пермского политеха (ПНИПУ) разработали модель для прогнозирова …
Технологии, Наука 08:35, мая 17, 2024 | ferra.ru Будущие AirPods Pro смогут генерировать запахи? Что такого придумали ученые AirPods уже умеют создавать эффект присутствия на концерте при помощи пространственного звука, а слухи говорят, что в будущие модели Apple может встр …
Технологии, Наука 15:12, декабря 1, 2025 | appleinsider.ru