Российские ученые создали самый эффективный алгоритм для обучения и адаптации ИИ

Ученые из лаборатории исследований искусственного интеллекта (ИИ) Tinkoff Research создали самый эффективный среди мировых аналогов алгоритм для обучения и адаптации искусственного интеллекта.

Новый метод, названный ReBRAC (Revisited Behavior Regularized Actor Critic — пересмотренный актор-критик с контролируемым поведением), обучает ИИ в четыре раза быстрее и на 40% качественнее мировых аналогов в области обучения с подкреплением (Reinforcement Learning, RL), адаптируя его к новым условиям на ходу.

Разработка российских ученых в области повышения эффективности алгоритмов обучения ИИ может способствовать преодолению технологического и цифрового разрыва в мире между разными странами — более эффективные алгоритмы требуют меньше вычислительных ресурсов. Страны с ограниченными вычислительными мощностями смогут создавать и развивать передовые технологии, адаптировать ИИ под конкретные прикладные задачи, существенно экономя на дорогостоящих экспериментах с ИИ.

Результаты исследования были признаны мировым научным сообществом и представлены на главной научной конференции в области ИИ в мире — международной конференции по машинному обучению и нейровычислениям NeurIPS (The Conference and Workshop on Neural Information Processing Systems).


 © www.tinkoff.ru

Визуализация качества альтернативных подходов и алгоритма ReBRAC. По горизонтальной оси — качество алгоритма относительно «эксперта» (служит эталоном для обучения ИИ-агентов), где 100 — это уровень эксперта. По вертикальной оси — процент испытаний, в которых удалось превзойти выбранную отсечку качества. Чем выше линия, тем лучше. Метод, предложенный Tinkoff Research, стал первым превзошедшим эксперта более чем в половине испытаний

Суть открытия

Ученые из Tinkoff Research идентифицировали четыре компонента, которые были представлены в алгоритмах последних лет, но считались второстепенными и не подвергались детальному анализу:

  • Глубина нейронных сетей. Увеличение глубины сети помогает ей лучше понимать сложные закономерности в данных
  • Регуляризация актора и критика. В ИИ-агентах есть два компонента: «актор», который предпринимает действия, и «критик», который оценивает эти действия. Ученые использовали совместную регуляризацию обоих компонентов, чтобы актор избегал нежелательных действий, а критик более эффективно оценивал их. Ранее не было понятно, как сочетать оба подхода с наибольшей эффективностью
  • Увеличение эффективного горизонта планирования — позволяет модели балансировать между краткосрочными и долгосрочными аспектами задачи и улучшает ее способность принимать решения
  • Использование нормализации слоев (LayerNorm) — стабилизирует процесс обучения нейронных сетей

Ученые из Tinkoff Research интегрировали эти компоненты в алгоритм-предшественникBRAC (Behavior Regularized Actor Critic —актор-критикс контролируемым поведением) 2019 года и провели исследование, поочередно варьируя каждый из них. Оказалось, что правильная совокупность этих компонентов дает даже этому старому подходу самую высокую производительность среди лучших аналогов на сегодняшний день. Модифицированный алгоритм получил название ReBRAC.

Тестирование на робототехнических симуляторах показало, что алгоритм обучает ИИ в четыре раза быстрее и на 40% качественнее всех существующих в офлайн-бенчмарках. Ранее лидерство принадлежало алгоритмуSAC-RND, также созданному учеными из Tinkoff Research.


 © www.tinkoff.ru

Визуализация вариантов тестирования алгоритма: поиск цели в лабиринте (Ant), скорость бега (Halfcheetah, Hopper, Walker2d), задачи для робокистей — правильно держать ручку (Pen), открыть дверь, забить гвоздь, переместить объект

ReBRAC также эффективнее всего решает проблему дообучения искусственного интеллекта, который обычно медленно адаптируется к новым условиям. Например, робот, который был изначально обучен передвигаться по траве, упадет, если переместится на лед. ReBRAC же позволяет ИИ лучше учиться на ходу и адаптироваться.

Признание открытия мировым научным сообществом

В 2023 году рецензенты международной конференции по машинному обучению и нейровычислениям NeurIPS (The Conference and Workshop on Neural Information Processing Systems), на которой было представлено открытие ученых из Tinkoff Research, получили на рассмотрение свыше 13 тысяч статей от ученых со всего мира, из которых 3,5 тысячи были отобраны для представления на конференции. Селективность — всего 26%. Среди них сразу четыре научные статьи Tinkoff Research. Помимо алгоритма ReBRAC ученые представили две открытые библиотеки в области офлайн-обучения с подкреплением (Offline RL, ORL), благодаря которым специалистам по ИИ больше не требуется самостоятельно воспроизводить результаты наиболее весомых научных работ. Статьи уже цитируются ведущими исследовательскими лабораториями со всего мира — в их числе Стэнфордский университет, Калифорнийский университет в Беркли и научно-исследовательская лаборатория Google DeepMind.

Межтекстовые Отзывы
Посмотреть все комментарии
guest

В Нью-Йорке могут запретить дипфейки сексуального характера

Законопроект об уголовной ответственности за распространение отредактированных изображений такого типа внесен в конгресс штата Фото: Elnur/Фотобанк Лори Дипфейк...

Регионам открыли бесплатный доступ к медицинским ИИ-сервисам Москвы

Искусственный интеллект проанализирует любое исследование всего за 15 минут и графически промаркирует выявленные патологии. Точность ИИ на данный момент — 95%. Теперь врачи...

Российский аналог поездов «Ласточка» почти вышел на стадию производства

Модель ЭС104 прошла проверку межведомственной комиссии. Это та же «Ласточка», только усовершенствованная и почти полностью созданная из российских...

Сбербанк перевел 40 тысяч серверов на отечественную ОС

43 тысячи серверов Сбербанка полностью перешли на собственную серверную операционную систему Platform V SberLinux, сообщила компания в своем годом отчёте. Отечественное...

«Газпром нефть»: облачные технологии в партнерстве с VK

«Газпром нефть» совместно с VK Cloud запустила облачную платформу для разработки новых ИТ-решений.  © www.gazprom-neft.ru В цифровом облаке развернута виртуальная инфраструктура...

Разработан первый российский программируемый чип для квантовых вычислений

 © tehnoomsk.ru Российские ученые разработали восьмиканальный интерферометр — программируемый многоплечевой интерферометр (чип) для квантовых вычислений. Для его воплощения в «железе»...

Почему электронные медкарты дают сбои?

Внедрить электронную систему доступа к медицинским данным по всей России планируют уже в 2024 году. Но пациенты сообщают,...

Индийский луноход впал в спячку, и его не могут разбудить

Сам луноход и посадочный модуль были переведены в спящий режим в начале сентября, отработав запланированный лунный день —...

«Сбер» будет осваивать микроэлектронику

Банк консультируется с предприятиями по выпуску полупроводников и со специалистами из корпорации Intel. По словам источников СМИ, речь...

АСКОН показал нативный KOMПАС-3D для Linux

Специалисты АСКОН работают над нативной версией KOMПАС-3D для отечественных операционных систем с 2019 года и в ходе прошедшего форума «Белые ночи...

Котел БКЗ-320-140/ГМ Уфимской ТЭЦ-2 оснащен полномасштабной АСУ ТП

Произведено расширение до полномасштабной автоматизированной системы управления технологическим процессом парового котла БКЗ-320-140/ГМ ст. № 6 Уфимской ТЭЦ-2 существующей системы автоматического...

Широкополосную антенну для FM-радио и посадки самолетов импортозаместили в ЮУрГУ

 © наука.рф Ученые Южно-Уральского государственного университета запатентовали широкополосную вибраторную антенну с большим диапазоном рабочих частот. Это позволяет подключить к одному излучателю...

В пригороде Парижа построят многоэтажные дома из дерева

Домов запланировано всего два, но они будут жилыми, высотой 39 и 45 метров, это 13-15 этажей. Как говорят...

На ЭларСкан оцифровывают уникальные книги 16-18 веков

В Курский областной краеведческий музей поставлен отечественный комплекс планетарного сканирования ЭларСкан А1-600КС, с помощью которого планируется оцифровать десятки тысяч документов,...

На иностранное IT-оборудование наложат утильсбор

Эта идея обсуждалась с прошлого года, но поначалу хотели учитывать только продукцию, содержащую золото и редкоземельные металлы. В...

На пути к технологическому суверенитету в промышленности: продемонстрирована Linux-версия T-FLEX CAD

T-FLEX PLM © tflex.ru Полная технологическая независимость российских производственных предприятий зависит от наличия множества различных ИТ-средств: аппаратного обеспечения, операционных систем с возможностями...

Госдума хочет продлить авторизацию на российских ресурсах через иностранные сервисы

Поправки дополняют закон «Об информации, информационных технологиях и о защите информации». В случае их принятия российские цифровые платформы...

Телеграм-каналы могут публиковать сторис, но только после получения бустов от подписчиков

Это вызвало неоднозначные эмоции у пользователей. Для того, чтобы запостить историю, телеграм-каналам нужно получить голоса – так называемые...

Госкомиссия по радиочастотам может разрешить использовать антидрон-решения

Пользоваться этим, помимо госкомпаний, смогут и частные структуры, и даже сами граждане. Какие есть риски? Фото: Максим Киселев/ТАСС...

Российские ученые создали самый эффективный алгоритм для обучения и адаптации ИИ

Ученые из лаборатории исследований искусственного интеллекта (ИИ) Tinkoff Research создали самый эффективный среди мировых аналогов алгоритм для обучения и адаптации...