Российские ученые создали самый эффективный алгоритм для обучения и адаптации ИИ

Ученые из лаборатории исследований искусственного интеллекта (ИИ) Tinkoff Research создали самый эффективный среди мировых аналогов алгоритм для обучения и адаптации искусственного интеллекта.

Новый метод, названный ReBRAC (Revisited Behavior Regularized Actor Critic — пересмотренный актор-критик с контролируемым поведением), обучает ИИ в четыре раза быстрее и на 40% качественнее мировых аналогов в области обучения с подкреплением (Reinforcement Learning, RL), адаптируя его к новым условиям на ходу.

Разработка российских ученых в области повышения эффективности алгоритмов обучения ИИ может способствовать преодолению технологического и цифрового разрыва в мире между разными странами — более эффективные алгоритмы требуют меньше вычислительных ресурсов. Страны с ограниченными вычислительными мощностями смогут создавать и развивать передовые технологии, адаптировать ИИ под конкретные прикладные задачи, существенно экономя на дорогостоящих экспериментах с ИИ.

Результаты исследования были признаны мировым научным сообществом и представлены на главной научной конференции в области ИИ в мире — международной конференции по машинному обучению и нейровычислениям NeurIPS (The Conference and Workshop on Neural Information Processing Systems).


 © www.tinkoff.ru

Визуализация качества альтернативных подходов и алгоритма ReBRAC. По горизонтальной оси — качество алгоритма относительно «эксперта» (служит эталоном для обучения ИИ-агентов), где 100 — это уровень эксперта. По вертикальной оси — процент испытаний, в которых удалось превзойти выбранную отсечку качества. Чем выше линия, тем лучше. Метод, предложенный Tinkoff Research, стал первым превзошедшим эксперта более чем в половине испытаний

Суть открытия

Ученые из Tinkoff Research идентифицировали четыре компонента, которые были представлены в алгоритмах последних лет, но считались второстепенными и не подвергались детальному анализу:

  • Глубина нейронных сетей. Увеличение глубины сети помогает ей лучше понимать сложные закономерности в данных
  • Регуляризация актора и критика. В ИИ-агентах есть два компонента: «актор», который предпринимает действия, и «критик», который оценивает эти действия. Ученые использовали совместную регуляризацию обоих компонентов, чтобы актор избегал нежелательных действий, а критик более эффективно оценивал их. Ранее не было понятно, как сочетать оба подхода с наибольшей эффективностью
  • Увеличение эффективного горизонта планирования — позволяет модели балансировать между краткосрочными и долгосрочными аспектами задачи и улучшает ее способность принимать решения
  • Использование нормализации слоев (LayerNorm) — стабилизирует процесс обучения нейронных сетей

Ученые из Tinkoff Research интегрировали эти компоненты в алгоритм-предшественникBRAC (Behavior Regularized Actor Critic —актор-критикс контролируемым поведением) 2019 года и провели исследование, поочередно варьируя каждый из них. Оказалось, что правильная совокупность этих компонентов дает даже этому старому подходу самую высокую производительность среди лучших аналогов на сегодняшний день. Модифицированный алгоритм получил название ReBRAC.

Тестирование на робототехнических симуляторах показало, что алгоритм обучает ИИ в четыре раза быстрее и на 40% качественнее всех существующих в офлайн-бенчмарках. Ранее лидерство принадлежало алгоритмуSAC-RND, также созданному учеными из Tinkoff Research.


 © www.tinkoff.ru

Визуализация вариантов тестирования алгоритма: поиск цели в лабиринте (Ant), скорость бега (Halfcheetah, Hopper, Walker2d), задачи для робокистей — правильно держать ручку (Pen), открыть дверь, забить гвоздь, переместить объект

ReBRAC также эффективнее всего решает проблему дообучения искусственного интеллекта, который обычно медленно адаптируется к новым условиям. Например, робот, который был изначально обучен передвигаться по траве, упадет, если переместится на лед. ReBRAC же позволяет ИИ лучше учиться на ходу и адаптироваться.

Признание открытия мировым научным сообществом

В 2023 году рецензенты международной конференции по машинному обучению и нейровычислениям NeurIPS (The Conference and Workshop on Neural Information Processing Systems), на которой было представлено открытие ученых из Tinkoff Research, получили на рассмотрение свыше 13 тысяч статей от ученых со всего мира, из которых 3,5 тысячи были отобраны для представления на конференции. Селективность — всего 26%. Среди них сразу четыре научные статьи Tinkoff Research. Помимо алгоритма ReBRAC ученые представили две открытые библиотеки в области офлайн-обучения с подкреплением (Offline RL, ORL), благодаря которым специалистам по ИИ больше не требуется самостоятельно воспроизводить результаты наиболее весомых научных работ. Статьи уже цитируются ведущими исследовательскими лабораториями со всего мира — в их числе Стэнфордский университет, Калифорнийский университет в Беркли и научно-исследовательская лаборатория Google DeepMind.

Межтекстовые Отзывы
Посмотреть все комментарии
guest

Вышла 11-я платформа от «Базальт СПО», это новый уровень разработки свободного ПО

«Базальт СПО», российский разработчик свободного программного обеспечения,выпустила 11-юпрограммнуюплатформу(p11), получившую название Salvia(Шалфей). Это новая стабильная ветка хранилища программных пакетов...

«Ситроникс» разработал ПО для системы управления движением судов в Сочи

 © paluba.media «Росморпорт» завершил работы по оснащению Системы управления движением судов Сочи отечественным программным обеспечением. По результатам внеочередного освидетельствования СУДС Сочи...

Сэм Альтман не стал отрицать существование Q*

СМИ писали, что опасения по поводу опасного «прорыва» в развитии ИИ-проекта стали одной из причин увольнения сооснователя компании...

Опытный Ил-96-400М совершил первый полет

Дальнемагистральный самолет изготовлен на ПАО «Ил» из российских комплектующих. Это модернизированная версия советского Ил-96-300. Максимальная дальность полета превышает...

АСКОН показал нативный KOMПАС-3D для Linux

Специалисты АСКОН работают над нативной версией KOMПАС-3D для отечественных операционных систем с 2019 года и в ходе прошедшего форума «Белые ночи...

«Декларация Блетчли»: подписана почти всемирная декларация о «катастрофических» рисках ИИ

Документ, клеймящий опасности искусственного интеллекта, согласовали Китай, США, Евросоюз и десятки других крупных экономик. Откуда такой консенсус? Фото:...

В России нашли способ повысить эффективность работы нейросетей на 40%

 © smartengines.ru Ученые российской ИИ-компании Smart Engines нашли способ повысить эффективность работы нейросетей. В основе метода лежит принципиально новая схема...

«Газпромбанк» внедряет систему платежей на процессорах «Эльбрус»

 © tehnoomsk.ru Как сообщил директор по развитию компании «МЦСТ» Константин Трушкин, в Газпромбанке недавно были установлены новые российские серверы для развертывания...

Анна Мещерякова, «Третье мнение»: «Сегодня искусственный интеллект в медицине является своего рода магнитом»

С 2019 года «Третье мнение» живет, развивается и сделало большой шаг вперед, в основном благодаря пандемии. Как компании,...

В России появилась первая мультипроцессная аналитика

Новая опция, позволяющая более глубоко и детально анализировать бизнес-процессы, появилась в системе активной бизнес-аналитики Proceset от вендора «Инфомаксимум». “Мультипроцессная аналитика — это...

Действительно ли iPhone 15 — это самый хрупкий айфон?

Видеоролик, в котором новый девайс от Apple ломается от того, что его просто гнут пальцами, набрал в YouTube...

В Оренбурге начал работу новый центр управления процессами добычи «Газпром нефти»

«Газпром нефть» запустила Центр управления производством, который круглосуточно сопровождает процессы бурения и добычи в Оренбургской области.  © www.gazprom-neft.ru Он стал частью системы...

Правительство выделит меньше денег на строительство ледоколов

Таким образом, «Лидер» может подорожать на 70 млрд рублей, почти до 200 млрд, а сроки его запуска могут...

Российские ученые создали самый эффективный алгоритм для обучения и адаптации ИИ

Ученые из лаборатории исследований искусственного интеллекта (ИИ) Tinkoff Research создали самый эффективный среди мировых аналогов алгоритм для обучения и адаптации...

Число спам-звонков в РФ стремительно растет

По данным «Мегафона», их стало больше на треть менее чем за год. При этом речь в статистике только...

Регионам открыли бесплатный доступ к медицинским ИИ-сервисам Москвы

Искусственный интеллект проанализирует любое исследование всего за 15 минут и графически промаркирует выявленные патологии. Точность ИИ на данный момент — 95%. Теперь врачи...

Госкомиссия по радиочастотам может разрешить использовать антидрон-решения

Пользоваться этим, помимо госкомпаний, смогут и частные структуры, и даже сами граждане. Какие есть риски? Фото: Максим Киселев/ТАСС...

Ростех представил систему противодействия кибератакам

 © mashnews.ru Система RT Protect EDR обеспечивает защиту от кибератак, направленных против организаций. В своей работе система анализирует поведения объектов в почтовом и интернет-трафике,...

Автоматизация промышленности. Как искусственный интеллект помогает предприятиям в Москве

Искусственный интеллект (ИИ) помогает существенно упростить рабочие процессы и сократить затраты на производстве. Например, столичная компания, выпускающая кабельную продукцию, внедрила...

«Симпсоны» похоронили NFT

Сериал, который постфактум не раз объявляли пророческим, объявил о конце «NFT-безумия». C начала прошлого года объем сделок с...