Фото: pixabay.com.«Мы показали, что классические алгоритмы обучения с подкреплением работают сравнимо и даже эффективнее известных современных подходов, разработанных специально для обучения этих моделей. Так, в рамках задачи моделирования молекул лекарств с заданными свойствами за время обучения нашего метода было сгенерировано на 30 процентов больше высококачественных молекул, чем у существующих методов», — пояснил научный руководитель Центра искусственного интеллекта НИУ ВШЭ Алексей Наумов.
Как объясняют ученые, так называемые генеративные потоковые сети представляют собой особый класс методов машинного обучения, который используется при обучении языковых моделей, решении задач комбинаторной оптимизации, при моделировании молекул лекарств с заданными свойствами и для решения других сложных задач.
«Устройство этих моделей можно описать на примере конструктора лего. По недостроенному объекту и набору доступных деталей система будет пытаться предсказать, куда и с какой вероятностью нужно добавить деталь, чтобы мы могли с большой вероятностью собрать хороший макет машины или корабля», — сказал научный сотрудник Института искусственного интеллекта и цифровых наук НИУ ВШЭ Никита Морозов.
Такая постановка задачи, как обратили внимание российские ученые, очень похожа на то, как функционируют различные нейросети, использующие классические алгоритмы обучения с подкреплением. Это натолкнуло их на мысль, что такие подходы можно интегрировать в GFlowNets без внесения существенных серьезных модификаций и изменений для повышения эффективности обучения и работы этих алгоритмов.
Руководствуясь этой идеей, ученые внедрили один из подобных подходов, M-DQN, в систему ИИ, предназначенную для подбора структуры молекул, способных соединяться с человеческим белком sEH, который связан с развитием гипертонии. Последующие расчеты показали, что новая версия системы ИИ в некоторых случаях значительно эффективнее справлялась с этой задачей по сравнению с другими генеративными потоковыми сетями, построенными на базе специализированных подходов для обучения. Это говорит о высокой перспективности применения подобных вариаций GFlowNets на практике, заключили исследователи.
