Покращення ефективності алгоритмів навчання з підкріпленням шляхом впровадження емпіричних правил

Abstract

Навчання з підкріпленням є одним із підходів машинного навчання, у межах якого агент набуває досвіду шляхом взаємодії з певним середовищем. У цій парадигмі існує низка методів розв’язання задач навчання, зокрема динамічне програмування, що базується на рівнянні Беллмана, методи Монте-Карло, підходи на основі часових різниць та інші [1]. У даній роботі автори пропонують метод покращення ефективності алгоритмів навчання з підкріпленням шляхом впровадження емпіричних правил. Метод базується на перериванні малоперспективних обчислень згідно встановленим емпірічним правилам. Така стратегія дозволяє ефективно керувати розподілом обчислювальних ресурсів, покращити результати і зменшити час роботи алгоритмів, не змінюючи їх[2]. Евристика застосовується як додаткова логіка в обгортці середовища (gym.Wrapper), що робить її сумісною з будь-яким RL-алгоритмом, який використовує стандартний API середовища[3].