Distributional Off-Policy Evaluation with Deep Quantile Process Regression
Rattachement africain : Mali, cn. Niveau de preuve : code pays fourni par la source.
Le résumé fourni par la source
This paper investigates the off-policy evaluation (OPE) problem from a distributional perspective. Rather than focusing solely on the expectation of the total return, as in most existing OPE methods, we aim to estimate the entire return distribution. To this end, we introduce a quantile-based approach for OPE using deep quantile process regression, presenting a novel algorithm called Deep Quantile Process regression-based Off-Policy Evaluation (DQPOPE). We provide new theoretical insights into the deep quantile process regression technique, extending existing approaches that estimate discrete quantiles to estimate a continuous quantile function. A key contribution of our work is the rigorous sample complexity analysis for distributional OPE with deep neural networks, bridging theoretical analysis with practical algorithmic implementations. We show that DQPOPE achieves statistical advantages by estimating the full return distribution using the same sample size required to estimate a single policy value using conventional methods. Empirical studies further show that DQPOPE provides significantly more precise and robust policy value estimates than standard methods, thereby enhancing the practical applicability and effectiveness of distributional reinforcement learning approaches.
Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.
Le contrôle bibliographique ouvert
Où se fait cette recherche
-
Ministry of Economy and Finance Mali (code pays fourni par la source)Organisme public
-
Jiangxi University of Finance and Economics pays non établi dans la noticeUniversité ou école supérieure
-
Shanghai University of Finance and Economics pays non établi dans la noticeUniversité ou école supérieure
-
Hubei University pays non établi dans la noticeUniversité ou école supérieure
-
School of Statistics and Data Science pays non établi dans la noticeUniversité ou école supérieure
-
School of Artificial Intelligence pays non établi dans la noticeUniversité ou école supérieure
Ministry of Economy and Finance (Mali), Jiangxi University of Finance and Economics et Shanghai University of Finance and Economics, avec 3 autres affiliations. Pays d’affiliation : Mali.
Une affiliation ne permet pas de déduire la nationalité d’un auteur.