Causal-Inspired Multitask Learning for Video-Based Human Pose Estimation
Rattachement africain : cn, sg. Niveau de preuve : code pays fourni par la source.
Le résumé fourni par la source
Video-based human pose estimation has long been a fundamental yet challenging problem in computer vision. Previous studies focus on spatio-temporal modeling through the enhancement of architecture design and optimization strategies. However, they overlook the causal relationships in the joints, leading to models that may be overly tailored and thus estimate poorly to challenging scenes. Therefore, adequate causal reasoning capability, coupled with good interpretability of model, are both indispensable and prerequisite for achieving reliable results. In this paper, we pioneer a causal perspective on pose estimation and introduce a causal-inspired multitask learning framework, consisting of two stages. In the first stage, we try to endow the model with causal spatio-temporal modeling ability by introducing two self-supervision auxiliary tasks. Specifically, these auxiliary tasks enable the network to infer challenging keypoints based on observed keypoint information, thereby imbuing causal reasoning capabilities into the model and making it robust to challenging scenes. In the second stage, we argue that not all feature tokens contribute equally to pose estimation. Prioritizing causal (keypoint-relevant) tokens is crucial to achieve reliable results, which could improve the interpretability of the model. To this end, we propose a Token Causal Importance Selection module to identify the causal tokens and non-causal tokens (e.g., background and objects). Additionally, non-causal tokens could provide potentially beneficial cues but may be redundant. We further introduce a non-causal tokens clustering module to merge the similar non-causal tokens. Extensive experiments show that our method outperforms state-of-the-art methods on three large-scale benchmark datasets.
Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.
Le contrôle bibliographique ouvert
DOI retrouvé dans Crossref DOI retrouvé ; titre concordant.
- Titre Crossref
- Causal-Inspired Multitask Learning for Video-Based Human Pose Estimation
- Date Crossref
- 11/04/2025
- Éditeur
- Association for the Advancement of Artificial Intelligence (AAAI)
- Type
- journal-article
Ce recoupement confirme des métadonnées liées au DOI. Il ne confirme ni la méthode ni les conclusions de l’étude, et il ne compte pas comme une seconde source scientifique indépendante.
Où se fait cette recherche
-
Jilin University pays non établi dans la noticeUniversité ou école supérieure
-
Zhejiang Gongshang University pays non établi dans la noticeUniversité ou école supérieure
-
Agency for Science pays non établi dans la noticeOrganisme public
-
Institute for Infocomm Research pays non établi dans la noticeStructure de recherche
-
Jilin Province Science and Technology Department pays non établi dans la noticeOrganisme public
-
Zhejiang Sci-Tech University pays non établi dans la noticeUniversité ou école supérieure
-
College of Computer Science and Technology pays non établi dans la noticeUniversité ou école supérieure
-
Zhejiang University The State Key Laboratory of Blockchain and Data Security pays non établi dans la noticeUniversité ou école supérieure
Jilin University, Zhejiang Gongshang University et Agency for Science, avec 5 autres affiliations.
Une affiliation ne permet pas de déduire la nationalité d’un auteur.