2021 conference-paper

MM21 Pre-training for Video Understanding Challenge

Sihan Chen, Xinxin Zhu, Dongze Hao, Wei Liu, Jia-Wei Liu, Zijia Zhao, Longteng Guo, Jing Liu

6Citations signalées, ce qui n’est pas une note de qualité

4Institutions déclarées

1Pays d’affiliation déclarés

Rattachement africain : cn. Niveau de preuve : code pays fourni par la source.

Le résumé fourni par la source

The quality of video representation directly decides the performance of video related tasks, for both understanding and generation. In this paper, we propose single-modality pretrained feature fusion technique which is composed of reasonable multi-view feature extraction method and designed multi-modality feature fusion strategy. We conduct comprehensive ablation studies on MSR-VTT dataset to demonstrate the effectiveness of proposed method and it surpasses the state-of-the-art methods on both MSR-VTT and VATEX datasets. We further propose the multi-modality pretrained model finetuning technique and dataset augmentation scheme to improve the model's generalization capability. Based on these two proposed pretraining techniques and dataset augmentation scheme, we win the first place in the video captioning track of the MM21 pretraining for video understanding challenge.

Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.

Le contrôle bibliographique ouvert

DOI retrouvé dans Crossref DOI retrouvé ; titre concordant.

Titre Crossref: MM21 Pre-training for Video Understanding Challenge
Date Crossref: 17/10/2021
Éditeur: ACM
Type: proceedings-article

Ce recoupement confirme des métadonnées liées au DOI. Il ne confirme ni la méthode ni les conclusions de l’étude, et il ne compte pas comme une seconde source scientifique indépendante.

Où se fait cette recherche

Institute of Automation pays non établi dans la notice
Structure de recherche
University of Chinese Academy of Sciences Institute of Automation pays non établi dans la notice
Université ou école supérieure
Chinese Academy of Sciences pays non établi dans la notice
Organisme public
Shandong Institute of Automation pays non établi dans la notice
Structure de recherche

Institute of Automation, Institute of Automation — University of Chinese Academy of Sciences et Chinese Academy of Sciences, avec 1 autre affiliation.

Une affiliation ne permet pas de déduire la nationalité d’un auteur.

Les sujets associés

Multimodal Machine Learning ApplicationsHuman Pose and Action RecognitionAdvanced Image and Video Retrieval Techniques

Consulter la publication primaire Ouvrir le DOI