Accès ouvert déclaré 2025 conference-paper

Perception Encoder: The best visual embeddings are not at the output of the network

Daniel Bolya, Po-Yao Huang, Peize Sun, Jang Hyun Cho, Andrea Madotto, Chen Wei, Tengyu Ma, Jiale Zhi, Jathushan Rajasegaran, Hanoona Rasheed, Junke Wang, Marco Aurélio Alvarenga Monteiro, Xu Hu, Shiyu Dong, Nikhila Ravi, Daniel Li, Piotr Dollár, Christoph Feichtenhofer

0Citations signalées, ce qui n’est pas une note de qualité

4Institutions déclarées

4Pays d’affiliation déclarés

Rattachement africain : ae, cn, il, de. Niveau de preuve : code pays fourni par la source.

Le résumé fourni par la source

We introduce Perception Encoder (PE), a state-of-the-art vision encoder for image and video understanding trained via simple vision-language learning. Traditionally, vision encoders have relied on a variety of pretraining objectives, each tailored to specific downstream tasks such as classification, captioning, or localization. Surprisingly, after scaling our carefully tuned image pretraining recipe and refining with our robust video data engine, we find that contrastive vision-language training alone can produce strong, general embeddings for all of these downstream tasks. There is only one caveat: these embeddings are hidden within the intermediate layers of the network. To draw them out, we introduce two alignment methods: language alignment for multimodal language modeling, and spatial alignment for dense prediction. Together, our PE family of models achieves best-in-class results on a wide variety of tasks, including (1) zero-shot image and video classification and retrieval, simultaneously obtaining 86.6 average zero-shot ImageNet robustness and 76.9 zero-shot Kinetics-400 video classification; (2) document, image, and video Q&A, enabling 94.6 DocVQA, 80.9 InfographicVQA, and 82.7 PerceptionTest with an 8B LLM; and (3) spatial tasks such as detection, tracking, and depth estimation, setting a new COCO state-of-the-art of 66.0 box mAP. To foster further research, we release our models, code, and novel dataset of synthetically and human-annotated videos: https://github.com/facebookresearch/perception_models

Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.

Le contrôle bibliographique ouvert

DOI retrouvé dans Crossref DOI retrouvé ; titre concordant.

Titre Crossref: Perception Encoder: The best visual embeddings are not at the output of the network
Date Crossref: 01/01/2025
Éditeur: Neural Information Processing Systems Foundation, Inc. (NeurIPS)
Type: proceedings-article

Ce recoupement confirme des métadonnées liées au DOI. Il ne confirme ni la méthode ni les conclusions de l’étude, et il ne compte pas comme une seconde source scientifique indépendante.

Où se fait cette recherche

Mohamed bin Zayed University of Artificial Intelligence pays non établi dans la notice
Université ou école supérieure
Fudan University pays non établi dans la notice
Université ou école supérieure
Meta (Israel) pays non établi dans la notice
Entreprise
Facility for Antiproton and Ion Research pays non établi dans la notice
Structure de recherche
Meta Superintelligence Labs (MSL) pays non établi dans la notice
Institution
Li Auto Inc pays non établi dans la notice
Entreprise
xAI pays non établi dans la notice
Institution
Facebook pays non établi dans la notice
Institution
FAIR pays non établi dans la notice
Institution

Mohamed bin Zayed University of Artificial Intelligence, Fudan University et Meta (Israel), avec 6 autres affiliations.

Une affiliation ne permet pas de déduire la nationalité d’un auteur.

Les sujets associés

Multimodal Machine Learning ApplicationsGenerative Adversarial Networks and Image SynthesisHuman Pose and Action Recognition

Consulter la publication primaire Ouvrir le DOI