A comparison between humans and AI at recognizing objects in unusual poses
Rattachement africain : fi, Afrique du Sud. Niveau de preuve : code pays fourni par la source.
Le résumé fourni par la source
Deep learning is closing the gap with human vision on several object recognition benchmarks. Here we investigate this gap for challenging images where objects are seen in unusual poses. We find that humans excel at recognizing objects in such poses. In contrast, state-of-the-art deep networks for vision (EfficientNet, SWAG, ViT, SWIN, BEiT, ConvNext) and state-of-the-art large vision-language models (Claude 3.5, Gemini 1.5, GPT-4) are systematically brittle on unusual poses, with the exception of Gemini showing excellent robustness in that condition. As we limit image exposure time, human performance degrades to the level of deep networks, suggesting that additional mental processes (requiring additional time) are necessary to identify objects in unusual poses. An analysis of error patterns of humans vs. networks reveals that even time-limited humans are dissimilar to feed-forward deep networks. In conclusion, our comparison reveals that humans and deep networks rely on different mechanisms for recognizing objects in unusual poses. Understanding the nature of the mental processes taking place during extra viewing time may be key to reproduce the robustness of human vision in silico.
Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.
Le contrôle bibliographique ouvert
DOI retrouvé dans Crossref DOI retrouvé ; titre concordant.
- Titre Crossref
- A comparison between humans and AI at recognizing objects in unusual poses
- Date Crossref
- 06/02/2024
- Éditeur
- Center for Open Science
- Type
- posted-content
Ce recoupement confirme des métadonnées liées au DOI. Il ne confirme ni la méthode ni les conclusions de l’étude, et il ne compte pas comme une seconde source scientifique indépendante.
Où se fait cette recherche
-
Aalto University pays non établi dans la noticeUniversité ou école supérieure
-
African Institute for Mathematical Sciences Mbour-Thies, Afrique du Sud (code pays fourni par la source)Université ou école supérieure
-
University of Helsinki Department of Psychology and Logopedics pays non établi dans la noticeUniversité ou école supérieure
-
The African Institute for Math-ematical Sciences Mbour-Thies, Sénégal (pays nommé en fin d’affiliation)Structure de recherche
Aalto University, African Institute for Mathematical Sciences (Mbour-Thies, Afrique du Sud) et Department of Psychology and Logopedics — University of Helsinki, avec 1 autre affiliation. Pays d’affiliation : Afrique du Sud, Sénégal.
Une affiliation ne permet pas de déduire la nationalité d’un auteur.