2023 conference-paper

Voice-Face Cross-Modal Association Learning Based on Deep Residual Shrinkage Network

Junyu Li, Lin Tan, Yuchen Zhou, Jingyi Mao, Ziqing Liu, Fanliang Bu

1Citations signalées, ce qui n’est pas une note de qualité

1Institutions déclarées

1Pays d’affiliation déclarés

Rattachement africain : cn. Niveau de preuve : code pays fourni par la source.

Le résumé fourni par la source

Establishing associations between voices and faces has grown in popularity in recent years, but current voice-face cross-modal association methods face challenges such as limited feature extraction capability and insufficient semantic associations. To address the aforementioned issues, we propose a voice-face cross-modal association learning method based on a deep residual shrinkage network. First, a deep residual shrinkage block is added to the dual-stream residual network to improve network training efficiency and acquire more discriminative embedded features. Then the multi-similarity loss function is used in metric learning to tap into the connections between voice and face modalities and enhance the network's robustness and generalization ability. In voice-face cross-modal verification, cross-modal matching, and cross-modal retrieval tasks, experimental findings indicate that our method improves accuracy by about 2% over existing baseline methods.

Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.

Le contrôle bibliographique ouvert

DOI retrouvé dans Crossref DOI retrouvé ; titre concordant.

Titre Crossref: Voice-Face Cross-Modal Association Learning Based on Deep Residual Shrinkage Network
Date Crossref: 11/08/2023
Éditeur: IEEE
Type: proceedings-article

Ce recoupement confirme des métadonnées liées au DOI. Il ne confirme ni la méthode ni les conclusions de l’étude, et il ne compte pas comme une seconde source scientifique indépendante.

Où se fait cette recherche

China People's Public Security University pays non établi dans la notice
Université ou école supérieure
s Public Security University of China People&#x0027 pays non établi dans la notice
Université ou école supérieure
First Research Institution of The Ministry of Public Security of PRC pays non établi dans la notice
Structure de recherche

China People's Public Security University, People&#x0027 — s Public Security University of China et First Research Institution of The Ministry of Public Security of PRC.

Une affiliation ne permet pas de déduire la nationalité d’un auteur.

Les sujets associés

Face recognition and analysisSpeech and Audio ProcessingGenerative Adversarial Networks and Image Synthesis

Consulter la publication primaire Ouvrir le DOI