Mitigating Spectral Imbalance and Detail Attenuation in RGB-Thermal Object Detection via Frequency-Guided Multimodal Fusion
Rattachement africain : cn, gb. Niveau de preuve : code pays fourni par la source.
Le résumé fourni par la source
RGB-T object detection combines visible texture information with thermal saliency cues to improve detection under degraded illumination. Existing RGB-T fusion methods usually perform feature interaction in the spatial domain or treat spectral responses jointly, which may allow coarse background components to dominate the fusion process while weakening boundary and small-target details. In addition, the repeated upsampling and aggregation operations in the detection neck can further smooth high-frequency responses preserved during early fusion. This paper proposes F2Net, a frequency-guided RGB-T object detection framework built on a dual-stream YOLOv11s architecture. The method decomposes RGB and thermal features into low- and high-frequency components for separate cross-modal fusion, mitigates detail attenuation during neck decoding, and regularizes spatial correspondence between RGB and thermal representations during training. On M3FD, F2Net achieves 89.6% mAP@0.5 and 62.1% mAP@0.5:0.95, improving the Dual-YOLOv11s baseline by 7.7 and 6.6 percentage points, respectively, while increasing the parameter count from 13.8M to 15.4M and GFLOPs from 33.9G to 35.6G. Additional experiments on LLVIP and KAIST evaluate the method under low-light and road-scene conditions. The KAIST results show that high-IoU localization remains challenging in dense and occluded pedestrian scenes. This indicates that frequency-guided fusion mainly strengthens target response generation and moderate-IoU detection, but it does not fully solve precise boundary regression under severe occlusion and weak contour conditions.
Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.
Le contrôle bibliographique ouvert
DOI retrouvé dans Crossref DOI retrouvé ; titre concordant.
- Titre Crossref
- Mitigating Spectral Imbalance and Detail Attenuation in RGB-Thermal Object Detection via Frequency-Guided Multimodal Fusion
- Date Crossref
- 01/07/2026
- Éditeur
- MDPI AG
- Type
- journal-article
Ce recoupement confirme des métadonnées liées au DOI. Il ne confirme ni la méthode ni les conclusions de l’étude, et il ne compte pas comme une seconde source scientifique indépendante.
Où se fait cette recherche
-
Yangtze University Artificial Intelligence Research Platform pays non établi dans la noticeUniversité ou école supérieure
-
Wuxi University pays non établi dans la noticeUniversité ou école supérieure
-
Hubei University of Arts and Science pays non établi dans la noticeUniversité ou école supérieure
-
University of Liverpool pays non établi dans la noticeUniversité ou école supérieure
-
School of Computer Science pays non établi dans la noticeUniversité ou école supérieure
-
School of Cyber Science and Engineering pays non établi dans la noticeUniversité ou école supérieure
-
Wuxi Key Laboratory of Artificial Intelligence and Security pays non établi dans la noticeStructure de recherche
-
School of Physics & Electronic Engineering pays non établi dans la noticeUniversité ou école supérieure
Artificial Intelligence Research Platform — Yangtze University, Wuxi University et Hubei University of Arts and Science, avec 5 autres affiliations.
Une affiliation ne permet pas de déduire la nationalité d’un auteur.