Infrared and Visible Image Fusion Using Bimodal Neuron and Dynamic Receptive Field Mechanisms
Rattachement africain : cn. Niveau de preuve : code pays fourni par la source.
Le résumé fourni par la source
Infrared and visible image fusion (IVIF) significantly enhances scene interpretation by integrating broad-spectrum information. Drawing inspiration from specific snakes that possess an evolutionarily optimized bimodal sensory system capable of parallel processing infrared and visible radiation, we propose a novel IVIF framework incorporating two key elements: nonlinear cross-modal interactions across six distinct classes of snake bimodal neurons and dynamic center-surround receptive field organization. These biological principles are mathematically formalized and integrated within a deep neural network (DNN), optimized through an object detection region-guided loss and a frequency-dependent fusion loss that enable data-driven fusion strategy learning. Experimental results demonstrate that the optimized model effectively emulates the infrared-visible information integration observed in snake bimodal neurons. Critically, the nonlinear bimodal neurons capture a significantly greater amount of edge information and finer mid-to-high-frequency details, which are essential for the subsequent reconstruction of the fused image. Furthermore, a comprehensive evaluation of visual quality, encompassing both qualitative and quantitative assessments on six datasets, along with extensive object detection and semantic segmentation experiments using the fused images in both daytime and nighttime scenarios, demonstrates that our model outperforms traditional biologically-inspired IVIF algorithms, achieving performance comparable to SOTA DNN-based methods. The code and weights are available at https://github.com/rwerwer2024/SBNF.
Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.
Le contrôle bibliographique ouvert
DOI retrouvé dans Crossref DOI retrouvé ; titre concordant.
- Titre Crossref
- Infrared and Visible Image Fusion Using Bimodal Neuron and Dynamic Receptive Field Mechanisms
- Date Crossref
- 01/01/2026
- Éditeur
- Institute of Electrical and Electronics Engineers (IEEE)
- Type
- journal-article
Ce recoupement confirme des métadonnées liées au DOI. Il ne confirme ni la méthode ni les conclusions de l’étude, et il ne compte pas comme une seconde source scientifique indépendante.
Où se fait cette recherche
-
Sichuan University pays non établi dans la noticeUniversité ou école supérieure
-
Chengdu University pays non établi dans la noticeUniversité ou école supérieure
-
Southwest Minzu University pays non établi dans la noticeUniversité ou école supérieure
-
University of Electronic Science and Technology of China pays non établi dans la noticeUniversité ou école supérieure
-
College of Computer Science pays non établi dans la noticeUniversité ou école supérieure
-
MOE Key Laboratory for Neuroinformation and the School of Life Science and Technology pays non établi dans la noticeUniversité ou école supérieure
Sichuan University, Chengdu University et Southwest Minzu University, avec 3 autres affiliations.
Une affiliation ne permet pas de déduire la nationalité d’un auteur.