Seeing the Invisible: Recovering Surveillance Video With COTS mmWave Radar
Rattachement africain : cn, hk, sg. Niveau de preuve : code pays fourni par la source.
Le résumé fourni par la source
Video surveillance systems play a crucial role in ensuring public safety and security by capturing and monitoring critical events in various areas. However, traditional surveillance cameras face limitations when it comes to malicious physical damage or obscuring by offenders. To overcome this limitation, we proposem$^{2}$2Vision, which is the first millimeter-wave (mmWave)-based video reconstruction system designed to enhance existing video surveillance cameras.m$^{2}$2Visionutilizes mmWave to sense the profile and motion signature of the target, integrating it with previously acquired visual data about the environment and the target's appearance, thereby facilitating the reconstruction of surveillance video. Specifically, our proposed system incorporates a dual-stage mmWave signal denoising algorithm to efficiently eliminate the noise and multiple-input multiple-output virtual antenna enhanced heatmap generation (MVAE-HG) method to obtain fine-grained mmWave heatmaps responsive to the target's profile and motion information. Moreover, we design the mm2Video generative network that first employs a multi-modal fusion module to fuse the mmWave and pre-acquired visual data, then use a conditional generative adversarial network (cGAN)-based video reconstruction module for surveillance video reconstruction. We conducted comprehensive experiments onm$^{2}$2Visionusing a commercial mmWave radar and four surveillance cameras across various environments, with the participation of seven individuals. Evaluation results show thatm$^{2}$2Visioncan achieve an average structural similarity index measure (SSIM) of 0.93, demonstrating its effectiveness and potential.
Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.
Le contrôle bibliographique ouvert
DOI retrouvé dans Crossref DOI retrouvé ; titre concordant.
- Titre Crossref
- Seeing the Invisible: Recovering Surveillance Video With COTS mmWave Radar
- Date Crossref
- 01/12/2024
- Éditeur
- Institute of Electrical and Electronics Engineers (IEEE)
- Type
- journal-article
Ce recoupement confirme des métadonnées liées au DOI. Il ne confirme ni la méthode ni les conclusions de l’étude, et il ne compte pas comme une seconde source scientifique indépendante.
Où se fait cette recherche
-
Shandong University of Science and Technology pays non établi dans la noticeUniversité ou école supérieure
-
City University of Hong Kong Department of Computer Science pays non établi dans la noticeUniversité ou école supérieure
-
Xi'an Jiaotong University pays non établi dans la noticeUniversité ou école supérieure
-
Nanyang Technological University pays non établi dans la noticeUniversité ou école supérieure
-
School of Computer Science and Technology pays non établi dans la noticeUniversité ou école supérieure
-
National Key Laboratory of Science and Technology on Information System Security pays non établi dans la noticeStructure de recherche
-
School of Computer Science and Engineering pays non établi dans la noticeUniversité ou école supérieure
Shandong University of Science and Technology, Department of Computer Science — City University of Hong Kong et Xi'an Jiaotong University, avec 4 autres affiliations.
Une affiliation ne permet pas de déduire la nationalité d’un auteur.