Классификация методов искусственного интеллекта, применяемых для анализа невербального поведения в психиатрии

Résumé fourni par la source

Данная обзорная статья направлена на анализ существующих подходов, которые используются для распознавания мимики, жестов и других форм невербального поведения, для последующей разработки нейронной сети, способной оценивать на основе этих данных психическое состояние человека. Цель. Построение классификации методов искусственного интеллекта, применяемых для анализа невербального поведения. Результаты. Интерес к применению информационных технологий в оценке невербального поведения в последние годы растет. Наиболее разработанными являются цифровые подходы к оценке мимики лица и поз по ключевым точкам, для чего используются специальные библиотеки, представляющие собой набор готовых функций, классов и объектов. Для обработки видео с классификацией по ключевым точкам лица и позы применяются нейронные сети, отличающиеся своими архитектурами. Для их оценки используются метрики в виде матрицы ошибок бинарной или мно- гоклассовой классификации, а также Accuracy, Precision, Recall, ROC_AUC и F1-мера. Имеются публикации по применению данных технологий для оценки невербального поведения пациентов с шизофренией, депрессивными и некоторыми другими расстройствами. Выводы. Несмотря на увеличение количества публикаций, исследований результативности использования искусственного интеллекта для оценки невербального поведения пока проводится недостаточно. Методы оценки невербального поведения существуют и поддаются классификации. Инструменты для выделения ключевых точек разработаны и могут быть использованы в диагностическом процессе. Определены наиболее популярные метрики для оценки качества работы нейронных сетей. Разработка нейронных сетей для идентификации невербального поведения является перспективным вектором применения информационных технологий в психиатрии, при этом необходимы дальнейшие исследования в данном направлении. This review article directed to analyze existing approaches that are used to recognize facial expressions, gestures and other forms of non-verbal behavior, for the subsequent development of a neural network capable of assessing a person’s mental state based on these data. Purpose. To construct a classification of artificial intelligence methods used to analyze non-verbal behavior. Results. Interest in the use of information technology in assessing non-verbal behavior has been growing in recent years. The most developed are digital approaches to assessing facial expressions and poses by key points, for which special libraries are used, which are a set of ready-made functions, classes and objects. Neural networks with different architectures are used to process video with classifications by key points on the face and pose. Metrics in the form of an error matrix of binary or multi-class classification, as well as Accuracy, Precision, Recall, ROC_AUC and F1-score are used for their assessment. There are publications on the use of these technologies to assess the non-verbal behavior of patients with schizophrenia, depressive and some other disorders. Conclusion. Despite the growth of publications, the number of studies on the effectiveness of using artificial intelligence to assess non-verbal behavior is still insufficient. Methods for assessing non-verbal behavior exist and can be classified. Tools for identifying key points have been developed and can be used in the diagnostic process. The most popular metrics for assessing the quality of neural networks have been identified. The development of neural networks for non-verbal behavior identification is a promising vector of information technology in psychiatry, while further research in this area is needed.

Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.