Методи виявлення синтетичного мовлення в задачах голосової аутентифікації та безпеки: кваліфікаційна робота на здобуття освітнього ступеня «бакалавр» за спеціальністю 126 «Інформаційні системи та технології

Abstract

Об’єкт дослідження — процес ідентифікації та автентифікації голосових даних у сучасних системах зв’язку. Предмет дослідження — математичні методи та нейромережеві архітектури для автоматизованого виявлення акустичних дипфейків. Мета роботи полягає у розробці та тестуванні програмного модуля на базі великої мовної моделі для розпізнавання штучно згенерованого голосу. У роботі проаналізовано загрози, які становлять технології клонування голосу для систем IP-телефонії та контакт-центрів. Обґрунтовано використання архітектури акустичного трансформера Wav2Vec2 як найбільш ефективного засобу детекції артефактів синтезу. У ході практичної реалізації було розроблено класифікатор, натренований на базі набору даних ASVspoof 2019. Результати: Експериментальні дослідження показали загальну точність моделі на рівні 76%, при цьому показник повноти (recall) виявлення синтетичного мовлення склав 92%. Це підтверджує високу ефективність алгоритму в задачах захисту від голосового шахрайства. Розроблений модуль може бути інтегрований у платформи аналізу дзвінків (наприклад, JotLink) для автоматичного моніторингу безпеки розмов. The object of the research is the process of identification and authentication of voice data in modern communication systems. The subject of the research is mathematical methods and neural network architectures for automated detection of acoustic deepfakes. The purpose of the work is to develop and test a software module based on a large language model for recognizing artificially generated speech. The paper analyzes the threats posed by voice cloning technologies to IP telephony systems and contact centers. The use of the Wav2Vec2 acoustic transformer architecture as the most effective means of detecting speech synthesis artifacts is substantiated. During the practical implementation, a classifier trained on the ASVspoof 2019 dataset was developed. Results: Experimental studies demonstrated an overall model accuracy of 76%, while the recall rate for synthetic speech detection reached 92%. This confirms the high efficiency of the algorithm in tasks related to protection against voice fraud. The developed module can be integrated into call analysis platforms (for example, JotLink) for automated conversation security monitoring.