АЛГОРИТМИ ВСТАНОВЛЕННЯ ДАНИХ АВТОРА ТЕКСТУ

Анотація

В різних сферах діяльності людства постає питання класифікації текстів та встановлення дійсного автора тексту. Ця задача знайшла широке застосування в криміналістиці, системах перевірки робіт на плагіат, аналіз скарг, коментарів, тощо. Відповідність анкетних даних поданих автором разом з текстом, як правило, вимагає перевірки. Досить часто цими даними є національність, стать та вік автора.  Застосування сучасних методів та алгоритмів для встановлення автора тексту дозволяє автоматизувати процес.

Сучасні алгоритми базуються на використанні нейронних мереж, що що базуються на  промаркованих датасетах. Такі датасети не завжди є доступними і виникає необхідність їх створення, класифікації та маркування. Маркуванню датасетів вимагає наявності алгоритмів, за яким стає можливим виділення характерних ознак тексту, що відповідають за дані автора. Запропоновано алгоритми для знаходження та аналізу характерних ознак тексту, які базуються на його відхилені від еталону.

Для встановлення вікової групи автора створена таблиця неологізмів з вказанням вікової категорії людей, якій вони притаманні.  Маркування датасетів за національністю (першою мовою) автора будувалась на запозичених словах в англійської, іспанської і французької мов. Для аналізу статі автора тексту підраховується частота використання слів певних характеристик, а величина відхилення використовувалась як вага характеристики.

За допомогою наведених алгоритмів було промарковано датасети, що використовувались для побудови нейронної мережі. На базі наведених алгоритмів було навчено нейронну мережу, що використовує три моделі класифікації тексту. Кожна модель проводить аналіз тексту за приведеними характеристиками, що відповідають даним автора. 

Розроблена нейронна мережа здійснює автоматичне маркування текстових датасетів, а також дозволяє класифікувати тексти за категоріями анкетних даних автора, забезпечує аналіз текстових даних та їх автоматичне маркування із визначенням ймовірності належності тексту до кожного з  класів. 

Роботу нейронної мережі було протестовано на текстовому датасеті, що складається із англійських текстів різних авторів. Кількість правильно встановлених  анкетних даних автора, за розробленими характеристиками, становить 96 відсотків.   

Ключові слова: маркування дата сету, дані автора, алгоритми антиплагіату, нейронна мережа.