Використання направлених зважених мереж термінів для визначення ступеня подібності текстів
Ланде Д.В., Дмитренко О.О.
Міжнародна наукова-технічна конференція "Інтелектуальні технології лінгвістичного аналізу": Тези доповідей. - К.: НАУ, 2021. - C. 7.
Міжнародна наукова-технічна конференція "Інтелектуальні технології лінгвістичного аналізу": Тези доповідей. - К.: НАУ, 2021. - C. 7.
Мета роботи - представити методику визначення ступеня подібності між текстовими документами, що базується на використанні направлених зважених мереж термінів, де вузлами таких мереж - ключові терміни тексту, а ребра - семантико-семантичні зв'язки між цими термінами у тексті.
Побудова мереж термінів здійснюється в декілька етапів, що включають попередню обробку текстових даних, виокремлення ключових термінів, застосування алгоритму графа горизонтальної видимості для встановлення ненаправлених зв'язків між термінами, а також подальше встановлення напрямків зв'язків та їх вагових значень.
Подальше порівняння за допомогою міри Фробеніуса матриць направлених зважених мереж, що отримані для різних текстів, дозволяє визначити семантичну близькість відповідних текстів. Представлена методика може бути використана у процесі обробки інформаційних запитів під час інформаційного пошуку, даючи змогу визначити ступінь відповідності документа до інформаційних потреб користувача та підвищити пертинентність.
Побудова мереж термінів здійснюється в декілька етапів, що включають попередню обробку текстових даних, виокремлення ключових термінів, застосування алгоритму графа горизонтальної видимості для встановлення ненаправлених зв'язків між термінами, а також подальше встановлення напрямків зв'язків та їх вагових значень.
Подальше порівняння за допомогою міри Фробеніуса матриць направлених зважених мереж, що отримані для різних текстів, дозволяє визначити семантичну близькість відповідних текстів. Представлена методика може бути використана у процесі обробки інформаційних запитів під час інформаційного пошуку, даючи змогу визначити ступінь відповідності документа до інформаційних потреб користувача та підвищити пертинентність.
