Метод извлечения структурно-динамических признаков текста на основе второй производной семантической траектории

Abstract

Быстрый рост объемов текстовых данных и возрастающая сложность их внутренней организации увеличивают потребность в методах автоматического анализа, способных учитывать не только тематическое содержание, но и структуру развертывания текста. В прикладных задачах обработки информации это становится критическим фактором, определяющим качество интерпретации документа. Несмотря на значительные достижения в методах классификации текста, большинство существующих подходов в основном сосредоточены на выявлении лексических и семантических характеристик, в то время как порядок семантических переходов и композиционная структура документа остаются недостаточно изученными и плохо формализованными. Цель данного исследования – разработка метода извлечения структурно-динамических признаков текста, чувствительных к последовательности семантического развертывания. Методологической основой является представление документа в виде латентной семантической траектории второго порядка, сформированной из последовательности сегментных вложений, с последующим вычислением функционалов, описывающих динамику изменения содержания. В результате предлагается алгоритм извлечения структурно-динамических признаков, включающий сегментацию текста, реконструкцию семантической траектории второго порядка и вычисление ее динамических характеристик. Экспериментальное тестирование на корпусе новостей BBC и специально созданном наборе данных, чувствительном к порядку, показало, что разработанный метод демонстрирует превосходство в задачах, где классы различаются по структуре и порядку семантических фрагментов, в то время как в стандартных тематических задачах достигаются сопоставимые или худшие результаты. Эти результаты способствуют развитию методов интерпретативного анализа текста путем формализации структурной динамики документов и расширения инструментария для обработки текстовых данных в задачах, требующих композиционной организации.