Разработка гибридного метода вероятностного поиска и верификации записей в базах данных

Abstract

Цель исследования – разработка гибридного метода вероятностного поиска и верификации записей в реляционных базах данных, позволяющего сопоставлять строковые атрибуты, содержащие опечатки, сокращения и разночтения. Методология базируется на вычислении нормированного расстояния Левенштейна для каждого атрибута, формировании байесовской оценки апостериорной вероятности совпадения записи из внешнего источника с эталонной записью и выборе кандидата, максимизирующего эту вероятность. Для повышения производительности применяются C-расширения (библиотека rapidfuzz), ограничение числа кандидатов топ‑20 наиболее похожих записей по ФИО, векторизация операций с помощью pandas и предварительная нормализация строк. Ключевые результаты: разработанный метод демонстрирует устойчивость к искажениям входных данных, учитывает одновременно несколько атрибутов (ФИО, идентификаторы, наименования) и не требует размеченной обучающей выборки, в отличие от классического вероятностного подхода Fellegi–Sunter. Экспериментальная проверка на эталонной базе из 250 тысяч записей и тестовой выборке из 159 искаженных записей показала время обработки 62 секунды на стандартном оборудовании. Вывод: предложенный гибридный метод сочетает гибкость нечеткого сравнения строк и вероятностную оценку, что делает его эффективным для задач интеграции и очистки данных в корпоративных информационных системах. The purpose of the research is to develop a hybrid method of probabilistic search and verification of records in relational databases, which allows matching string attributes containing typos, abbreviations and discrepancies. The methodology is based on calculating the normalized Levenshtein distance for each attribute, forming a Bayesian estimate of the a posteriori probability of matching a record from an external source with a reference record, and selecting a candidate who maximizes this probability. To improve performance, C extensions (rapidfuzz library), limiting the number of candidates to the top 20 most similar entries by full name, vectorization of operations using pandas, and pre-normalization of strings are used. Key results: the developed method demonstrates resistance to input data distortion, takes into account several attributes (full names, identifiers, names) at the same time and does not require a marked-up training sample, unlike the classical probabilistic Fellegi–Sunter approach. An experimental check on a reference base of 250,000 records and a test sample of 159 distorted records showed a processing time of 62 seconds on standard equipment. Conclusion: the proposed hybrid method combines the flexibility of fuzzy string comparison and probabilistic estimation, which makes it effective for data integration and cleaning tasks in corporate information systems.