СЕСІЙНА ПАМ’ЯТЬ ТА СТИСКАННЯ КОНТЕКСТУ ДЛЯ ГЕНЕРУВАННЯ ВІДПОВІДЕЙ У МЕСЕНДЖЕРАХ З НИЗЬКИМИ ЗАТРИМКАМИ

Abstract

У роботі запропоновано швидку архітектуру для фактичної генерації відповідей у месенджерах — сесійна пам’ять із керованим стисканням, гібридний (BM25 + вектори) пошук із повторним ранжуванням та оптимізації інференсу. Експерименти на відкритих і анонімізованих діалогах показали збереження/покращення якості (nDCG@k, Recall@k, людські й автоматизовані оцінки), зниження затримки й внесок компонентів за результатами абляції.