СЕСІЙНА ПАМ’ЯТЬ ТА СТИСКАННЯ КОНТЕКСТУ ДЛЯ ГЕНЕРУВАННЯ ВІДПОВІДЕЙ У МЕСЕНДЖЕРАХ З НИЗЬКИМИ ЗАТРИМКАМИ
У роботі запропоновано швидку архітектуру для фактичної генерації відповідей у месенджерах — сесійна пам’ять із керованим стисканням, гібридний (BM25 + вектори) пошук із повторним ранжуванням та оптимізації інференсу. Експерименти на відкритих і анонімізованих діалогах показали збереження/покращення якості (nDCG@k, Rec...