Гібридний метод семантичної фільтрації неінформативних записів у системних логах

Abstract

Запропоновано гібридний метод фільтрації неінформативних записів у нерозмічених системних логах, що поєднує шаблонізацію Drain, BERT-векторизацію, кластеризацію K-Means та класифікатор GaussianNB. Оскільки набір даних ZooKeeper (LogHub) не містить ground truth міток, оцінювання виконано як вимірювання здатності класифікатора відтворювати кластерну структуру (proxy-метрика): macro F1 = 0,73–0,81, weighted F1 = 0,96–0,976. Сучасні розподілені системи генерують мільйони лог-записів на добу [1]. Аномальні записи становлять 2–10% обсягу [4], решта – штатні повторювані події. Регулярні вирази не масштабуються при зміні формату логів [3]. Глибокі моделі (DeepLog [7], LogBERT [8]) досягають F1 0,78–0,91 на розмічених датасетах (HDFS, BGL), проте потребують анотованих даних, які рідко доступні [2]. Це мотивує методи для нерозмічених логів.