Performance Evaluation of Boosting Algorithms on Intrusion Detection System Based on Real-Time CICIoT2023 Dataset

Abstract

Currently, the utilization of machine learning methods for identifying intrusions in Internet of Things (IoT) networks demonstrates intriguing prospects. Choosing the appropriate machine learning technique for intrusion detection poses a significant challenge. Choosing the wrong algorithm may reduce threat-detection accuracy, increase the likelihood of network contamination, and compromise network security. This research conducts a comprehensive assessment of various boosting algorithms for detecting intrusions in IoT, using the latest CICIoT2023 dataset. The approach includes evaluating the effectiveness of these algorithms in both binary and multi-class classification scenarios. The evaluation includes a thorough analysis of classification performance metrics, including accuracy, precision, recall, and F1 score. It also assesses computational efficiency, particularly the duration of the training and testing procedures. The results show that the boosting algorithms have potential on the dataset used. Extreme Gradient Boosting yielded the highest accuracy for multi-class classification, whereas Categorical Boosting was the most effective for binary classification. Additionally, Categorical Boosting demonstrated superior test-time performance for multi-class classification, whereas Gradient Boosting excelled in binary classification. ABSTRAK: Pada masa ini, penggunaan kaedah pembelajaran mesin bagi mengenal pasti pencerobohan rangkaian Internet Benda (IoT) menunjukkan potensi menarik. Memilih teknik pembelajaran mesin yang sesuai bagi mengesan pencerobohan menimbulkan cabaran ketara. Memilih algoritma yang salah boleh mengakibatkan ketepatan berkurangan dalam mengesan ancaman, kemungkinan pencemaran rangkaian yang lebih tinggi, dan keselamatan rangkaian terjejas. Kajian ini menjalankan penilaian komprehensif terhadap pelbagai algoritma penggalak yang digunakan dalam mengesan pencerobohan dalam IoT, menggunakan set data CICIoT2023 terkini. Pendekatan ini merangkumi penilaian keberkesanan algoritma ini dalam senario pengelasan binari dan berbilang kelas. Penilaian ini merangkumi analisis menyeluruh metrik prestasi pengelasan, termasuk ketepatan, penarikan balik, dan skor F1. Selain itu, ia melibatkan penilaian kecekapan pengiraan, terutama pada tempoh prosedur latihan dan pengujian. Keputusan menunjukkan bahawa algoritma penggalak mempunyai potensi pada set data yang digunakan. Pendekatan Galakan Kecerunan Ekstrem menghasilkan tahap ketepatan tertinggi bagi pengelasan berbilang kelas, manakala Galakan Kategori ditunjukkan sebagai yang paling berkesan bagi pengelasan binari. Di samping itu, algoritma Galakan Kategori menunjukkan prestasi masa ujian yang unggul bagi pengelasan berbilang kelas, manakala algoritma Galakan Kecerunan adalah terbaik pada pengelasan binari.