Impact of Feature Selection on the Performance of KNN and SVM in Heart Disease Prediction

Abstrak

Feature selection memainkan peran penting dalam meningkatkan kinerja model machine learning dengan mengurangi atribut yang tidak relevan atau berlebihan. Studi ini menyelidiki dampak pemilihan fitur pada akurasi klasifikasi K-Nearest Neighbors (KNN) dan Support Vector Machine (SVM) dalam memprediksi penyakit jantung. Menggunakan data UCI Heart Disease, yang awalnya mencakup 13 fitur, skor feature importance dihitung menggunakan model Random Forest. Metode berbasis ambang batas kemudian diterapkan untuk mengidentifikasi dan mempertahankan fitur yang paling informatif. Melalui pengujian iteratif ambang batas kepentingan, nilai 0,03 menghasilkan hasil terbaik, mengurangi set fitur dari 13 menjadi 9 atribut. Model klasifikasi dilatih dan dievaluasi menggunakan set fitur lengkap dan tereduksi. Kinerja dinilai menggunakan akurasi, presisi, recall, dan skor F1 dan divalidasi dengan 5-fold cross-validation. Hasilnya menunjukkan peningkatan kinerja yang signifikan setelah feature selection. Pengklasifikasi KNN meningkatkan akurasi dari 83% menjadi 92%, dengan peningkatan yang nyata dalam recall dan skor F1 untuk kelas positif. Demikian pula, SVM mencapai akurasi 92%, dengan presisi yang lebih baik dan stabilitas kinerja secara keseluruhan. Temuan ini menunjukkan bahwa pengurangan fitur berdasarkan data menyederhanakan model dan meningkatkan daya prediktifnya. Studi ini secara sistematis membandingkan efek pemilihan fitur pada dua algoritma pembelajaran mesin yang berbeda dan menawarkan wawasan praktis untuk mengoptimalkan model prediksi medis dalam sistem pendukung keputusan klinis.