Evaluasi Strategi Penanganan Ketidakseimbangan Kelas pada Klasifikasi Sentimen Multikelas Ulasan Aplikasi ChatGPT
DOI:
https://doi.org/10.70609/jusifor.v5i1.9714Keywords:
Sentiment Analysis, Class Imbalance, SMOTE, Class Weighting, Machine LearningAbstract
Ketidakseimbangan kelas pada dataset ulasan aplikasi berpotensi menimbulkan bias sistematis pada model klasifikasi sentimen berbasis machine learning. Penelitian ini mengevaluasi empat strategi penanganan ketidakseimbangan data, yaitu baseline, SMOTE, class weighting, dan kombinasi keduanya pada tiga algoritma klasifikasi, yakni Support Vector Machine (SVM), Random Forest, dan Logistic Regression menggunakan 10.000 ulasan dari aplikasi ChatGPT di Google Play Store. Representasi fitur dilakukan dengan TF-IDF dan dievaluasi menggunakan 5-fold cross-validation. Skenario baseline mencapai akurasi tertinggi sebesar 0,90, namun memiliki F1-score makro terendah berkisar antara 0,52 hingga 0,55 yang mengindikasikan dominasi kelas mayoritas. Penerapan class weighting secara konsisten menghasilkan F1-score makro tertinggi sebesar 0,58 untuk SVM dan Logistic Regression, sementara SMOTE tidak menunjukkan peningkatan yang konsisten. Hasil ini menegaskan adanya trade-off antara akurasi dan keseimbangan kinerja antarkelas, serta efektivitas strategi penanganan ketidakseimbangan bersifat bergantung pada algoritma yang digunakan.
References
[1] B. Purbayanto dan T. N. Suharsono, “Analisis Sentimen Pengguna X terhadap Chatgpt dengan Algoritme Naive Bayes,” J. Telemat., vol. 18, no. 2, hal. 63–71, 2024.
[2] N. Widaad, D. Anggraini, E. Faculty, dan U. Gunadarma, “SENTIMENT ANALYSIS OF CHATGPT APP USER REVIEWS USING SVM AND CNN,” J. Tek. Inform., vol. 5, no. 6, hal. 1687–1700, 2024.
[3] F. N. Sukmana, A. Primajaya, dan A. Suharso, “Sentiment Analysis of ChatGPT Application Reviews Using the BERT Algorithm,” J. Info Sains Inform. dan Sains, vol. 15, no. 02, hal. 436–442, 2025, doi: 10.54209/infosains.v15i02.
[4] I. P. Ariyani, K. D. Tania, A. Wedhasmara, dan A. Meiriza, “Ekstraksi Pengetahuan dari Ulasan Aplikasi CapCut Menggunakan Metode Aspect-Based Sentiment Analysis dan Klasifikasi,” J. Buana Inform., vol. 16, no. 1, hal. 80–92, 2025.
[5] Z. Xu, F. Qingguo, Y. Huang, dan M. Xie, “The public attitude towards ChatGPT on reddit : A study based on unsupervised learning from sentiment analysis and topic modeling,” PLoS One, vol. 19, no. 5, hal. 1–26, 2024, doi: 10.1371/journal.pone.0302502.
[6] F. A. Tohir, B. Irawan, dan A. Bahtiar, “Analisis Sentimen Aplikasi ChatGPT Mobile Menggunakan Agoritma Naïve Bayes,” ICIT J., vol. 10, no. 2, hal. 179–192, 2024.
[7] A. Ardiansyah, E. A. Pratama, dan N. I. Fadlilah, “Analisis Sentimen Pengguna Terhadap Aplikasi ChatGPT Di Google Play Store: Penerapan Algoritma Support Vector Machine,” J. Tek. Inform. dan Sist. Inf., vol. 11, no. 2, hal. 247–254, 2024.
[8] M. Z. Mubarok, S. Rizqi, R. M. Rizal, A. B. N. Syalim, dan N. Iksan, “Klasifikasi Sentimen Ulasan Aplikasi Claude Menggunakan Naive Bayes dan Support Vector Machine,” JUSIFOR J. Sist. Inf. Dan Inform., vol. 4, no. 1, hal. 110–119, 2025, doi: https://doi.org/10.70609/jusifor.v4i1.7054.
[9] G. J. Sagala dan Y. T. Samuel, “Sentiment Analysis on ChatGPT App Reviews on Google Play Store Using Random Forest Algorithm , Support Vector Machine and Naïve Bayes,” Int. J. Eng. Bus. Soc. Sci., vol. 2, no. 04, hal. 1194–1204, 2024.
[10] N. C. Ramadani, I. Tahyudin, dan A. S. Barkah, “Perbandingan Algoritma Support Vector Machine , Decision Tree , dan Logistic Regresion Pada Analisis Sentimen Ulasan Aplikasi Netflix,” J. Nas. Teknol. dan Sist. Inf., vol. 10, no. 02, hal. 110–117, 2024.
[11] E. M. Pusung dan I. N. Dewi, “Optimasi RoBERTa dengan Hyperparameter Tuning untuk Deteksi Emosi berbasis Teks,” J. Nas. Teknol. dan Sist. Inf., vol. 10, no. 03, hal. 240–248, 2024.
[12] A. A. Qolbu, N. Fitriyati, dan N. Inayah, “Performa Naïve Bayes , SVM , dan IndoBERT pada Analisis Sentimen Twitter IndiHome dengan Strategi Penanganan Data Tidak Seimbang,” J. Fourier, vol. 814, no. 1, hal. 29–44, 2025, doi: 10.14421/fourier.2025.141.29-44.
[13] H. Kelvin, Erlin, Y. Desnelita, dan D. Oktarina, “Analisis Sentimen Terhadap Ulasan Aplikasi IKD di Play Store Menggunakan Random Forest,” J. Nas. Tek. Elektro dan Teknol. Inf., vol. 14, no. 3, hal. 171–180, 2025.
[14] A. S. Rizkia, Wufron, dan F. F. Roji, “Analisis Sentimen Coretax : Perbandingan Pelabelan Data Manual, Transformers-Based, dan Lexicon-Based pada Performa IndoBERT,” MALCOM Indones. J. Mach. Learn. Comput. Sci., vol. 5, no. July, hal. 1037–1048, 2025.
[15] A. F. Zain, H. Al Azies, dan I. K. Ananda, “Analisis Sentimen Ulasan Pengguna iPhone dengan Pendekatan Hibrida RoBERTa dan XGBoost,” J. Algoritm., vol. 22, no. 1, hal. 1039–1049, 2025, doi: 10.33364/algoritma/v.22-1.2277.
[16] T. T. Wong, “Linear Approximation of F-Measure for the Performance Evaluation of Classification Algorithms on Imbalanced Data Sets,” IEEE Trans. Knowl. Data Eng., vol. 34, no. 2, hal. 753–763, Feb 2022, doi: 10.1109/TKDE.2020.2986749.
[17] K. M. Sujon, R. Hassan, K. Choi, dan A. Samad, “empirical evidence from advanced statistics , ML , and XAI for evaluating business predictive models,” J. Big Data, vol. 12, no. 268, hal. 1–45, 2025, doi: https://doi.org/10.1186/s40537-025-01313-4.
Downloads
Published
Issue
Section
License
Copyright (c) 2026 Qorry Aina Fitroh, M. Sa’id Abdurrohman Kunta Mardlian, Indra Kurniawan, Muhammad Kildah Namariq
This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.
