Apa itu Overfitting?
Overfitting adalah keadaan saat suatu model mempelajari data pelatihan dengan terlalu baik sehingga membuatnya berkinerja buruk pada data baru. Konsep ini banyak dijumpai di model statistik dan machine learning.
Model yang mengalami overfitting terlalu cocok dengan data pelatihan dan bahkan mengingat noise yang ada dalam data tersebut dengan sangat spesifik. Akibatnya, model tersebut tidak dapat menggeneralisasi data baru dengan baik karena pada dasarnya model tersebut menghafal contoh pelatihan, alih-alih mempelajari pola yang lebih luas.
Mengapa Overfitting Terjadi?
Mengutip dari Amazon.com, overfitting terjadi karena berbagai faktor yang menyebabkan suatu model menjadi terlalu fokus pada data pelatihan dan kehilangan kemampuannya untuk menggeneralisasi secara efektif. Alasan-alasan ini meliputi:
- Data pelatihan terbatas: Ketika dataset pelatihan terlalu kecil dan tidak mencakup berbagai situasi, model akan belajar hanya dari beberapa contoh dan kesulitan untuk menangani data baru yang disajikan.
- Noise data: Jika data pelatihan berisi banyak informasi yang tidak relevan atau acak, model dapat secara keliru belajar menyesuaikan noise tersebut dibandingkan memahami pola dasar yang sebenarnya. Hal ini menyebabkan kinerja yang buruk pada data baru.
- Pelatihan berlebihan: Model yang dilatih dalam waktu yang lama pada kumpulan data yang sama dapat membuatnya menghafal contoh pelatihan dan melupakan konsep lebih luas yang seharusnya dipelajari.
- Kompleksitas model tinggi: Ketika model terlalu kompleks dengan banyak parameter, model tersebut bisa jadi belajar untuk mengidentifikasi detail terkecil dari data pelatihan, termasuk noise. Penangkapan noise ini membuat model sulit menghadapi data baru yang tidak memiliki kekhasan yang sama.
Contoh Overfitting
Berikut merupakan contoh overfitting dalam model machine learning:
Prediksi Cuaca
Misalnya, terdapat model machine learning untuk memprediksi kondisi cuaca berdasarkan data historis. Jika model dilatih menggunakan data yang sebagian besar dikumpulkan dari wilayah pesisir, model tersebut mungkin terlalu fokus pada pengaruh laut terhadap cuaca.
Akibatnya, saat mencoba memprediksi pola cuaca di area daratan, model tersebut menjadi kesulitan untuk memperhitungkan dinamika yang berbeda secara akurat, dan pada akhirnya membuat prediksi yang kurang akurat.
Prediksi Pasar Saham
Suatu algoritma machine learning digunakan untuk memprediksi tren pasar saham berdasarkan berbagai indikator ekonomi. Algoritma tersebut dilatih menggunakan data historis dari periode dengan kondisi ekonomi yang stabil sehingga dapat mempelajari pola yang spesifik untuk keadaan tersebut.
Namun, ketika digunakan untuk memprediksi perilaku saham selama periode volatilitas ekonomi, algoritma tersebut mungkin gagal untuk menggeneralisasi tren pasar saham karena keadaannya berbeda dari data pelatihan.
FAQ (Frequently Asked Question)
Bagaimana cara mengatasi overfitting?
Mengutip dari IBM, berikut merupakan cara mengatasi overfitting:
- Penghentian dini: Alih-alih melatih model hingga sempurna, hentikan pelatihan saat model mulai mempelajari noise dari data.
Namun, berhenti terlalu dini juga tidak disarankan karena dapat menyebabkan underfitting. Penghentian ini bertujuan untuk menemukan keseimbangan yang tepat antara terlalu rumit dan terlalu sederhana.
- Gunakan lebih banyak data: Peningkatan ukuran dataset pelatihan dapat membantu model mempelajari pola yang lebih representatif. Pastikan data tambahan tersebut relevan dan akurat. Penambahan lebih banyak data dapat memberi model peluang lebih untuk mengidentifikasi hubungan utama antara input dan output.
- Augmentasi data: Terkadang menambahkan sedikit data noise dapat menstabilkan model. Namun, berhati-hatilah agar tidak berlebihan, karena terlalu banyak noise juga dapat menyebabkan overfitting.
Penambahan data dapat menggunakan variasi data yang ada (misalnya memutar gambar dan menerapkan filter) untuk memperluas kumpulan data dengan cara yang terkontrol.
- Pemilihan fitur: Beberapa fitur yang digunakan dalam suatu model mungkin tidak berguna atau bahkan membingungkan model. Karena itu, pilih fitur paling penting yang benar-benar memengaruhi hasil dan hapus fitur yang tidak relevan atau berlebihan.
Pemilihan fitur dapat menyederhanakan model dan membantunya fokus pada pola yang paling signifikan.
- Regularisasi: Jika suatu model dirasa terlalu rumit, teknik regularisasi dapat membantu dengan cara menambahkan penalti pada koefisien yang besar. Hal ini mengurangi kemampuan model untuk menyesuaikan noise sehingga lebih stabil.
- Metode Ensemble: Metode Ensemble merupakan penggabungan prediksi dari beberapa model untuk mencapai kinerja yang lebih baik. Teknik ini membantu mengurangi dampak data noise dengan menghitung rata-rata atau melakukan voting pada prediksi dari berbagai model sehingga lebih akurat.
