Kurva belajar (pemelajaran mesin)

Kurva belajar menunjukkan skor latih dan skor validasi silang

Dalam pemelajaran mesin, suatu kurva belajar (atau kurva pelatihan, bahasa Inggris: learning curve atau training curve) adalah suatu jenis kurva yang menggambarkan nilai optimal dari fungsi rugi suatu model untuk suatu himpunan data pelatihan dan dibandingkan dengan fungsi kerugian yang sama jika dilakukan evaluasi pada suatu himpunan data validasi dengan parameter yang sama yang menghasilkan fungsi optimal tersebut. Sinonimnya dari kurva belajar ini, meliputi kurva galat (error curve), kurva perkembangan (improvement curve), dan kurva generalisasi (generalization curve).

Definisi lebih abstrak dari kurva belajar, adalah kurva dari (usaha pemelajaran atau learning effort)-(kinerja prediktif atau predictive performance), di mana biasanya usaha pemelajaran berarti jumlah sampel latih dan kinerja prediktif berarti akurasi pada sampel uji.

Kurva belajar dalam pemelajaran mesin bermanfaat untuk berbagai tujuan, termasuk membandingkan berbagai algoritma, memilih parameter model selama desain, menyesuaikan optimisasi untuk meningkatkan konvergensi, dan menentukan jumlah data yang digunakan untuk pelatihan.

Definisi formal

Salah satu model pemelajaran mesin menghasilkan suatu fungsi, Templat:Math, yang memberikan beberapa informasi, Templat:Math, yang memprediksi suatu variabel, Templat:Math, dari data latih $X_{\text{latih}}$ and $Y_{\text{latih}}$.Ini berbeda denganoptimisasi matematika karena $f$ harus dapat melakukan prediksi dengan baik untuk $x$ di luar $X_{\text{latih}}$.

Seringkali kita membatasi fungsi-fungsi yang mungkin menjadi keluarga fungsi parameterized, $\{f_{\theta }(x):\theta \in \mathrm{\Theta }\}$, agar fungsi kita lebih dapat digeneralisasi atau agar fungsi tersebut memiliki properti tertentu, seperti properti yang membuat pencarian $f$ yang baik lebih mudah, atau karena kita memiliki alasan a priori untuk percaya bahwa properti-properti ini benar.Templat:Refpage

Diberikan bahwa tidak mungkin menghasilkan fungsi yang sempurna sesuai dengan data kita, maka perlu untuk menghasilkan fungsi kerugian $L(f_{\theta }(X),Y^{\prime })$ untuk mengukur seberapa baik prediksi kita. Kemudian kita mendefinisikan proses optimisasi yang menemukan suatu $\theta$ yang meminimalkan $L(f_{\theta }(X_{,}Y))$ yang disebut sebagai ${\theta }^{*}(X,Y)$ .

Kurva latih untuk jumlah data

Lalu jika data latih kita adalah $\{x_1,x_2,\dots ,x_n\},\{y_1,y_2,\dots y_n\}$ dan data uji kita adalah $\{{x_1}^{\prime },{x_2}^{\prime },\dots {x_m}^{\prime }\},\{{y_1}^{\prime },{y_2}^{\prime },\dots {y_m}^{\prime }\}$ suatu kurva belajar adalah plot dari dua kurva

1. $i\mapsto L(f_{{\theta }^{*}(X_i,Y_i)}(X_i),Y_i)$
2. $i\mapsto L(f_{{\theta }^{*}(X_i,Y_i)}({X_i}^{\prime }),{Y_i}^{\prime })$

di mana $X_i=\{x_1,x_2,\dots x_i\}$

Kurva latih untuk jumlah iterasi

Banyak proses optimisasi bersifat iteratif, mengulangi langkah yang sama hingga proses tersebut konvergen ke nilai optimal. Penurunan gradien dalah salah satu algoritma tersebut. Jika Anda mendefinisikan ${\theta }_i^{*}$ sebagai aproksimasi optimal dari $\theta$ setelah langkah $i$, sebuah kurva belajar adalah plot dari

1. $i\mapsto L(f_{{\theta }_i^{*}(X,Y)}(X),Y)$
2. $i\mapsto L(f_{{\theta }_i^{*}(X,Y)}(X^{\prime }),Y^{\prime })$

Memilih banyaknya data uji

Kurva belajar digunakan untuk menilai seberapa besar keuntungan yang diperoleh oleh model mesin dengan menambahkan lebih banyak data latih dan apakah estimator tersebut lebih rentan terhadap kesalahan variansi atau kesalahan bias. Jika baik skor validasi maupun skor pelatihan konvergen ke nilai yang terlalu rendah dengan peningkatan ukuran himpunan latih, model tidak akan banyak mendapat keuntungan dari penambahan data pelatihan lebih lanjut.

Dalam domain pemelajaran mesin, terdapat dua implikasi dari kurva belajar yang berbeda dalam kurva sumbu-x, dengan pengalaman model yang digambarkan baik sebagai jumlah contoh latih yang digunakan untuk pemelajaran atau jumlah iterasi yang digunakan dalam melatih model.

Lihat juga

• Overfitting
• kompromi antara bias dan varians
• Seleksi model
• Validasi silang (statistika)
• Validitas (statistika)
• Verifikasi and validasi
• Penurunan ganda