30 algoritma supervised

-

 

    

    Algoritma supervised learning adalah jenis algoritma pembelajaran mesin di mana model dilatih menggunakan data yang berlabel. Ini berarti bahwa setiap contoh dalam set pelatihan memiliki input (fitur) dan output (label atau target) yang sesuai. Tujuan dari supervised learning adalah untuk mempelajari hubungan atau pemetaan dari input ke output sehingga model dapat memprediksi output untuk input yang tidak terlihat (baru).

1. Linear Regression

Linear Regression digunakan untuk memodelkan hubungan antara satu atau lebih fitur input (prediktor) dan variabel target kontinu.

  • Langkah-langkah:
    1. Mengumpulkan dan membersihkan data.
    2. Membagi data menjadi set pelatihan dan pengujian.
    3. Menentukan fungsi regresi linier.
    4. Menggunakan metode Ordinary Least Squares (OLS) untuk memperkirakan koefisien.
    5. Mengevaluasi model dengan metrik seperti Mean Squared Error (MSE).

2. Logistic Regression

Logistic Regression digunakan untuk klasifikasi biner, memprediksi probabilitas kejadian suatu peristiwa.

  • Langkah-langkah:
    1. Mengumpulkan dan membersihkan data.
    2. Membagi data menjadi set pelatihan dan pengujian.
    3. Menentukan fungsi logit.
    4. Menggunakan Maximum Likelihood Estimation (MLE) untuk memperkirakan koefisien.
    5. Mengevaluasi model dengan metrik seperti AUC-ROC atau akurasi.

3. Decision Tree

Decision Tree adalah model prediktif berbasis pohon yang memetakan pengamatan tentang suatu item ke kesimpulan target item tersebut.

  • Langkah-langkah:
    1. Mengumpulkan dan membersihkan data.
    2. Membagi data menjadi set pelatihan dan pengujian.
    3. Memilih fitur terbaik menggunakan kriteria seperti Gini impurity atau informasi gain.
    4. Membuat node pohon berdasarkan fitur yang dipilih.
    5. Mengevaluasi model dengan metrik seperti akurasi, precision, recall.

4. Random Forest

Random Forest adalah ensemble learning method yang menggunakan banyak pohon keputusan dan menggabungkan hasilnya untuk membuat prediksi.

  • Langkah-langkah:
    1. Mengumpulkan dan membersihkan data.
    2. Membagi data menjadi set pelatihan dan pengujian.
    3. Membuat beberapa pohon keputusan dari subset data dan fitur.
    4. Menggabungkan prediksi dari semua pohon menggunakan voting mayoritas atau rata-rata.
    5. Mengevaluasi model dengan metrik seperti akurasi, precision, recall.

5. Support Vector Machine (SVM)

SVM digunakan untuk klasifikasi dan regresi dengan mencari hyperplane terbaik yang memisahkan kelas.

  • Langkah-langkah:
    1. Mengumpulkan dan membersihkan data.
    2. Membagi data menjadi set pelatihan dan pengujian.
    3. Menentukan kernel yang sesuai (linear, polynomial, RBF).
    4. Melatih model untuk menemukan hyperplane yang memaksimalkan margin antara kelas.
    5. Mengevaluasi model dengan metrik seperti akurasi, precision, recall.

6. K-Nearest Neighbors (KNN)

KNN adalah algoritma non-parametrik yang digunakan untuk klasifikasi dan regresi dengan memprediksi label berdasarkan K tetangga terdekat.

  • Langkah-langkah:
    1. Mengumpulkan dan membersihkan data.
    2. Membagi data menjadi set pelatihan dan pengujian.
    3. Menentukan nilai K (jumlah tetangga terdekat).
    4. Menghitung jarak antara titik data baru dan titik data pelatihan.
    5. Menggunakan mayoritas label tetangga untuk prediksi.

7. Naive Bayes

Naive Bayes adalah algoritma klasifikasi probabilistik berdasarkan Teorema Bayes dengan asumsi independensi antar fitur.

  • Langkah-langkah:
    1. Mengumpulkan dan membersihkan data.
    2. Membagi data menjadi set pelatihan dan pengujian.
    3. Menghitung probabilitas a priori untuk setiap kelas.
    4. Menghitung probabilitas kondisional untuk setiap fitur yang diberikan kelas.
    5. Menggunakan Teorema Bayes untuk menghitung probabilitas posterior dan membuat prediksi.

8. Gradient Boosting Machines (GBM)

GBM adalah teknik boosting yang membangun model prediktif dari ensambel pohon keputusan yang lemah, memperbaiki kesalahan model sebelumnya.

  • Langkah-langkah:
    1. Mengumpulkan dan membersihkan data.
    2. Membagi data menjadi set pelatihan dan pengujian.
    3. Membuat model awal dengan pohon keputusan sederhana.
    4. Menghitung residu (kesalahan) dari model sebelumnya.
    5. Melatih model baru untuk memprediksi residu dan memperbarui model.
    6. Mengulangi sampai jumlah iterasi tertentu atau konvergensi.

9. AdaBoost

AdaBoost adalah metode boosting yang menggabungkan beberapa model sederhana (biasanya pohon keputusan tunggal) untuk membentuk model yang kuat.

  • Langkah-langkah:
    1. Mengumpulkan dan membersihkan data.
    2. Membagi data menjadi set pelatihan dan pengujian.
    3. Melatih model dasar pertama pada data pelatihan.
    4. Menghitung kesalahan model dan menyesuaikan bobot data.
    5. Melatih model dasar berikutnya dengan memperhatikan bobot data yang disesuaikan.
    6. Menggabungkan model dasar dengan voting berbobot.

10. Neural Networks

Neural Networks adalah model pembelajaran mesin yang terinspirasi oleh otak manusia, menggunakan neuron buatan untuk memproses informasi.

  • Langkah-langkah:
    1. Mengumpulkan dan membersihkan data.
    2. Membagi data menjadi set pelatihan dan pengujian.
    3. Menentukan arsitektur jaringan (jumlah lapisan dan neuron).
    4. Inisialisasi bobot secara acak.
    5. Melatih model menggunakan algoritma backpropagation untuk meminimalkan kesalahan prediksi.
    6. Mengevaluasi model dengan metrik yang sesuai, seperti akurasi, precision, recall.

11. Ridge Regression

Ridge Regression adalah varian dari regresi linier yang menambahkan regularisasi L2 untuk mengurangi overfitting.

  • Langkah-langkah:
    1. Mengumpulkan dan membersihkan data.
    2. Membagi data menjadi set pelatihan dan pengujian.
    3. Menentukan fungsi regresi linier dengan penalti L2.
    4. Menggunakan metode Ridge untuk memperkirakan koefisien.
    5. Mengevaluasi model dengan metrik seperti Mean Squared Error (MSE).

12. Lasso Regression

Lasso Regression adalah varian dari regresi linier yang menambahkan regularisasi L1 untuk mengurangi overfitting dan melakukan seleksi fitur.

  • Langkah-langkah:
    1. Mengumpulkan dan membersihkan data.
    2. Membagi data menjadi set pelatihan dan pengujian.
    3. Menentukan fungsi regresi linier dengan penalti L1.
    4. Menggunakan metode Lasso untuk memperkirakan koefisien.
    5. Mengevaluasi model dengan metrik seperti Mean Squared Error (MSE).

13. Elastic Net Regression

Elastic Net Regression menggabungkan penalti L1 dan L2 untuk mengatasi kelemahan Ridge dan Lasso Regression.

  • Langkah-langkah:
    1. Mengumpulkan dan membersihkan data.
    2. Membagi data menjadi set pelatihan dan pengujian.
    3. Menentukan fungsi regresi linier dengan penalti gabungan L1 dan L2.
    4. Menggunakan metode Elastic Net untuk memperkirakan koefisien.
    5. Mengevaluasi model dengan metrik seperti Mean Squared Error (MSE).

14. Quadratic Discriminant Analysis (QDA)

QDA adalah metode klasifikasi yang mengasumsikan distribusi normal dari fitur dan menghitung fungsi diskriminan kuadratik untuk setiap kelas.

  • Langkah-langkah:
    1. Mengumpulkan dan membersihkan data.
    2. Membagi data menjadi set pelatihan dan pengujian.
    3. Menghitung mean dan covariance matrix untuk setiap kelas.
    4. Menghitung fungsi diskriminan kuadratik.
    5. Mengevaluasi model dengan metrik seperti akurasi, precision, recall.

15. Perceptron

Perceptron adalah algoritma pembelajaran dasar dari jaringan saraf tiruan untuk klasifikasi linier.

  • Langkah-langkah:
    1. Mengumpulkan dan membersihkan data.
    2. Membagi data menjadi set pelatihan dan pengujian.
    3. Menginisialisasi bobot secara acak.
    4. Menggunakan aturan pembaruan perceptron untuk menyesuaikan bobot berdasarkan kesalahan prediksi.
    5. Mengevaluasi model dengan metrik seperti akurasi.

16. Linear Discriminant Analysis (LDA)

LDA adalah metode klasifikasi yang mengasumsikan distribusi normal dari fitur dan menghitung fungsi diskriminan linier untuk setiap kelas.

  • Langkah-langkah:
    1. Mengumpulkan dan membersihkan data.
    2. Membagi data menjadi set pelatihan dan pengujian.
    3. Menghitung mean dan covariance matrix gabungan.
    4. Menghitung fungsi diskriminan linier.
    5. Mengevaluasi model dengan metrik seperti akurasi, precision, recall.

17. Stochastic Gradient Descent (SGD)

SGD adalah metode optimasi yang digunakan untuk menemukan parameter model yang meminimalkan fungsi kerugian dengan memperbarui parameter iteratif menggunakan subset data acak.

  • Langkah-langkah:
    1. Mengumpulkan dan membersihkan data.
    2. Membagi data menjadi set pelatihan dan pengujian.
    3. Menginisialisasi parameter model.
    4. Memperbarui parameter model berdasarkan gradien fungsi kerugian dari subset data acak.
    5. Mengevaluasi model dengan metrik yang sesuai, seperti akurasi atau MSE.

18. Bagging (Bootstrap Aggregating)

Bagging adalah teknik ensemble yang membangun beberapa model dari subset data yang diambil dengan penggantian dan menggabungkan hasilnya untuk meningkatkan stabilitas dan akurasi.

  • Langkah-langkah:
    1. Mengumpulkan dan membersihkan data.
    2. Membagi data menjadi set pelatihan dan pengujian.
    3. Membuat beberapa subset data dengan bootstrap sampling.
    4. Melatih model individu pada setiap subset data.
    5. Menggabungkan prediksi dari semua model individu menggunakan voting mayoritas atau rata-rata.

19. Extra Trees (Extremely Randomized Trees)

Extra Trees adalah varian dari Random Forest yang membuat pohon keputusan dengan pemilihan split secara acak untuk mengurangi variance.

  • Langkah-langkah:
    1. Mengumpulkan dan membersihkan data.
    2. Membagi data menjadi set pelatihan dan pengujian.
    3. Membuat beberapa pohon keputusan dengan memilih split secara acak.
    4. Menggabungkan prediksi dari semua pohon menggunakan voting mayoritas atau rata-rata.
    5. Mengevaluasi model dengan metrik yang sesuai, seperti akurasi atau MSE.

20. CatBoost

CatBoost adalah algoritma boosting yang dirancang untuk menangani data kategori dan meningkatkan akurasi prediksi dengan mengurangi overfitting.

  • Langkah-langkah:
    1. Mengumpulkan dan membersihkan data, termasuk pengkodean fitur kategori.
    2. Membagi data menjadi set pelatihan dan pengujian.
    3. Melatih model dengan menggabungkan prediksi dari beberapa model lemah.
    4. Menggunakan metode gradient boosting untuk memperbarui model berdasarkan kesalahan prediksi.
    5. Mengevaluasi model dengan metrik yang sesuai, seperti akurasi, precision, recall.

21. Bayesian Linear Regression

Bayesian Linear Regression adalah varian dari regresi linier yang memperkenalkan distribusi probabilistik atas parameter model.

  • Langkah-langkah:
    1. Mengumpulkan dan membersihkan data.
    2. Membagi data menjadi set pelatihan dan pengujian.
    3. Menentukan prior distribution untuk parameter regresi.
    4. Menghitung posterior distribution menggunakan data pelatihan.
    5. Membuat prediksi berdasarkan distribusi posterior dan mengevaluasi dengan metrik seperti Mean Squared Error (MSE).

22. Probit Regression

Probit Regression adalah metode untuk klasifikasi biner yang menggunakan fungsi distribusi normal kumulatif untuk memodelkan probabilitas kelas.

  • Langkah-langkah:
    1. Mengumpulkan dan membersihkan data.
    2. Membagi data menjadi set pelatihan dan pengujian.
    3. Menentukan fungsi probit.
    4. Menggunakan metode MLE untuk memperkirakan koefisien.
    5. Mengevaluasi model dengan metrik seperti AUC-ROC atau akurasi.

23. Ordinal Regression

Ordinal Regression digunakan untuk memodelkan hubungan antara variabel ordinal (kategori yang memiliki urutan) dan fitur input.

  • Langkah-langkah:
    1. Mengumpulkan dan membersihkan data.
    2. Membagi data menjadi set pelatihan dan pengujian.
    3. Menentukan model yang sesuai untuk data ordinal.
    4. Menggunakan metode MLE untuk memperkirakan parameter model.
    5. Mengevaluasi model dengan metrik yang sesuai untuk data ordinal.

24. Cox Proportional Hazards Model

Cox Proportional Hazards Model digunakan untuk analisis survival dan memodelkan waktu hingga kejadian tertentu terjadi.

  • Langkah-langkah:
    1. Mengumpulkan dan membersihkan data survival.
    2. Membagi data menjadi set pelatihan dan pengujian.
    3. Menentukan model Cox dengan fungsi hazard yang proporsional.
    4. Menggunakan metode partial likelihood untuk memperkirakan koefisien.
    5. Mengevaluasi model dengan metrik seperti harapan hidup dan fungsi hazard.

25. Least Absolute Shrinkage and Selection Operator (Lasso)

Lasso adalah teknik regresi yang menggabungkan seleksi fitur dan regularisasi untuk meningkatkan akurasi prediksi.

  • Langkah-langkah:
    1. Mengumpulkan dan membersihkan data.
    2. Membagi data menjadi set pelatihan dan pengujian.
    3. Menentukan fungsi regresi linier dengan penalti L1.
    4. Menggunakan metode Lasso untuk memperkirakan koefisien.
    5. Mengevaluasi model dengan metrik seperti Mean Squared Error (MSE).

26. Multinomial Logistic Regression

Multinomial Logistic Regression digunakan untuk klasifikasi multi-kelas, memperluas regresi logistik biner ke lebih dari dua kelas.

  • Langkah-langkah:
    1. Mengumpulkan dan membersihkan data.
    2. Membagi data menjadi set pelatihan dan pengujian.
    3. Menentukan fungsi logit untuk setiap kelas.
    4. Menggunakan MLE untuk memperkirakan koefisien.
    5. Mengevaluasi model dengan metrik seperti akurasi, precision, recall.

27. Conditional Random Fields (CRF)

CRF adalah model grafis yang digunakan untuk memprediksi urutan data seperti teks atau genom.

  • Langkah-langkah:
    1. Mengumpulkan dan membersihkan data urutan.
    2. Membagi data menjadi set pelatihan dan pengujian.
    3. Menentukan potensi fitur dan fungsi potensi.
    4. Melatih model menggunakan metode MLE atau Gradient Descent.
    5. Mengevaluasi model dengan metrik seperti akurasi urutan atau F1-score.

28. Poisson Regression

Poisson Regression digunakan untuk memodelkan jumlah kejadian dalam interval waktu atau ruang tertentu, mengikuti distribusi Poisson.

  • Langkah-langkah:
    1. Mengumpulkan dan membersihkan data kejadian.
    2. Membagi data menjadi set pelatihan dan pengujian.
    3. Menentukan model Poisson untuk memprediksi jumlah kejadian.
    4. Menggunakan MLE untuk memperkirakan koefisien.
    5. Mengevaluasi model dengan metrik seperti deviance atau log-likelihood.

29. Quantile Regression

Quantile Regression digunakan untuk memperkirakan kuantil (percentile) dari variabel target, bukan hanya mean.

  • Langkah-langkah:
    1. Mengumpulkan dan membersihkan data.
    2. Membagi data menjadi set pelatihan dan pengujian.
    3. Menentukan fungsi regresi untuk kuantil tertentu.
    4. Menggunakan metode linear programming untuk memperkirakan koefisien.
    5. Mengevaluasi model dengan metrik seperti Mean Absolute Deviation (MAD).

30. CART (Classification and Regression Trees)

CART adalah metode untuk membuat pohon keputusan untuk klasifikasi dan regresi.

  • Langkah-langkah:
    1. Mengumpulkan dan membersihkan data.
    2. Membagi data menjadi set pelatihan dan pengujian.
    3. Memilih fitur terbaik untuk split menggunakan kriteria seperti Gini impurity atau informasi gain.
    4. Membuat node pohon berdasarkan fitur yang dipilih.
    5. Mengevaluasi model dengan metrik yang sesuai, seperti akurasi, precision, recall.

Setiap algoritma ini memiliki keunikan dan aplikasi yang berbeda, dan pemilihan algoritma tergantung pada karakteristik data dan tujuan analisis.

Komentar

Posting Komentar