Clustering On Machine Learning

Clustering

Machine learning clustering adalah salah satu metode dalam machine learning yang digunakan untuk mengelompokkan data ke dalam kelompok-kelompok atau “cluster” berdasarkan kesamaan fitur atau karakteristik. Tujuan utama dari clustering adalah untuk menemukan struktur atau pola tersembunyi dalam data tanpa ada label kelas sebelumnya.

Dalam clustering, algoritma machine learning akan mengelompokkan data berdasarkan kemiripan antara titik data. Kemiripan ini diukur menggunakan metrik jarak, seperti jarak Euclidean atau jarak Manhattan. Data yang memiliki jarak yang lebih dekat dianggap lebih mirip satu sama lain dan dikelompokkan ke dalam cluster yang sama.

Ada beberapa algoritma clustering yang populer yang dapat digunakan dalam machine learning, termasuk:

1. K-Means Clustering: Algoritma ini mencoba untuk mengelompokkan data ke dalam K kelompok yang telah ditentukan sebelumnya. Ini dilakukan dengan meminimalkan jarak antara titik data dan pusat cluster yang sesuai. Algoritma ini menghasilkan partisi data yang kompak dan berbentuk bola.
2. Hierarchical Clustering: Algoritma ini membangun sebuah hirarki cluster dengan menggunakan pendekatan berjenjang. Dimulai dengan setiap titik data sebagai cluster individu, kemudian menggabungkan cluster yang paling mirip secara berulang hingga terbentuk satu cluster besar atau hierarki cluster.
3. Density-Based Spatial Clustering of Applications with Noise (DBSCAN): Algoritma ini mengelompokkan data berdasarkan kepadatan mereka. Itu mengidentifikasi daerah yang padat dan menghubungkan daerah yang dekat satu sama lain dalam cluster. Algoritma ini dapat menangani data yang memiliki bentuk cluster yang kompleks dan bisa mengatasi adanya noise atau outlier.
4. Gaussian Mixture Models (GMM): Algoritma ini menganggap setiap cluster sebagai distribusi Gaussian. Menggunakan metode ekspektasi maksimisasi (expectation-maximization), algoritma ini memperkirakan parameter distribusi Gaussian dan mengelompokkan data berdasarkan probabilitas tertinggi.

Clustering dapat memiliki berbagai aplikasi di berbagai bidang, seperti analisis data, pengelompokan konsumen, segmentasi pasar, pengenalan pola, dan pemrosesan citra. Dengan menggunakan algoritma clustering, kita dapat memperoleh wawasan tentang struktur data dan membuat keputusan yang lebih baik berdasarkan pemahaman tersebut.

K-Means

K-Means adalah salah satu algoritma clustering yang populer dalam machine learning. Ini adalah algoritma yang sederhana tetapi efektif untuk mengelompokkan data ke dalam kelompok-kelompok berdasarkan kesamaan fitur atau karakteristik yang dimiliki oleh data tersebut.

Berikut adalah langkah-langkah dalam algoritma K-Means:

1. Inisialisasi: Tentukan jumlah K cluster yang diinginkan dan inisialisasikan K titik sebagai pusat awal (centroid) secara acak di dalam ruang fitur data.
2. Assignment: Setiap titik data diberikan ke cluster terdekat berdasarkan jarak Euclidean atau jarak Manhattan dari pusat cluster. Titik-titik data ini akan tergabung dalam cluster yang sesuai dengan pusat terdekat.
3. Update: Setelah semua titik data ditempatkan dalam cluster, hitung pusat baru untuk setiap cluster dengan mengambil rata-rata dari semua titik data dalam cluster tersebut. Pusat baru ini akan menjadi pusat cluster yang baru.
4. Iterasi: Langkah kedua dan ketiga diulang sampai tidak ada perubahan dalam penempatan titik data atau pusat cluster lagi. Iterasi terus berlanjut hingga konvergensi, yaitu saat penempatan data dan posisi pusat cluster tidak berubah secara signifikan.
5. Output: Setelah konvergensi, kita mendapatkan pengelompokan final. Setiap titik data akan menjadi anggota dari satu cluster yang memiliki pusat terdekat dengannya.

K-Means memiliki beberapa kelebihan, seperti kemudahan implementasi dan kecepatan komputasi yang baik. Namun, ada beberapa catatan penting yang perlu diperhatikan saat menggunakan algoritma K-Means:

• Hasil clustering dapat dipengaruhi oleh inisialisasi awal yang acak. Solusi yang berbeda-beda dapat ditemukan tergantung pada pusat awal yang dipilih.
• Jumlah cluster (K) harus ditentukan sebelumnya. Memilih jumlah cluster yang tepat dapat menjadi tantangan dan memerlukan pengetahuan domain atau teknik validasi tambahan.
• Algoritma ini tidak dapat menangani data dengan bentuk cluster yang tidak teratur atau ukuran cluster yang tidak seragam. K-Means cenderung menghasilkan cluster yang berbentuk bola dan dengan ukuran yang sama.
• K-Means sensitif terhadap nilai outlier, karena outlier dapat mempengaruhi perhitungan pusat cluster.

Untuk mengatasi beberapa keterbatasan ini, penelitian terus dilakukan dan ada variasi dari K-Means, seperti K-Means++, yang mencoba untuk memilih pusat awal yang lebih baik, dan K-Means dengan metode penentuan jumlah cluster yang lebih otomatis seperti Elbow Method atau Silhouette Method.

Dengan memahami langkah-langkah dan prinsip dasar K-Means, Anda dapat mengimplementasikannya dengan menggunakan library atau bahasa pemrograman yang mendukung operasi matriks dan perhitungan jarak.

K-Means++ vs Elbow Method

K-Means++ dan metode Elbow adalah dua pendekatan yang berbeda untuk memilih jumlah cluster yang optimal dalam algoritma K-Means.

1. K-Means++: K-Means++ adalah sebuah metode untuk inisialisasi awal pusat cluster dalam algoritma K-Means. Tujuan K-Means++ adalah memilih pusat awal yang lebih baik secara acak, dengan harapan menghasilkan hasil clustering yang lebih baik. Perbedaan utama K-Means++ dengan inisialisasi acak biasa adalah sebagai berikut:

• Inisialisasi acak biasa memilih pusat awal secara sepenuhnya acak dari titik-titik data. Hal ini dapat mengarah pada solusi clustering yang buruk atau konvergensi yang lambat.
• K-Means++ menggunakan pendekatan yang cerdas dalam memilih pusat awal. Pertama, satu titik data dipilih secara acak sebagai pusat pertama. Selanjutnya, setiap titik data dipilih sebagai pusat baru dengan probabilitas yang sebanding dengan kuadrat jaraknya dari pusat cluster terdekat yang telah dipilih sebelumnya. Proses ini diulang hingga K pusat awal dipilih. Dengan menggunakan K-Means++, kita cenderung mendapatkan hasil clustering yang lebih baik daripada inisialisasi acak biasa dan dapat mengurangi jumlah iterasi yang diperlukan untuk konvergensi.

1. Metode Elbow: Metode Elbow digunakan untuk menentukan jumlah cluster yang optimal dalam algoritma K-Means. Tujuan dari metode Elbow adalah untuk menemukan jumlah cluster yang memberikan penurunan yang signifikan dalam varians dalam setiap cluster, sehingga secara efektif menggambarkan “siku” pada grafik. Langkah-langkah dalam metode Elbow adalah sebagai berikut:

• Jalankan algoritma K-Means dengan berbagai jumlah cluster (misalnya, dari 1 hingga K maksimum yang ditentukan).
• Untuk setiap konfigurasi jumlah cluster, hitung total varians dalam setiap cluster.
• Plot grafik jumlah cluster versus total varians.
• Temukan titik di mana penurunan varians mulai melambat secara signifikan. Pada titik ini, kurva menyerupai “siku”.
• Jumlah cluster di titik “siku” tersebut dianggap sebagai jumlah cluster optimal. Metode Elbow memberikan pemahaman visual tentang bagaimana varians berubah dengan jumlah cluster yang berbeda. Namun, metode ini bergantung pada interpretasi visual dan subjektivitas pengamat dalam menentukan “siku” yang jelas.

Dalam kesimpulannya, K-Means++ dan metode Elbow adalah dua konsep yang berbeda dalam algoritma K-Means. K-Means++ digunakan untuk memilih pusat awal yang lebih baik, sementara metode Elbow digunakan untuk menentukan jumlah cluster yang optimal berdasarkan perubahan varians. Keduanya dapat digunakan bersama-sama untuk meningkatkan kualitas hasil clustering dalam algoritma K-Means.

Kesimpulan

Dalam ringkasan, berikut adalah poin-poin penting tentang K-Means, K-Means++, dan metode Elbow:

1. K-Means:

• Algoritma clustering yang populer untuk mengelompokkan data ke dalam kelompok berdasarkan kesamaan fitur atau karakteristik.
• Langkah-langkahnya meliputi inisialisasi pusat awal, penempatan titik data ke cluster terdekat, pembaruan pusat cluster, dan iterasi hingga konvergensi.
• Kelebihan K-Means termasuk kemudahan implementasi dan kecepatan komputasi yang baik.
• Keterbatasan K-Means termasuk hasil clustering yang dipengaruhi oleh inisialisasi awal yang acak dan sensitivitas terhadap nilai outlier.

1. K-Means++:

• Variasi dari K-Means yang menggunakan metode cerdas dalam memilih pusat awal secara acak.
• Memilih pusat awal dengan probabilitas sebanding dengan kuadrat jaraknya dari pusat cluster terdekat yang telah dipilih sebelumnya.
• K-Means++ cenderung menghasilkan hasil clustering yang lebih baik daripada inisialisasi acak biasa dan dapat mengurangi jumlah iterasi yang diperlukan untuk konvergensi.

1. Metode Elbow:

• Metode untuk menentukan jumlah cluster yang optimal dalam algoritma K-Means.
• Menganalisis penurunan varians dalam setiap cluster dengan berbagai jumlah cluster.
• Jumlah cluster di titik di mana penurunan varians mulai melambat secara signifikan dianggap sebagai jumlah cluster optimal.
• Metode Elbow memberikan pemahaman visual tentang perubahan varians, tetapi interpretasinya bergantung pada subjektivitas pengamat dalam menentukan “siku” yang jelas.

Dengan menggunakan K-Means++ untuk inisialisasi awal yang lebih baik dan metode Elbow untuk menentukan jumlah cluster yang optimal, kita dapat meningkatkan hasil clustering dalam algoritma K-Means.

Wassalam
Hendra Wijaya