{"id":60,"date":"2026-09-27T23:02:56","date_gmt":"2026-09-27T23:02:56","guid":{"rendered":"https:\/\/ricokurniawan.com\/web\/?p=60"},"modified":"2026-09-28T02:03:07","modified_gmt":"2026-09-28T02:03:07","slug":"training-validation-testing-dan-cross-validation-mengapa-data-machine-learning-harus-dipisahkan","status":"publish","type":"post","link":"https:\/\/ricokurniawan.com\/web\/2026\/09\/27\/training-validation-testing-dan-cross-validation-mengapa-data-machine-learning-harus-dipisahkan\/","title":{"rendered":"Training, Validation, Testing, dan Cross-Validation: Mengapa Data Machine Learning Harus Dipisahkan?"},"content":{"rendered":"\n

Pada artikel sebelumnya kita membahas bahwa salah satu orientasi utama Machine Learning adalah prediction<\/strong>: membangun model dari data yang tersedia agar mampu memberikan prediksi yang baik pada data baru.<\/p>\n\n\n\n

Namun muncul pertanyaan penting:<\/p>\n\n\n\n

\n

Bagaimana kita mengetahui bahwa model benar-benar mampu memprediksi data baru, dan bukan sekadar menghafal data yang digunakan untuk membangunnya?<\/strong><\/p>\n<\/blockquote>\n\n\n\n

Di sinilah konsep training, validation, testing, dan cross-validation<\/strong> menjadi sangat penting.<\/p>\n\n\n\n

Secara sederhana, prinsipnya adalah:<\/p>\n\n\n\n

Model belajar dari satu bagian data, tetapi harus diuji menggunakan data yang tidak digunakan untuk belajar.<\/strong><\/p>\n\n\n\n

Mengapa Tidak Menggunakan Seluruh Data Sekaligus?<\/h2>\n\n\n\n

Bayangkan kita mempunyai data 10.000 orang untuk mengembangkan model prediksi hipertensi.<\/p>\n\n\n\n

Variabel yang tersedia antara lain:<\/p>\n\n\n\n

    \n
  • umur,<\/li>\n\n\n\n
  • jenis kelamin,<\/li>\n\n\n\n
  • indeks massa tubuh,<\/li>\n\n\n\n
  • aktivitas fisik,<\/li>\n\n\n\n
  • status merokok,<\/li>\n\n\n\n
  • denyut nadi,<\/li>\n\n\n\n
  • dan status hipertensi.<\/li>\n<\/ul>\n\n\n\n

    Kita kemudian menggunakan seluruh 10.000 data tersebut untuk membangun model.<\/p>\n\n\n\n

    Setelah model selesai, kita mengevaluasinya menggunakan 10.000 orang yang sama.<\/p>\n\n\n\n

    Hasilnya:<\/p>\n\n\n\n

    Accuracy = 95%<\/strong><\/p>\n\n\n\n

    Apakah berarti model kita sangat bagus?<\/p>\n\n\n\n

    Belum tentu.<\/strong><\/p>\n\n\n\n

    Model sudah pernah melihat seluruh data tersebut selama proses pembelajaran. Karena itu, performa yang tinggi dapat mencerminkan kemampuan model menyesuaikan diri terhadap data yang sudah diketahui, bukan kemampuannya menghadapi data baru.<\/p>\n\n\n\n

    Situasi ini dapat dianalogikan dengan seorang mahasiswa yang diuji menggunakan soal yang persis sama dengan soal yang sudah diberikan beserta jawabannya saat belajar.<\/p>\n\n\n\n

    Yang ingin kita ukur sebenarnya adalah:<\/p>\n\n\n\n

    \n

    Apakah ia tetap dapat menjawab ketika diberikan soal yang belum pernah dilihat sebelumnya?<\/strong><\/p>\n<\/blockquote>\n\n\n\n

    Dalam Machine Learning, prinsip ini disebut generalization<\/strong>.<\/p>\n\n\n\n

    Training Data: Tempat Model Belajar<\/h1>\n\n\n\n

    Bagian pertama adalah training set<\/strong>.<\/p>\n\n\n\n

    Training data digunakan untuk membangun model.<\/p>\n\n\n\n

    Misalnya:<\/p>\n\n\n\n

    10.000 observation<\/strong> –> 8.000 Training Data<\/strong> –> Machine Learning Algorithm<\/strong> –> Trained Model<\/strong><\/p>\n\n\n\n

    Pada tahap inilah algoritma mempelajari hubungan antara features dengan target.<\/p>\n\n\n\n

    Sebagai contoh:<\/p>\n\n\n\n

    Age + BMI + Smoking + Physical Activity + Pulse<\/strong> –> Training<\/strong> –> Prediction Model for Hypertension<\/strong><\/p>\n\n\n\n

    Model dapat menyesuaikan parameter, memilih pola, atau membentuk struktur berdasarkan algoritma yang digunakan.<\/p>\n\n\n\n

    Karena itu:<\/p>\n\n\n\n

    \n

    Training data adalah data yang boleh \u201cdilihat\u201d oleh model ketika belajar.<\/strong><\/p>\n<\/blockquote>\n\n\n\n

    Testing Data: Ujian Akhir untuk Model<\/h1>\n\n\n\n

    Sebagian data kemudian disimpan sebagai test set<\/strong>.<\/p>\n\n\n\n

    Misalnya:<\/p>\n\n\n\n

    80% Training<\/strong><\/p>\n\n\n\n

    20% Testing<\/strong><\/p>\n\n\n\n

    Test data tidak digunakan untuk membangun model.<\/p>\n\n\n\n

    Setelah proses training selesai:<\/p>\n\n\n\n

    Trained Model<\/strong> –> Testing Data yang belum pernah dilihat<\/strong> –> Prediction<\/strong> –> Compare Prediction vs Actual Outcome<\/strong><\/p>\n\n\n\n

    Dari sini kita dapat menghitung berbagai ukuran performance seperti:<\/p>\n\n\n\n

      \n
    • accuracy,<\/li>\n\n\n\n
    • sensitivity,<\/li>\n\n\n\n
    • specificity,<\/li>\n\n\n\n
    • precision,<\/li>\n\n\n\n
    • recall,<\/li>\n\n\n\n
    • F1-score,<\/li>\n\n\n\n
    • ROC-AUC,<\/li>\n\n\n\n
    • dan calibration.<\/li>\n<\/ul>\n\n\n\n

      TRIPOD+AI, pedoman terbaru untuk pelaporan model prediksi menggunakan regression maupun Machine Learning, menekankan pentingnya evaluasi performa model, termasuk discrimination, calibration, dan clinical utility. [3]<\/p>\n\n\n\n

      Dengan demikian, test data mempunyai fungsi yang sangat spesifik:<\/p>\n\n\n\n

      \n

      memberikan gambaran yang lebih objektif mengenai bagaimana model bekerja pada data yang tidak digunakan untuk mengembangkannya.<\/strong><\/p>\n<\/blockquote>\n\n\n\n

      Lalu, Apa Fungsi Validation Data?<\/h1>\n\n\n\n

      Persoalannya, selama membangun model kita sering harus membuat banyak keputusan.<\/p>\n\n\n\n

      Misalnya:<\/p>\n\n\n\n

      Random Forest<\/strong><\/p>\n\n\n\n

      Berapa jumlah trees?<\/p>\n\n\n\n

      Decision Tree<\/strong><\/p>\n\n\n\n

      Berapa maksimum kedalamannya?<\/p>\n\n\n\n

      k-Nearest Neighbors<\/strong><\/p>\n\n\n\n

      Berapa nilai k<\/em>?<\/p>\n\n\n\n

      Neural Network<\/strong><\/p>\n\n\n\n

      Berapa layer dan neuron yang digunakan?<\/p>\n\n\n\n

      Pilihan seperti ini disebut hyperparameters<\/strong>.<\/p>\n\n\n\n

      Jika kita terus mencoba berbagai konfigurasi dan memilih model berdasarkan performance pada test data, maka secara tidak langsung test data telah ikut digunakan dalam proses pengembangan.<\/p>\n\n\n\n

      Test set tidak lagi benar-benar independen.<\/p>\n\n\n\n

      Karena itu kita dapat menambahkan:<\/p>\n\n\n\n

      validation set<\/strong>.<\/p>\n\n\n\n

      Workflow-nya menjadi:<\/p>\n\n\n\n

      Training Data<\/strong> = untuk membangun model<\/p>\n\n\n\n

      Validation Data<\/strong> = untuk memilih model dan hyperparameter<\/p>\n\n\n\n

      Testing Data<\/strong> = untuk evaluasi akhir<\/p>\n\n\n\n

      Mengapa Cross-Validation Dibutuhkan?<\/h1>\n\n\n\n

      Membagi dataset sekali saja mempunyai kelemahan.<\/p>\n\n\n\n

      Misalnya kita melakukan:<\/p>\n\n\n\n

      80% training<\/strong><\/p>\n\n\n\n

      dan<\/p>\n\n\n\n

      20% validation<\/strong><\/p>\n\n\n\n

      Bagaimana jika secara kebetulan validation set berisi kelompok yang lebih mudah atau lebih sulit diprediksi?<\/p>\n\n\n\n

      Hasil evaluasi dapat berubah hanya karena pembagian data.<\/p>\n\n\n\n

      Salah satu pendekatan yang umum digunakan untuk mengurangi masalah tersebut adalah:<\/p>\n\n\n\n

      Cross-Validation<\/h1>\n\n\n\n

      Metode yang sangat populer adalah k-fold cross-validation<\/strong>.<\/p>\n\n\n\n

      Misalnya:<\/p>\n\n\n\n

      5-Fold Cross-Validation<\/strong><\/p>\n\n\n\n

      Data dibagi menjadi lima bagian:<\/p>\n\n\n\n

      Fold 1 | Fold 2 | Fold 3 | Fold 4 | Fold 5<\/strong><\/p>\n\n\n\n

      Pada putaran pertama:<\/p>\n\n\n\n

      Fold 1 = Validation<\/strong><\/p>\n\n\n\n

      Fold 2\u20135 = Training<\/p>\n\n\n\n

      Putaran kedua:<\/p>\n\n\n\n

      Fold 2 = Validation<\/strong><\/p>\n\n\n\n

      Fold 1, 3, 4, 5 = Training<\/p>\n\n\n\n

      Proses tersebut dilanjutkan sampai seluruh fold pernah menjadi validation data.<\/p>\n\n\n\n

      Akhirnya kita memperoleh lima hasil performance yang kemudian dapat diringkas, misalnya menggunakan rata-rata.<\/p>\n\n\n\n

      Cross-validation merupakan salah satu metode penting dalam model assessment dan model selection<\/strong> dan dibahas secara fundamental dalam literatur statistical learning. [1,2]<\/p>\n\n\n\n

      Contoh Sederhana<\/h1>\n\n\n\n

      Misalnya kita ingin membandingkan tiga model prediksi hipertensi:<\/p>\n\n\n\n

      Logistic Regression<\/strong><\/p>\n\n\n\n

      Random Forest<\/strong><\/p>\n\n\n\n

      Support Vector Machine<\/strong><\/p>\n\n\n\n

      Dengan 5-fold cross-validation kita memperoleh:<\/p>\n\n\n\n

      Model<\/th>Mean AUC<\/th><\/tr>
      Logistic Regression<\/td>0,79<\/td><\/tr>
      Random Forest<\/td>0,82<\/td><\/tr>
      Support Vector Machine<\/td>0,80<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

      Hasil ini dapat membantu kita memilih model dan melakukan tuning.<\/p>\n\n\n\n

      Setelah seluruh proses pengembangan selesai, model yang dipilih kemudian dievaluasi sekali lagi menggunakan test set yang sejak awal disimpan terpisah<\/strong>.<\/p>\n\n\n\n

      Konsepnya menjadi:<\/p>\n\n\n\n

      Development Data<\/strong><\/p>\n\n\n\n

      \u2192 Training
      \u2192 Cross-Validation
      \u2192 Hyperparameter Tuning
      \u2192 Model Selection<\/p>\n\n\n\n

      kemudian:<\/p>\n\n\n\n

      Independent Test Data<\/strong><\/p>\n\n\n\n

      \u2192 Final Evaluation<\/p>\n\n\n\n

      Jangan Sampai Terjadi Data Leakage<\/h1>\n\n\n\n

      Memisahkan training dan testing belum cukup jika proses pengolahan datanya salah.<\/p>\n\n\n\n

      Salah satu masalah yang sangat penting dalam Machine Learning adalah:<\/p>\n\n\n\n

      Data Leakage<\/h1>\n\n\n\n

      Data leakage terjadi ketika informasi dari validation atau test data secara tidak sengaja masuk ke dalam proses training.<\/p>\n\n\n\n

      Contoh sederhana adalah melakukan standardisasi menggunakan:<\/p>\n\n\n\n

      mean dan standard deviation seluruh dataset<\/strong><\/p>\n\n\n\n

      sebelum data dibagi menjadi training dan testing.<\/p>\n\n\n\n

      Model secara tidak langsung telah memperoleh informasi dari test data.<\/p>\n\n\n\n

      Workflow yang lebih tepat adalah:<\/p>\n\n\n\n

      Split Data<\/strong> — > Training Data<\/strong><\/p>\n\n\n\n

        \n
      • Hitung mean, SD, imputasi, feature selection, dan preprocessing lainnya<\/li>\n\n\n\n
      • Terapkan parameter tersebut pada validation\/test data.<\/li>\n<\/ul>\n\n\n\n

        Prinsip dasarnya:<\/p>\n\n\n\n

        \n

        Informasi dari masa depan atau dari test set tidak boleh digunakan untuk membantu model belajar.<\/strong><\/p>\n<\/blockquote>\n\n\n\n

        Masalah Khusus pada Data Kesehatan<\/h1>\n\n\n\n

        Dalam data kesehatan, pemisahan data membutuhkan perhatian tambahan.<\/p>\n\n\n\n

        Misalnya satu pasien mempunyai 10 kali kunjungan.<\/p>\n\n\n\n

        Jika lima kunjungan masuk training dan lima kunjungan lainnya masuk testing, sebenarnya model sudah pernah \u201cmelihat\u201d pasien yang sama.<\/p>\n\n\n\n

        Performance model dapat terlihat lebih tinggi daripada kemampuan sebenarnya ketika menghadapi pasien baru.<\/p>\n\n\n\n

        Dalam kondisi seperti ini, splitting sebaiknya dilakukan pada:<\/p>\n\n\n\n

        patient level<\/strong><\/p>\n\n\n\n

        bukan sekadar:<\/p>\n\n\n\n

        row level<\/strong>.<\/p>\n\n\n\n

        Prinsip yang sama berlaku pada data longitudinal, rumah sakit, fasilitas kesehatan, atau wilayah.<\/p>\n\n\n\n

        Kadang evaluasi yang lebih realistis justru menggunakan:<\/p>\n\n\n\n

        temporal validation<\/strong><\/p>\n\n\n\n

        misalnya model dibangun menggunakan data 2020\u20132024 dan diuji pada data 2025,<\/p>\n\n\n\n

        atau:<\/p>\n\n\n\n

        geographical\/external validation<\/strong><\/p>\n\n\n\n

        misalnya model dibangun menggunakan data Jakarta dan diuji pada populasi Jawa Barat.<\/p>\n\n\n\n

        Internal Evaluation vs External Evaluation<\/h1>\n\n\n\n

        Ada perbedaan penting antara mengevaluasi model menggunakan data dari sumber yang sama dengan mengevaluasinya pada populasi yang benar-benar berbeda.<\/p>\n\n\n\n

        Internal Evaluation<\/h3>\n\n\n\n

        Misalnya:<\/p>\n\n\n\n

        Cross-validation<\/strong><\/p>\n\n\n\n

        Bootstrapping<\/strong><\/p>\n\n\n\n

        atau pemisahan development\/test dari dataset yang sama.<\/p>\n\n\n\n

        Tujuannya mengetahui seberapa stabil model dalam data pengembangan.<\/p>\n\n\n\n

        TRIPOD+AI memasukkan train-test split, cross-validation, dan bootstrapping sebagai pendekatan untuk internal validation\/evaluation<\/strong> model prediksi. [3]<\/p>\n\n\n\n

        External Evaluation<\/h3>\n\n\n\n

        Model diuji pada:<\/p>\n\n\n\n

          \n
        • rumah sakit berbeda,<\/li>\n\n\n\n
        • daerah berbeda,<\/li>\n\n\n\n
        • periode waktu berbeda,<\/li>\n\n\n\n
        • atau populasi berbeda.<\/li>\n<\/ul>\n\n\n\n

          External evaluation memberikan pertanyaan yang lebih sulit:<\/p>\n\n\n\n

          \n

          Apakah model masih bekerja ketika keluar dari lingkungan tempat ia dikembangkan?<\/strong><\/p>\n<\/blockquote>\n\n\n\n

          Untuk model kesehatan yang akan digunakan secara luas, pertanyaan ini sangat penting.<\/p>\n\n\n\n

          Apakah Semakin Banyak Training Data Selalu Lebih Baik?<\/h1>\n\n\n\n

          Secara umum, model memang memperoleh manfaat dari lebih banyak data training. Namun bukan berarti kita harus memasukkan seluruh data ke training set dan menghilangkan evaluasi independen. Kita tetap membutuhkan mekanisme untuk mengetahui apakah model mampu melakukan generalisasi.<\/p>\n\n\n\n

          Pada dataset yang relatif kecil, pembagian train-validation-test secara sederhana bahkan dapat membuang banyak informasi. Karena itu cross-validation atau bootstrapping sering menjadi pendekatan yang lebih efisien untuk internal evaluation.<\/p>\n\n\n\n

          Pemilihan strategi harus mempertimbangkan:<\/p>\n\n\n\n

            \n
          • jumlah data,<\/li>\n\n\n\n
          • prevalensi outcome,<\/li>\n\n\n\n
          • struktur longitudinal,<\/li>\n\n\n\n
          • clustering,<\/li>\n\n\n\n
          • tujuan prediction,<\/li>\n\n\n\n
          • dan populasi target.<\/li>\n<\/ul>\n\n\n\n

            Tidak ada satu rasio seperti 80:20<\/strong> atau 70:30<\/strong> yang otomatis selalu benar untuk semua penelitian.<\/p>\n\n\n\n

            Referensi<\/h2>\n\n\n\n
              \n
            1. Hastie T, Tibshirani R, Friedman J. The Elements of Statistical Learning: Data Mining, Inference, and Prediction<\/em>. 2nd ed. New York: Springer; 2009. doi:10.1007\/978-0-387-84858-7.<\/li>\n\n\n\n
            2. James G, Witten D, Hastie T, Tibshirani R. An Introduction to Statistical Learning: with Applications in R<\/em>. 2nd ed. New York: Springer; 2021. doi:10.1007\/978-1-0716-1418-1.<\/li>\n\n\n\n
            3. Collins GS, Moons KGM, Dhiman P, et al. TRIPOD+AI statement: updated guidance for reporting clinical prediction models that use regression or machine learning methods. BMJ<\/em>. 2024;385. doi:10.1136\/bmj-2023-078378.<\/li>\n<\/ol>\n","protected":false},"excerpt":{"rendered":"

              Pada artikel sebelumnya kita membahas bahwa salah satu orientasi utama Machine Learning adalah prediction: membangun model dari data yang tersedia agar mampu memberikan prediksi yang baik\u2026<\/p>\n","protected":false},"author":1,"featured_media":63,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[3],"tags":[],"class_list":["post-60","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-applied-ai-ml-for-publich-health"],"_links":{"self":[{"href":"https:\/\/ricokurniawan.com\/web\/wp-json\/wp\/v2\/posts\/60","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/ricokurniawan.com\/web\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/ricokurniawan.com\/web\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/ricokurniawan.com\/web\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/ricokurniawan.com\/web\/wp-json\/wp\/v2\/comments?post=60"}],"version-history":[{"count":1,"href":"https:\/\/ricokurniawan.com\/web\/wp-json\/wp\/v2\/posts\/60\/revisions"}],"predecessor-version":[{"id":61,"href":"https:\/\/ricokurniawan.com\/web\/wp-json\/wp\/v2\/posts\/60\/revisions\/61"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/ricokurniawan.com\/web\/wp-json\/wp\/v2\/media\/63"}],"wp:attachment":[{"href":"https:\/\/ricokurniawan.com\/web\/wp-json\/wp\/v2\/media?parent=60"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/ricokurniawan.com\/web\/wp-json\/wp\/v2\/categories?post=60"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/ricokurniawan.com\/web\/wp-json\/wp\/v2\/tags?post=60"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}