Pelaksanaan ujian sekolah di MA Manbaul Ulum saat ini masih menggunakan aplikasi Madrasah CBT pihak ketiga yang berbayar dan terbatas, serta belum dilengkapi fitur analisis tingkat kesulitan soal secara objektif, sehingga penentuan tingkat kesulitan masih bergantung pada pertimbangan subjektif guru. Penelitian ini bertujuan mengembangkan sistem bank soal berbasis website yang mampu mengelompokkan dan mengklasifikasikan tingkat kesulitan soal menggunakan algoritma K-Means Clustering dan Naive Bayes. Sistem dikembangkan dengan model Waterfall melalui tahapan analisis kebutuhan, perancangan, implementasi menggunakan Laravel dan MySQL, pengujian, serta pemeliharaan. K-Means Clustering digunakan untuk mengelompokkan soal ke dalam tiga klaster (Mudah, Sedang, Sulit) berdasarkan persentase jawaban benar dan rata-rata waktu pengerjaan, sedangkan hasil klaster tersebut dijadikan data latih bagi algoritma Naive Bayes untuk mengklasifikasikan tingkat kesulitan soal baru secara otomatis. Pengujian dilakukan terhadap 160 butir soal mata pelajaran Matematika dan Bahasa Indonesia yang dikerjakan oleh 22 siswa kelas XII. Hasil pengujian menunjukkan K-Means konvergen bahasa Indonesia iterasi ke-2 sedangkan konvergen pada iterasi ke-4 untuk Matematika dengan distribusi 30% Mudah, 40% Sedang, dan 30% Sulit serta untuk bahasa Indonesia dengan distribusi 13% mudah, 58% sedang, 27% sulit, sementara model Naive Bayes mencapai akurasi 90,00% (F1-Score 0,8963) untuk Matematika dan 90,91% (F1-Score 0,8633) untuk Bahasa Indonesia. Perbandingan label guru dan sistem menunjukkan tingkat kesesuaian 72,5% untuk yang matematika dan untuk bahasa indonesia 85.0%. Hasil Black Box Testing menunjukkan seluruh fitur berfungsi sesuai kebutuhan, dan User Acceptance Testing (UAT) menyatakan sistem layak digunakan. Penelitian ini membuktikan bahwa kombinasi K-Means Clustering dan Naive Bayes efektif menghasilkan sistem deteksi tingkat kesulitan soal yang objektif, otomatis, dan berbasis data hasil pengerjaan siswa.