Temuan tersebut penting karena AI semakin sering digunakan untuk mendukung keputusan yang dapat memengaruhi keselamatan, hak, kesejahteraan, dan aktivitas profesional manusia. Ketika sebuah sistem hanya memberikan jawaban tanpa menjelaskan bagaimana atau mengapa rekomendasi tersebut muncul, pengguna berisiko menerima keputusan AI secara otomatis tanpa memahami keterbatasannya.
Ali Ahmad menyoroti persoalan yang sering disebut sebagai masalah black box atau “kotak hitam” AI. Model kecerdasan buatan mampu mengolah data dalam jumlah besar dan menemukan pola kompleks, tetapi proses yang menghasilkan rekomendasi sering kali sulit dipahami oleh pengguna. Kondisi ini menimbulkan pertanyaan tentang transparansi, akuntabilitas, keadilan, dan kemampuan untuk menelusuri kembali proses pengambilan keputusan.
AI Tidak Cukup Hanya Memberikan Jawaban
Dalam berbagai sektor, sistem pendukung keputusan berbasis AI dapat membantu manusia bekerja lebih cepat dan mengolah informasi yang terlalu kompleks untuk dianalisis secara manual. Namun, penelitian ini menegaskan bahwa pengguna tidak hanya membutuhkan hasil akhir.
Mereka juga ingin mengetahui alasan di balik rekomendasi yang diberikan sistem.
Salah satu pengguna profesional yang diwawancarai dalam penelitian tersebut menyampaikan bahwa ia membutuhkan penjelasan mengenai alasan sistem memilih suatu opsi, bukan sekadar menerima hasil akhirnya. Informan lain juga menilai bahwa penjelasan yang terlalu teknis justru dapat membuat pengguna nonteknis kesulitan memahami rekomendasi AI.
Menurut Ahmad, penjelasan AI harus membantu pengguna membentuk pemahaman yang realistis mengenai cara kerja, kemampuan, keterbatasan, dan tingkat ketidakpastian sistem. Dengan demikian, kepercayaan terhadap AI tidak berarti selalu mengikuti rekomendasinya.
Konsep yang lebih penting adalah calibrated trust, yaitu tingkat kepercayaan yang sesuai dengan kemampuan nyata sistem. Pengguna perlu mengetahui kapan rekomendasi AI dapat digunakan sebagai dasar keputusan dan kapan hasil tersebut perlu diperiksa kembali atau bahkan ditolak.
Wawancara dengan 20 Informan
Untuk memahami kebutuhan pengguna terhadap AI yang dapat dijelaskan atau Explainable Artificial Intelligence (XAI), Ali Ahmad menggunakan pendekatan kualitatif eksploratif.
Penelitian melibatkan 20 informan yang terdiri atas:
- 7 pengembang AI
- 5 ahli sistem informasi
- 8 pengguna profesional
Para informan dipilih berdasarkan pengalaman dan keterlibatan mereka dalam pengembangan, evaluasi, atau penggunaan sistem pendukung keputusan berbasis kecerdasan buatan. Seluruh proses pengumpulan data dilakukan melalui wawancara semi-terstruktur.
1. Kejelasan Alasan di Balik Keputusan
Elemen pertama adalah kejelasan alasan keputusan.
Pengguna ingin mengetahui faktor apa yang menyebabkan AI menghasilkan suatu rekomendasi. Sistem tidak cukup hanya mengatakan bahwa suatu pilihan merupakan hasil terbaik. AI juga perlu menunjukkan alasan yang dapat dipahami manusia.
Kejelasan ini menjadi dasar bagi pengguna untuk mengevaluasi apakah rekomendasi sistem masuk akal dan relevan dengan situasi yang sedang dihadapi.
Namun, penelitian ini menunjukkan bahwa informasi teknis tidak selalu berarti penjelasan yang jelas. Penjelasan harus diterjemahkan ke dalam bahasa dan bentuk yang sesuai dengan kebutuhan pengguna.
2. Konsistensi Penjelasan
Faktor kedua adalah konsistensi penjelasan.
Pengguna dapat kehilangan kepercayaan apabila sistem memberikan alasan yang berbeda untuk kondisi yang sebenarnya serupa. Perubahan hasil memang dapat terjadi ketika data atau kondisi berubah, tetapi sistem perlu menjelaskan penyebab perubahan tersebut.
Menurut temuan penelitian, konsistensi membantu pengguna memahami pola kerja AI secara lebih stabil. Penjelasan harus selaras dengan data masukan, hasil rekomendasi, dan kondisi yang memengaruhi keputusan.
Dengan kata lain, AI tidak hanya harus mampu menjelaskan hasilnya, tetapi juga harus memberikan penjelasan yang stabil dan masuk akal ketika menghadapi situasi yang serupa.
3. Keterlacakan Proses
Komponen ketiga adalah keterlacakan proses atau traceability.
Pengguna perlu memiliki kemampuan untuk menelusuri data dan tahapan yang menghasilkan sebuah rekomendasi. Informasi seperti sumber data, proses pengolahan, perubahan model, dan alasan perubahan keputusan dapat membantu proses evaluasi dan audit.
Keterlacakan menjadi penting terutama ketika sistem menghasilkan keputusan yang salah atau tidak sesuai. Dengan adanya jejak proses yang jelas, organisasi dapat memeriksa sumber masalah dan menentukan pihak atau bagian sistem yang perlu diperbaiki.
Penelitian ini menempatkan dokumentasi sumber data, riwayat proses, versi model, dan alasan perubahan rekomendasi sebagai bagian penting dari sistem AI yang bertanggung jawab.
4. Penjelasan Harus Sesuai dengan Konteks Pengguna
Elemen keempat adalah kesesuaian konteks.
Tidak semua pengguna membutuhkan tingkat penjelasan yang sama. Pengembang AI mungkin memerlukan informasi teknis yang mendalam, sementara pengguna profesional yang menggunakan sistem dalam pekerjaan sehari-hari membutuhkan informasi yang lebih praktis dan relevan.
Karena itu, penjelasan yang terlalu panjang dan teknis belum tentu lebih baik.
Penelitian ini menunjukkan bahwa informasi harus disesuaikan dengan tingkat pengetahuan, tugas, kebutuhan, dan konsekuensi keputusan yang dihadapi pengguna. Penjelasan yang baik harus cukup lengkap untuk mendukung evaluasi, tetapi tidak membebani pengguna dengan informasi yang tidak relevan.
Empat Komponen untuk AI yang Lebih Dapat Dipercaya
Keempat unsur tersebut membentuk kerangka konseptual XAI yang dikembangkan dalam penelitian ini:
- Kejelasan alasan keputusan membantu pengguna memahami dasar rekomendasi.
- Konsistensi penjelasan membantu pengguna memahami perilaku sistem secara stabil.
- Keterlacakan proses memungkinkan hasil keputusan diperiksa dan diaudit.
- Kesesuaian konteks memastikan informasi relevan dengan kebutuhan pengguna.
Keempatnya saling melengkapi. Kejelasan membantu pengguna memahami keputusan, konsistensi menjaga stabilitas pemahaman, keterlacakan memungkinkan verifikasi, dan kesesuaian konteks memastikan penjelasan benar-benar dapat digunakan dalam proses pengambilan keputusan.
Ali Ahmad dari Universitas Darunnajah menekankan bahwa AI tidak dapat disebut dapat dipercaya hanya karena mampu menampilkan alasan di balik prediksinya. Penjelasan tersebut harus membantu pengguna memahami rekomendasi, memeriksa proses yang mendasarinya, dan menilai apakah hasilnya relevan untuk digunakan.
Implikasi bagi Pengembang, Organisasi, dan Pembuat Kebijakan
Kerangka ini dapat menjadi panduan bagi pengembang dan organisasi yang menerapkan AI dalam sistem pendukung keputusan.
Pengembang tidak cukup hanya menambahkan fitur yang menunjukkan faktor-faktor yang memengaruhi prediksi. Sistem juga perlu menyediakan informasi yang mudah dipahami, stabil, dapat ditelusuri, dan dapat disesuaikan dengan karakteristik pengguna.
Bagi organisasi, hasil penelitian ini menunjukkan pentingnya dokumentasi sumber data, riwayat pemrosesan, versi model, tingkat ketidakpastian, serta alasan perubahan rekomendasi. Informasi tersebut dapat membantu meningkatkan transparansi sekaligus memudahkan proses audit ketika terjadi kesalahan atau sengketa atas keputusan yang melibatkan AI.
Kerangka tersebut juga relevan bagi sektor kesehatan, pendidikan, keuangan, pemerintahan, dan industri. Dalam bidang-bidang yang melibatkan keputusan penting, pengguna perlu tetap memiliki kemampuan untuk mengevaluasi rekomendasi AI, bukan sekadar menerima hasil yang diberikan sistem.
Masih Berupa Kerangka Konseptual
Meski menawarkan panduan penting bagi pengembangan AI yang lebih transparan, penelitian ini memiliki sejumlah keterbatasan.
Studi hanya melibatkan 20 informan yang dipilih secara purposif, sehingga hasilnya tidak dimaksudkan untuk digeneralisasi secara statistik. Selain itu, kerangka XAI yang dihasilkan masih bersifat konseptual dan belum diuji melalui pengembangan prototipe sistem.
Penelitian lanjutan perlu membangun sistem berdasarkan empat komponen tersebut dan mengujinya dalam berbagai sektor. Pengujian dapat menilai tingkat pemahaman pengguna, akurasi keputusan, kepercayaan terhadap sistem, kemampuan mendeteksi kesalahan, serta perilaku pengguna dalam menerima atau menolak rekomendasi AI.
Temuan ini pada akhirnya mengingatkan bahwa masa depan AI tidak hanya ditentukan oleh seberapa akurat mesin membuat prediksi. Sistem AI juga harus mampu menjelaskan dirinya dengan cara yang dapat dipahami, diperiksa, dan digunakan secara bertanggung jawab oleh manusia.
Profil Penulis
Ali Ahmad adalah penulis artikel “Explainable Artificial Intelligence Framework for Trustworthy Decision Support Systems” dan berafiliasi dengan Universitas Darunnajah. Berdasarkan informasi artikel, bidang kajian yang menjadi fokus penulis mencakup Explainable Artificial Intelligence (XAI), sistem pendukung keputusan, kepercayaan pengguna, transparansi, dan analisis tematik. Gelar akademik penulis tidak dicantumkan dalam artikel yang tersedia.
Sumber Penelitian
Ahmad, Ali. “Explainable Artificial Intelligence Framework for Trustworthy Decision Support Systems.” Formosa Journal of Science and Technology (FJST), Vol. 5, No. 8, 2026, halaman 2213–2228.
0 Komentar