Pendekatan dan Model Penilaian Efektivitas (skripsi dan tesis)

Untuk mengetahui efektivitas suatu program, perlu dilakukan penilaian terhadap manfaat atau daya guna program tersebut. Penilaian terhadap manfaat atau daya guna disebut juga dengan evaluasi (Stufflebeam, 1974, dalam Tayibnafis, 2000:3). Dulu, evaluasi hanya berfokus pada hasil yang dicapai.  Jadi, untuk mengevaluasi objek pendidikan, seperti halnya pembelajaran, hanya berfokus pada hasil yang telah dicapai peserta. Akhir-akhir ini, usaha evaluasi ditujukan untuk memperluas atau memperbanyak variable evaluasi dalam bermacam-macam model evaluasi.
Dalam menilai efektivitas program, Tayibnafis (2000) menjelaskan berbagai pendekatan evaluasi, yakni sebagai berikut.

1. Pendekatan eksperimental (experimental approach). Pendekatan ini berasal dari kontrol eksperimen yang biasanya dilakukan dalam penelitian akademik. Tujuannya untuk memperoleh kesimpulan yang bersifat umum tentang dampak suatu program tertentu dengan mengontrol sabanyak-banyaknya faktor dan mengisolasi pengaruh program.
2. Pendekaatan yang berorientasi pada tujuan (goal oriented approach). Pendekatan ini memakai tujuan program sebagai kriteria untuk menentukan keberhasilan. Pendekatan ini amat wajar dan prakits untuk desain pengembangan program. Pendekatan ini memberi petunjuk kepada pengembang program, menjelaskan hubungan antara kegiatan khusus yang ditawarkan dengan hasil yang akan dicapai.
3. Pendekatan yang berfokus pada keputusan (the decision focused approach). Pendekatan ini menekankan pada peranan informasi yang sistematik untuk pengelola program dalam menjalankan tugasnya. Sesuai dengan pandangan ini, informasi akan amat berguna apabila dapat membantu para pengelola program membuat keputusan. Oleh sebab itu, evaluasi harus direncanakan sesuai dengan kebutuhan untuk keputusan program.
4. Pendekatan yang berorientasi pada pemakai (the user oriented approach). Pendekatan ini memfokuskan pada masalah utilisasi evaluasi dengan penekanan pada perluasan pemakaian informasi. Tujuan utamanya adalah pemakaian informasi yang potensial. Evaluator dalam hal ini menyadari sejumlah elemen yang cenderung akan mempengaruhi kegunaan evaluasi, seperti cara-cara pendekatan dengan klien, kepekaan, faktor kondisi, situasi seperti kondisi yang telah ada (pre-existing condition), keadaan organisasi dengan pengaruh masyarakat, serta situasi dimana evaluasi dilakukan dan dilaporkan. Dalam pendekatan ini, teknik analisis data, atau penjelasan tentang tujuan evaluasi memang penting, tetapi tidak sepenting usaha pemakai dan cara pemakaian informasi.
5. Pendekatan yang responsif (the responsive approach). Pendekatan responsif menekankan bahwa evaluasi yang berarti adalah evaluasi yang mencari pengertian suatu isu dari berbagai sudut pandang semua orang yang terlibat, berminat, dan berkepentingan dengan program (stakeholder program). Evaluator menghindari satu jawaban untuk suatu evaluasi program yang diperoleh dengan memakai tes, kuesioner, atau analisis statistik, sebab setiap orang yang dipengaruhi oleh program merasakannya secara unik. Evaluator mencoba menjembatani pertanyaan yang berhubungan dengan melukiskan atau menguraikan kenyataan melalui pandangan orang-orang tersebut. Tujuan evaluasi adalah untuk memahami ihwal program melalui berbagai sudut pandang yang berbeda.

Evaluasi dilakukan dengan pendekatan kualitatif/naturalistik. Pengumpulan data dilakukan dengan observasi dan wawancara, sedangkan instrumen tes atau kuesioner dilakukan sebagai data pendukung serta interpretasi data dilakukan secara impresionistik. Evaluator mengobservasi, merekam, menyeleksi, mengecek pengetahuan awal (preliminary understanding) peserta program, dan mencoba membuat model yang mencerminkan pandangan berbagai kelompok.  Elemen penting dalam pendekatan ini adalah pengumpulan dan penyintesisan data dengan tidak menghindari pengukuran dan teknik analisis data. Dengan jalan ini, evaluator mencoba responsif terhadap orang-orang yang berkepentingan pada hasil evaluasi, bukan pada permintaan desain penelitian atau teknik pengukuran.
Selain melalui pendekatan-pendekatan di atas, efektivitas pembelajaran dapat ditinjau dengan menggunakan berbagai model evaluasi. Salah satu model yang populer adalah model CIPP (Context, Input, Process, Product) yang diajukan oleh Stufflebeam (1972:73) dalam Tim MKDK Kurikulum dan Pembelajaran (2001). Model ini bertitik tolak pada pandangan bahwa keberhasilan program pendidikan dipengaruhi oleh berbagai faktor, antara lain sebagai berikut:

1. Karakterisitk peserta didik dan lingkungan,
2. tujuan program dan peralatan yang dipakai, dan
3. prosedur dan mekanisme pelaksanaan program.

Menurut model ini, terdapat empat dimensi yang perlu dievaluasi sebelum, selama, dan sesudah program pendidikan dikembangkan. Dimensi-dimensi tersebut antara lain sebagai berikut.

1. Konteks (context), merupakan situasi atau latar belakang yang memengaruhi tujuan dan strategi yang dikembangkan, misalnya: kebijakan departemen atau unit kerja yang bersangkutan, sasaran yang ingin dicapai oleh unit kerja, dan masalah ketenagaan yang dihadapi unit kerja.
2. Masukan (input), mencakup bahan, peralatan, dan fasilitas yang disiapkan untuk keperluan program, misalnya: dokumen kurikulum dan bahan ajar yang dikembangkan, staf pengajar yang bertugas, sarana/prasarana yang tersedia, dan media pendidikan yang digunakan.
3. Proses (process), merupakan pelaksanaan nyata dari program pendidikan di kelas/lapangan yang meliputi: pelaksanaan proses pembelajaran, pelaksanaan evaluasi, dan pengelolaan program.
4. Hasil (product), yaitu keseluruhan hasil yang dicapai oleh program. Hasil utama yang diharapkan dari program produktif adalah meningkatnya kompetensi siswa sesuai bidang keahliannya.

Selain model CIPP, model lain dalam evaluasi program yang diperkenalkan Stake (1967:72) dalam Tayibnafis (2000:21) yaitu model Countenance. Model ini menekankan dua dasar dalam evaluasi yaitu description dan judgment, serta membedakannya dalam tiga tahap yaitu antecedents/context, transaction/process, dan outcomes/output. Stake menegaskan bahwa peenilaian suatu program pendidikan, dilakukan dengan membandingkan yang relatif antarsatu program dengan yang lain, atau perbandingan yang absolut (satu program dengan standar). Dalam model ini, antecedents (masukan), transaction (proses), dan outcomes (hasil) dibandingkan tidak hanya untuk menentukan apakah ada perbedaan tujuan dengan keadaan yang sebenarnya, tetapi juga dibandingkan dengan standar yang absolut untuk menilai manfaat program.
Model evaluasi lainnya yang cukup kemprehensif dalam menilai sebuah program pelatihan adalah model Cascio. Marwansyah dan Mukaram (2000) mengemukakan bahwa dengan model Cascio kita dapat mengukur perubahan yang terjadi dalam empat kategori untuk mengetahui efektif tidaknya suatu pelatihan. Kategori-kategori tersebut adalah sebagai berikut.

1. Reaksi peserta terhadap pelatihan dalam bentuk pendapat dan sikap tentang pelatih, cara penyajian materi, kegunaan dan perhatian atas materi pelatihan, serta kesungguhan dan keterlibatan selama latihan berlangsung.
2. Hasil belajar yang mencakup pengetahuan, keterampilan, dan perubahan sikap yang terjadi pada peserta atas materi, media, dan metode belajar yang diterapkan dalam pelatihan, baik selama pelatihan berlangsung atau sesudah pelatihan.
3. Perubahan perilaku yang terjadi sebagai hasil dari kehadiran dalam program pelatihan mencakup rasa tanggung jawabnya terhadap tugas-tugas yang diberikan, memiliki team work atau kerja sama yang kokoh, loyal dan disiplin serta memiliki jiwa kepemimpinan.
4. Hasil yang terkait dengan peningkatan produktivitas atau kualitas organisasi secara keseluruhan dan motivasi yang tinggi dari para lulusan pelatihan setelah mengikuti pendidikan dan latihan, sebagai wujud tercapainya tujuan dari pelatihan itu sendiri.

Kategori evaluasi reaksi dan belajar, lebih mudah dilakukan dibandingkan dengan yang terakhir, yaitu perubahan perilaku dan tercapainya hasil yang optimal. Perubahan perilaku sukar untuk diidentifikasi, karena banyak dipengaruhi oleh faktor-faktor di luar program pelatihan. Akhirnya, dampak pelatihan terhadap hasil yang dicapai merupakan ukuran yang paling signifikan. Hal ini dapat dinilai dengan mengetahui tingkat kepuasan dunia usaha/industri sebagai user dari lulusan.