P. 1
Evaluasi Kinerja

Evaluasi Kinerja

|Views: 1,320|Likes:
Published by abekaforum

More info:

Published by: abekaforum on Feb 08, 2010
Copyright:Attribution Non-commercial

Availability:

Read on Scribd mobile: iPhone, iPad and Android.
download as PDF, TXT or read online from Scribd
See more
See less

12/26/2012

pdf

text

original

KEMENTERIAN PENDAYAGUNAAN APARATUR NEGARA DEPUTI BIDANG AKUNTABILITAS APARATUR

MODUL PELATIHAN

Evaluasi Kinerja Instansi
Berbasis Evaluasi Program

© Tim Studi Pengembangan Sistem Akuntabilitas Kinerja Instansi Pemerintah

JAKARTA, MEI 2005

DAFTAR ISI

BAB 1 BAB 2 BAB 3

PENDAHULUAN .............................................................. 1 PROSES DAN DESAIN EVALUASI PROGRAM .......... LANGKAH-LANGKAH DAN PETUNJUK EVALUASI PROGRAM .................................................... 10 3

BAB 4

METODE PRAKTIS EVALUASI/RIVIU PROGRAM .... 13

LAMPIRAN 1 PENJELASAN DAN CONTOH-CONTOH RIVIU INDIKATOR KINERJA ............................................... 22

BAB 1

PENDAHULUAN
PERLUNYA EVALUASI PROGRAM Evaluasi program-program pemerintah merupakan tanggung jawab pemerintah sebagai pelaksana kemauan politik pemerintah dan dewan yang telah dirumuskan bersama. Evaluasi terhadap program menjadi sangat penting jika dikaitkan dengan peningkatan akuntabilitas instansi. Tujuan dari evaluasi program, paling tidak ada empat tujuan umum, seperti: 1) Memperbaiki pelaksanaan program (penerapan dan hasilnya); 2) Menuntun arah kebijakan dan inisiatif-inisiatif program di masa yang akan datang; 3) Memperoleh atau meningkatkan pengetahuan, mendapatkan pemahaman yang lebih baik (insight) atau menguji suatu teori sosial atau ekonomi; 4) Meningkatkan akuntabilitas.

AKUNTABILITAS PROGRAM Evaluasi program yang dilakukan oleh pelaksana dan penanggung jawab program merupakan bentuk dari akuntabilitas para penyelenggara program itu agar dapat selalu meyakinkan bahwa tujuan program dapat dicapai dan sesuai dengan misi yang dijalankan oleh instansi. Akuntabilitas program akan dapat dinilai dari hasil program tersebut yang dinikmati oleh peserta program atau masyarakat yang menjadi target group program. Ini berarti inti dari akuntabilitas program adalah akuntabiltias terhadap outcomes yang dapat diwujudkan oleh program tersebut.

MENONJOLKAN OUTCOME PADA MONITORING PROGRAM Pelaporan kinerja instansi pemerintah sering kali dilakukan kurang mengungkapkan pencapaian kinerja yang menggambarkan outcomes yang bisa dicapai. Hal ini tentulah bagi masyarakat kurang memuaskan, walaupun dari jaman ke jama keadaan ini selalu saja terjadi. Para pelaksana program dan para pejabat penanggung jawab program hanya mau kalau dimintai pertanggung jawaban sebatas pada output saja. Sedangkan jika ditanya mengenai outcomes mereka cenderung mengelak dengan alasan itu tidak dalam pengendaliannya (uncontrollable variables). Sedangkan masyarakat berpendapat lain, semestinya adanya pemerintah tentulah untuk membawa manfaat bagi masyarakat.

1

Beberapa negara dalam OECD (organization for economic cooperation and development) bersepakat tentang daftar yang menjadi perhatian (concern) yang menggambarkan “social concern” sebagai berikut: a. Umur hidup (length of life); b. Kesehatan hidup; c. Penggunaan fasilitas pendidikan; d. Learning (pembelajaran); e. Kemampuan angkatan kerja; f. Kondisi kerja; g. Penggunaan waktu (leisure); h. Pendapatan (income, including distribution); i. Kemakmuran; j. Kondisi perumahan; k. Akses kepada pelayanan sosial (pendidikan, perumahan, kesehatan, dll.) l. Mutu lingkungan (environmental nuisances); m. Social attachment (sense of belonging, marginalization, etc) n. Exposure to risk and perceive threat (kriminalitas, keamanan pribadi, kerusuhan, keamanan, keadilan, dll.). Penggambaran tentang apa yang dibutuhkan, diinginkan dan diharapkan masyarakat negara-negara itu meliputi hasil-hasil (outcomes) di atas, harus bisa diciptakan baik melalui intervensi kebijakan pemerintah maupun oleh pihak masyarakat sendiri. Karena itu, program-program pemerintah-pun diharapkan menyentuh hal-hal seperti daftar di atas.

APA YANG PERLU DILAKUKAN Meningkatkan kinerja organisasi dapat dicapai melalui antara lain dengan meningkatkan kinerja pelaksanaan program. Pelaksanaan program dapat menjadi sampel apakah suatu organisasi telah melaksanakan misinya dengan baik dan akuntabel. Oleh karena itu, evaluasi program jika dijalankan akan merupakan bentuk dari kepedulian para manajer pelaksana program. Jika evaluasi program sudah dilakukan atau akan dilakukan yang perlu menjadi perhatian adalah perlunya mengecek kembali cara mengelola program, termasuk cara memonitor dan mengevaluasi program. Perbaikan sistem dan metode untuk pelaksanaan akan dapat dilakukan jika secara terus menerus dilakukan pengamatan dan melihat berbagai kemungkinan perbaikan. Terdapat dua pendekatan yang dibahas dalam modul ini, yaitu: 1) Evaluasi program yang dilakukan secara mendalam seperti halnya riset terapan; 2) Evaluasi program yang dilakukan secara pragmatis, yang mengejar kepraktisan pelaksanaan dan manfaat praktis dari evaluasi ini. Kedua pendekatan ini di dalam pembahasannya pada modul ini memang tersebar dari bab 1 sampai dengan bab 4. Bab terakhir yaitu bab 4, membahas lebih rinci mengenai evaluasi program dengan pendekatan pragmatis.

2

BAB 2

PROSES DAN DESAIN EVALUASI PROGRAM
OVERVIEW Tugas yang mendasar dari evaluasi program Sekali suatu program ditentukan akan dievaluasi, maka itu berarti bahwa evaluasi program dilakukan atas prinsip dasar bahwa sumber daya dan aktivitas yang dilakukan untuk melaksanakan program tersebut membuahkan hasil baik output atau outcomes yang telah ditentukan. Tugas dari evaluasi program adalah menentukan apakah output dan outcomes tersebut bisa diwujudkan atau terealisasikan. Evaluasi itu tentulah melalui pengumpulan dan analisis data yang memadai. Dalam hal evaluasi program dilakukan secara komprehensif, maka evaluasi itu mencakup: a. Monitoring program, ini adalah penilaian apakah suatu program dilaksanakan sebagaimana direncanakan. Monitoring program ini akan memberikan umpan balik yang terus menerus pada program yang dilaksanakan dan mengidentifikasikan masalah begitu muncul. b. Evaluasi proses; ini merupakan penilaian bagaimana program dioperasikan; berfokus pada pelaksanaan program kepada peserta (service delivery). c. Evaluasi dampak, ini adalah penilaian apakian suatu program telah mewujudkan pengaruh terhadap individu-individu, rumah tangga, lembaga atau lingkungan hidup, dan apakah dampak tersebut dapat secara ilmiah diatribusikan kepada pelaksanaan intervensi program tersebut. d. Cost-benefit atau cost effectiveness, adalah penilaian dari biaya program dan manfaat yang dihasilkan oleh biaya tersebut, untuk menentukan apakah manfaatnya cukup bernilai dibandingkan biaya yang digunakan. Komponen-komponen Umum pada Proses Evaluasi Proses dasar evaluasi biasanya terdiri dari beberapa komponen atau unsur sebagai berikut: 1. Komponen pertama: Analisis Logika Program (Program Logic) Bahwa setiap kebijakan publik dirumuskan dan diimplementasikan untuk menjawab kebutuhan sosial atau permasalahan sosial. Ini akan mencerminkan tujuan dan sasaran program yang dirancang. Untuk mencapai tujuan dan sasaran tersebut, program itu menggunakan input dan proses untuk mengkonversi input tersebut menjadi immediate outputs dan sampai ke long-term outcomes.

3

2. Komponen kedua: Desain Evaluasi Desain evaluasi adalah pendekatan atau cara-cara yang diambil dalam memverifikasi apakah program logic atau program theory itu terjadi dan direalisasikan dalam kenyataan di lapangan. Wujud dan nuasa dari control-stage evaluation dari program secara analitikal berbeda dari suatu planning-stage evaluation untuk kelayakannya. Perbedaan yang penting adalah bahwa control evaluation adalah secara empiris dan lebih independen dari pada instansi pelaksana, sedangkan pada planningstage evaluation lebih banyak berhubungan dengan kelayakan dan masalah potensial dari implementasi program. 3. Komponen ketiga: Metode Analisis Metode analisis untuk pengukuran dan kualifikasi output program dan outcomes-nya biasanya mengoperasikan analisis dengan alat statistika, ekonometrika, sosiometrika, dan sebagainya. Teknik statistik biasaya mencakup analisis korelasi dan regresi dari dua cara yang berbeda (target group versus kelompok lain yang tidak menjadi peserta program), dan uji signifikansi dari perbedaan-perbedaan itu.

BEBERAPA TAHAPAN EVALUASI PROGRAM Terdapat pendekatan pemecahan masalah yang dapat dipakai dalam evaluasi program yang meliputi beberapa masalah yang diidentifikasi sebagai berikut: 1) masalah tujuan; untuk apa evaluasi dilakukan? 2) masalah organisasi (dari sisi evaluator); siapa yang melakukan evaluasi, dan bagaimana mengorganisasikan? 3) Masalah analisis program; bagaimana program dijelaskan atau ciri-cirinya bisa diuraikan? Apakan pihak yang dievaluasi mandiri dalam melaksanakan program ini ataukah bagian dari sekumpulan instansi? 4) Masalah konversi; bagaimana proses implementasi terjadi antara pencanangan program dan output akhir yang dikehendaki? 5) Masalah hasil; apa saja output dan outcomes program? (immediate, intermediate, ultimate); 6) Masalah dampak; faktor-faktor apa saja yang dapat menjelaskan hasil? 7) Masalah kriteria; dengan nilai-nilai kriteria apa dan bagaimana program ini dinilai ? dengan standar kinerja yang mana kriteria berhasil atau gagal atau memuaskan dari kinerja program ini dinilai? 8) Masalah penggunaan; bagaimana temuan evaluasi dan hasil evaluasi digunakan?

Secara umum tahapan evaluasi program adalah sebagai berikut: 1) 2) 3) 4) Analisis logika program. Desain Evaluasi. Pengumpulan, analisis, dan interpretasi data. Pelaporan.

Sedangkan sebagai suatu riset terapan, suatu evaluasi program mempunyai tahapan sebagai berikut:

4

1) Definisi atau perumusan masalah evaluasis. 2) Tujuan dan fokus studi evaluasi. 3) Keseluruhan pendekatan dan metodologi studi: a. Hypothesis b. Lingkup dan coverage c. Desain evaluasi. 4) Metode Pengumpulan data a. Dokumen-dokumen yang sudah ada dan data sekunder. b. Pengumpulan Data primer: - desain survei - metode sampling - kuesioner dan pre-testing - interviu. 5) Analisis data a. metode kualitatif - Perangkuman dan konversi catatan-catatan lapangan - Analisis isi (content analysis) - Studi kasus dari target group program atau keluarga yang terpengaruh program. b. metode kuantitatif - analsis statistik (central tendencies, level of confidence, dll) - analisis korelasidan regresi - benefit-cost analisis. 6) Pengumpulan hasil evaluasi dan penyimpulan 7) Pelaporan dan presentasi hasil evaluasi.

DESAIN DASAR UNTUK EVALUASI PROGRAM Evaluasi program sebagai suatu evaluasi yang mendalam seperti halnya riset terapan, perlu didesain agar dapat menjawab: - Apakah program telah dilaksanakan dan mencapai tujuan/sasarannya; - Apakah program telah dilaksanakan secara efisien dan efektif serta tepat (appropriate). - Apakah hasil yang diamati memang merupakan hasil program dan bukan confounding factors atau karena program lainnya. Terdapat paling tidak tiga kategori jenis desain evaluasi, sebagai berikut: 1. Experimental design 2. Quasi-experimental design 3. Non-experimental, misalnya: Ex pest facto design. Experimental design Dalam ”eksperimen sosial yang sesungguhnya” keputusan disentralisasikan berkenaan dengan perlakuan yang akan diterima target group program. Keputusan ini dibuat oleh manajer program atau evaluator. Metode dalam

5

eksperimen ini baik jenis perlakuannya dan control group-nya ditentukan secara random. Dan yang paling penting pada desain ini adalah bahwa kondisi saat program belum ada dibandingkan dengan sesudah program selesai dilaksanakan, baik pembandingan atas perserta program (experimental group) maupun dengan control group tertentu. Pada desain yang sangat sederhana misalnya,`mungkin saja tidak ada data pada pretest. Kemudian, evaluator hanya membandingkan peserta program dengan control group pembanding sesudah program dilaksanakan, untuk menentukan apakah ada perbedaan yang signifikan terhadap keduanya. Quasi-experimental designs Quasi-experimental didesain untuk mengganti experimen yang sesungguhnya dalam situasi dimana pengambilan sampel secara random tidak praktis dilakukan. Secara fungsional, hal ini didesain untuk menerka hubungan sebab akibat antara program dan efeknya (dampak). Desin ini memerlukan kejelasan program sendiri, kelompok pembanding, ukuran outcomes, penilaian hubungan antara program dan outcome, dan pendemonstrasian dampak yang ada adalah disebabkan adanya program tersebut. Desain non-experimental: Ex post facto design Desian non-experimental ini antara lain dapat meliputi: outcome monitoring, ex post facto evaluation, studi kasus, survei kepuasan pelanggan atau metodemetode kualitatif. Desain ex post facto dalam evaluasi, contoh yang lazim adalah rekonstruksi dari suatu program, diikuti dengan observasi pasif terhadap subyek yang menerima treatment (peserta program – target group program) dan yang tidak menerima treatment, mereka yang menerima lebih banyak dengan mereka yang menerima lebih sedikit, jika itu terjadi diteliti outcome yang ada. Sebagai contoh adalah evaluasi atas efek dari anggaran belanja kepolisian terhadap tingkat kriminalitas di dalam suatu kota.

SUMBER INFORMASI UNTUK EVALUASI PROGRAM Sumber informasi untuk evaluasi program dapat diperoleh diberbagai tempat dan pihak, seperti: kantor pencatat, kantor yang memonitor kegiatan, perpustakaan, pusat data, divisi penelitian, penerangan dan informasi. Sumber informasi tersebut dapat berupa: 1) Dokumen program: newsletter, rencana kerja, progress report, accomplishment report, laporan statistik, bukti-bukti tanda terima dan buktibukti catatan, logs, notulen rapat, catatan data personalia, proposal, catatan proyek dan grant. 2) Pendapat para ahli (expert), fokus group pemerhati dan target group program sendiri;

6

3) Hasil riset, survei, angket, jajak pendapat yang telah dilakukan terlebih dahulu. 4) Foto, rekaman video, dokumentasi gambar sebelum dan sesudah program dilaksanakan.

SINTESA EVALUASI DAN ATAU META ANALISIS Sebelum melakukan evaluasi lebih jauh dengan mengumpulkan data dan menganalisisnya, perlu dilakukan perangkuman hasil-hasil evaluasi sebelumnya terhadap topik yang sama. Perangkuman hasil riset, riviu, kajian, penelahaan, tinjauan, dan hasil studi terhadap topik yang sama dapat disebut sintesa evaluasi. Jika mungkin bahkan lebih mendalam dilakukan meta analysis, yaitu suatu cara riviu dan pengikhtisaran yang sistematis terhadap hasil studi sebelumnya. Evaluasi program sebagai kegiatan yang bersifat riset terapan perlu prosedur meta analysis ini, agar evaluator memperoleh gambaran yang komprehensif mengenai pelaksanaan studi sebelumnya, sehingga lebih berfokus kepada menjawab pertanyaan evaluasi yang ada saat ini. Meta analysis dapat dilakukan dengan melakukan studi kepustakaan yang masif dan melakukan data searching melaluai media internet.

FAKTOR YG MEMPENGARUHI DESAIN Terdapat beberapa faktor yang dapat mempengaruhi pilihan desain yang dipakai dalam suatu evaluasi program, yaitu: 1) keterbatasan sumber daya; 2) keterbatasan waktu; 3) tahapan program; 4) kemungkinan faktor-faktor yang menutupi, mengurangi atau mementahkan hasil program (confounding factors); 5) keterbatasan politik dan keadaan.

EVALUASI KELAYAKAN DAN KETEPATAN PROGRAM Evaluasi ketepatan (appropriateness) suatu program adalah sama saja dengan menganalisis kelayakan (feasibility) program. Hal ini juga bisa dilakukan sebelum proposal program disetujui dan diterapkan. Akan tetapi, bisa juga evalusai ketepatan dan kelayakan ini dilakukan setelah program dijalankan untuk mengecek apakah: - program masih dibutuhkan oleh masyarakat di area yang berbeda; - program masih selaras dengan prioritas nasional atau daerah; - beberapa perubahan sasaran, target, penyeleksian kelayakan peserta program atau target group program yang harus dilaksanakan. Standar atau patokan pembanding yang digunakan dalam evaluasi kelayakan dan ketepatan program adalah:

7

a. sasaran program dan target-target dibandingkan dengan kebutuhan dari target group program; b. rencana kerja dibandingkan dengan : - kapasiatas implementasi: logistik, pembiayaan, anggaran, lokasi kantor di area pelaksanaan program; - best practices baik di dalam maupun luar negeri. c. keselarasan dan konsistensi tujuan/sasaran program dengan prioritas kebijakan pemerintah. Masalah ketepatan program ini dapat diklasifikasikan ke dalam dua bagian yaitu: a. ketepatan tujuan/sasaran-sasaran program. b. ketepatan strategi program, rencana kerja dan alokasi sumber daya: meriviu hasil studi, literatur, praktik terbaik, analisis logika program, costbenefit analysis, analisis risiko (apa yang mungkin menjadi keliru dalam implementasi program, scenario analysis, kemungkinan efek samping yang negatif, dan sebagainya). Dalam menilai ketapatan tujuan/ sasaran program ini kita dapat mengacu kepada apa yang disebut sebagai konsep ”kebutuhan publik (public needs)”. Kebutuhan publik atau kebutuhan sosial masyarakat (social need) dapat berwujud dalam tiga bentuk, yaitu: (1) kebutuhan normatif, (2) kebutuhan yang diekspresikan (expressed need), (3) kebutuhan komparatif. Kebutuhan publik itu sebagai contoh, misalnya: kebutuhan ketahanan pangan, kebutuhan perumahan, kebutuhan perbaikan pendapatan, kebutuhan ketenaga kerjaan, kebutuhan akan keadilan, dsb.

EVALUASI EFISIENSI Evaluasi efisiensi ini dapat dilakukan jika pencatatan akan data keuangan dan data kinerja sudah cukup baik, sehingga rincian akuntansi biaya dan analisis biaya dapat dilakukan. Evaluasi atas efisiensi ini sering dilakukan pada saat program berjalan, dengan tujuan untuk melakukan perbaikan, hal ini di dalam literatur disebut sebagai formative evaluation atau developmental evaluation (dibedakan dari summative evaluation atau accountability evaluation yang dilakukan oleh pihak eksternal setelah program berjalan). Data dan informasi yang digunakan untuk analisis efisiensi dapat diperoleh dari desain berikut: a. monitoring program, input, proses/aktivitas, outputs. b. Gap analysis : output vs sasaran. c. Benchmarking dengan program yang sejenis. d. Pilot studies dan studi kasus tertentu. e. Mid-program review. EVALUSI EFEKTIVITAS

8

Evaluasi efektivitas yang berfokus teradap outcomes dan dampak dari program sangat penting untuk dilakukan dan akan menambah nilai bagi peningkatan akuntabilitas instansi pemerintah pelaksana program. Hal ini karena efektivitas program merupakan harapan masyarakat dan paling dekat dengan responsivitas pemenuhan kebutuhan masyarakat. Tujuan dari evaluasi efektivitas program adalah untuk mengidentifikasi dan mengukur outcome dan dampak dari program, serta menentukan hubungan antara program dan outcome/impact apakah hubungan itu sebab-akibat langsung atau hanya korelasi dengan banyak lagi faktor pendorong lainnya di samping program tersebut. Desain dari evaluasi efektivitas adalah untuk membandingkan antara apa yang bisa diobservas setelah implementasi program dengan kondisi sebelum program. R ------P

Efektivitas

=

Atau:

Efektivitas

R-C = -----------P–C

R = hasil sesungguhnya (actual results) atau actual outcomes P = Planned outcomes atau outcomes yang diharapkan (direncanakan). C = counterfactual, tingkat kuantitatif suatu variabel outcome jika program tidak dilaksanakan. Data variable outcomes tersebut dapat diambil dari target group program sebelum program dilaksanakan atau group yang serupa yang tidak menerima treatment program tersebut.

PENDEKATAN KUALITATIF DAN KUANTITATIF DALAM EVALUASI PROGRAM Untuk memaksimalkan hasil evaluasi program, pendekatan kualitatif dan kuantitatif hendaknya dikombinasikan, dengan harapan keduanya dapat saling melengkapi satu sama lain. Waluapun saat ini evalusi program-program instansi pemerintah masih lebih banyak dilakukan dengan pendekatan kualitatif dibanding pendekatan kuantitatif, namun demikian untuk menambah ‘external validiy’ diperlukan pendekatan kuantitatif.

9

BAB 3

LANGKAH-LANGKAH DAN PETUNJUK EVALUASI PROGRAM
MERIVIU SISTEM Langkah yang perlu dilakukan terlebih dahulu sebelum memperlajari lebih mendalam program yang dievaluasi perlu dievaluasi sistem manajemen kinerja ataupun sistem AKIP yang diterapkan pada instansi yang bersangkutan, terutama dalam penataan program-program dan kegiatan-kegiatannya. Untuk itu pertama yang paling mendesak adalah melakukan pemetaan terhadap programprogram baik yang sudah selesai maupun yang sedang berjalan. Kemudian, mempelajari logika program apakah dalam penataan programnya instansi telah memeliki kerangka logis yang sehingga berbagai komponen program dapat dirumuskan dengan baik. Setelah melakukan analisis logika program di atas, maka langkah selanjutnya adalah lebih detail mempelajari sistem monitoring terhadap program tersebut. Hal ini tentu saja juga mencakup

MENAKSIR EVALUABILITY SISTEM Evaluability dari sistem yang terbangun dalam rancangan (desain) penataan program dan pengelolaannya sangat mempengaruh seberapa mudah evaluasi itu dilaksanakan. Seperti halnya dijelaskan di atas, bahwa informasi dari hasil sistem monitoring sangatlah membantu proses evaluasi program. Jika secara terencana (by design) memang sistem tersebut sulit untuk dievaluasi, maka otomatis pada saat program dilaksanakan atau bahkan program sudah selesai sekalipun tetap sulit untuk dievaluasi. Oleh karena itu, faktor penting dalam melakukan evaluasi yang secara pragmatis dapat dilakukan adalah mendorong agar evaluability program harus baik, sehingga evaluasi dapat dilaksanakan secara mudah dan murah.

PROSES EVALUASI Pada dasarnya proses evaluasi secara sederhana adalah perencanaan, pelaksanaan dan pelaporan. Perencanaan evaluasi dapat dikategorikan menjadi dua bagian pokok yaitu : (1) perencanaan administratif, dan (2) perencanaan teknis. Perencanaan administratif menyangkut perencanaan yang berfokus kepada pengelolaan pekerjaan evaluasi, seperti : penyusunan TOR (teram of reference), pembuatan jadwal pelaksanaan, dsb. Sedangkan perencanaan

10

teknis menyangkut teknik pengumpulan data, teknik pengolahan data dan analisis, serta pelaporan. Dalam evaluasi program para evaluator diharapkan memahami perencanaan dan desain evaluasi, yang meliputi konsep-konsep : 1) TOR 2) Analisis Logika Program (program logic) 3) Hipotesis 4) Desain evaluasi 5) Sampling design & procedure 6) Penyusunan kuesioner 7) Pelaksanaan survei dengan menggunakan kuesioner yang terstruktur. Garis besar diagram proses evaluasi program yang dilakukan (sebagai riset terapan) dapat disajikan seperti berikut: Analisis logika program

Penyusunan TOR

Merumuskan masalah evaluasi, dengan berbagai issue dan pertanyaan evaluasi Memformulasikan null dan alternate hypohteses untuk masalah evalusai, dan rincian desain evaluasi Merumuskan model atau tools untuk analisis, seperti: formula statistik, regresi-korelasi, atau cost benefit formula, dsb. Merumuskan data requirements untuk model (analisis) tersebut : dari data yang ada dan primary data survey

Mengumpulkan data: dari sumber data atau survei

Menganalisis dengan menggunakan model /formula

Pelaporan Hasil Evaluasi

11

PETUNJUK PENGUMPULAN DATA

Berikut ini diuraikan beberapa petunjuk pengumpulan data baik secara prosedural maupun substantif, untuk memenuhi tujuan evaluasi : 1. Menyiapkan suatu daftar data requirement dari evaluasi yang akan dilaksanakan ; Daftar ini semestinya berdasarkan pada : a. TOR b. Hypothesis c. Analytical framework dan formula atau model. 2. Mengumpulkan data sekunder dari sumber data, seperti perpustakaan umum, kantor-kantor, kantor statistik dan dari internet. 3. Jika survei diperlukan, buat kuesioner. 4. Field interview 5. Data coding, data reduction dan data conversion, klasifikasi data. 6. Cek kelengkapan data terhadap pemenuhan pembuktian hipotesis dan model analisis atau formula yang telah ditentukan.

12

BAB 4

METODE PRAKTIS EVALUASI/ RIVIU PROGRAM
LATAR BELAKANG
Dalam bab ini akan disajikan evaluasi secara pragmatis atau bahkan praktis mengingat kendala evaluasi yang ada. Kendala evaluasi tersebut menyebabkan desain evaluasi tidak menonjolkan keandalan secara ilmiah hasil evaluasi, akan tetapi lebih menekankan pemenuhan kebutuhan praktis bagi perbaikan pelaksanaan program dan hasil-hasil program. Paling tidak terdapat empat kendala evaluasi saat ini yang dilakukan berbagai instansi pemerintah dalam rangkat meng-akuntabilitas-kan kinerjanya, yaitu : 1. Biaya. 2. Waktu ; 3. Kemampuan SDM ; 4. Kesulitan koordinasi. Kendala biaya evaluasi program, memang sering dihadapi instansi pemerintah, oleh karena ketika program disetujui, ternyata tidak dianggarkan biaya evaluasi program yang memadai. Di samping itu, mungkin saja sudah dianggarkan, namun porsi anggarannya dikurangi sehingga tidak memungkinkan untuk melakukan evaluasi yang mendalam. Kendala waktu seringkali menjadi hal yang memaksa untuk tidak melakukan evaluasi. Misalnya saja, pertama, karena kegiatan-kegiatan yang dibiayai dengan anggaran pembangunan sudah berlalu, maka sudah dipertanggung jawabkan secara finansial, sehingga evaluasi menjadi kadaluarsa untuk dilakukan. Sebab yang kedua, desain waktu pelaksanaan evaluasi memakan waktu yang panjang sehingga mempengaruhi pembiayaan yang tidak bisa ditanggung oleh instansi pemerintah tersebut. Kendala kemampuan sumber daya manusia pada saat ini juga sangat tinggi. Pelaku evaluasi diberbagai instansi pemerintah kebanyakan kurang memahami evaluasi program ini. Pengetahuan tentang riset terapan untuk evaluasi program ini, mungkin hanya dipunyai dan dimiliki oleh satuan kerja penelitian dan pengembangan. Kesulitan koordinasi barangkali merupakan kendala yang paling banyak ditemui dalam rangka mengevaluasi program. Kesulitan koordinasi ini tidak saja dari satu intansi dengan instansi yang lain, akan tetapi juga di dalam suatu instansi sendiri. Hal ini diduga karena selama ini pertanggung jawaban pelaksanaan tugas pokok dan fungsi unit kerja masih berorientasi pada kegiatan-kegiatan atau proyek-proyek dan bukan program.

13

Oleh karena adanya kendala-kendala tersebut, perlu dicari segala kemungkinan untuk mengatasinya tanpa mengurangi kemanfaatan hasil evaluasi program itu sendiri. Evaluasi program memang sering dikonotasikan sebagai kegiatan yang memerlukan waktu dan biaya yang besar. Namun demikian bukan berarti tertutup kemungkinan melakukan evaluasi program. Berikut akan dijelaskan salah satu skenario yang dapat dilakukan untuk mengevaluasi program secara praktis.

TAHAPAN EVALUASI PROGRAM
1) Penelitian sistem; 2) Analisis Logika Program; 3) Desain evaluasi, yang menggunakan teknik riviu pencapaian sasaran dan riviu indikator kinerja, serta pengecekan hasil secara uji petik. 4) Pelaporan. Penelitian sistem Penelitian sistem disini yang dimaksud adalah penelahaan sistem AKIP yaitu sistem akuntabilitas kinerja instansi pemerintah. Bagaimana instansi pemerintah mengelola kinerjanya berdasarkan sistem AKIP diriviu dan diamati bagianbagian yang rawan atau kurang baik. Penelitian ini akan memperlancar pelaksanaan evaluasi program. Analisis Logika Program Analisis logika program, langkah-langkahnya telah diuraikan pada bab-bab sebelumnya dan juga dari modul analisis logika program. Desain Evaluasi Desain evaluasi program dengan pendekatan yang lebih praktis ini dapat diuraikan dalam bentuk langkah dan pengoperasian teknik-teknik sebagai berikut: 1) Penggunaan teknik riviu pencapaian sasaran; 2) Penggunaan teknik riviu indikator kinerja; 3) Pengecekan hasil secara uji petik. Tahapan evaluasi (riviu) program dengan pendekatan yang lebih praktis, adalah sebagai berikut: Evaluasi sistem Analisis Logika Program (Program Logic)

Riviu Pencapaian Sasaran dan Riviu Indikator Kinerja Pengumpulan & analisis data: pengecekan hasil secara uji petik Pelaporan

14

RIVIU PENCAPAIAN SASARAN
Riviu pencapaian sasaran organisasi instansi beserta indikator kinerjanya. Riviu ini dilakukan dengan membandingkan antara target-target dengan realisasinya dan kemudian jika program dan atau kegiatan ini dilakukan beberapa tahun atau bahkan sepanjang waktu (multi-years) perlu dibandingkan dengan realisasi tahun lalu. Riviu pencapaian sasaran ini juga digunakan untuk secara lebih mendalam menguji keselarasan penetapan sasaran dengan tujuan maupun visi misi organisasi intansi. Di samping itu, riviu ini dilakukan dengan meneliti ukuran kinerja atau indikator kinerja yang dipakai dalam mengukur keberhasilan pencapaian sasaran ini. Dengan demikian, riviu pencapaian sasaran tidak terlepas dari riviu dan studi terhadap indikator sasaran yang menyertai rumusan sasaran yang ditetapkan. Karenanya riviu pencapaian sasaran hanya bisa dilakukan bila berdasarkan riviu dan studi yang dilakukan, indikator kinerja yang terkait dianggap telah memenuhi kriteria sebagai indikator sasaran yang baik yang dapat menggambarkan hasil (berupa outcome atau output). Riviu pencapaian sasaran meliputi analisis informasi/data kinerja yang meliputi penilaian tingkat pencapaian sasaran secara keseluruhan, menilai kelayakan sasaran, menilai efisiensi biaya, menilai efektivitas biaya, dan mencari dan menemukan peluang perbaikan penetapan sasaran. Riviu pencapaian sasaran sebaiknya juga dilengkapi dengan pembandingan data, antara lain: Rencana dan realisasi Realisasi periode ini dan realisasi periode sebelumnya Rencana periode ini dengan rencana periode lalu Realisasi tahun ini dengan realisasi akumulasi sampai akhir tahun ini Realisasi tahun ini dan capaian organisasi lain sejenis (jika ada).

Pembandingan dilakukan dengan tujuan untuk melihat efektivitas pencapaian sasaran tahunan yang telah ditetapkan. Dengan demikian, akan diperoleh informasi yang komprehensif mengenai pencapaian sasaran (accomplishment) dalam rangka untuk mencapai visi dan misi organisasi. Analisis tren juga dapat dilakukan yang akan ditujukan untuk melihat kesesuaian antara tahun suatu tahun dengan capaian tahun-tahun lainnya secara keseluruhan sebagai bagian yang tidak terpisahkan. Sedangkan benchmarking dengan organisasi sejenis ditujukan untuk mengetahui kinerja organisasi dalam core business-nya, bila dibandingkan dengan organisasi yang menjadi panutan untuk bidang tersebut.

15

1. Mengukur Pencapaian Sasaran Dalam mengukur pencapaian sasaran dapat dilakukan dengan membandingkan antara sasaran yang sudah ditetapkan dengan realisasi atau kenyataan yang dapat diwujudkan selama dan setelah program dilaksanakan. Jika sasaran belum dirumuskan secara spesifik dan terukur, maka harus dilakukan pengukuran dengan merumuskan indikator tercapainya sasaran tersebut. Jadi mengukur pencapaian sasaran dapat dilakukan sebagai berikut: Uraian Sasaran Target Realisasi %

Atau: Uraian Sasaran Indikator Target Realisasi Pencapaian

2. Penyimpulan Penyimpulan hasil pengukuran pencapaian sasaran dapat dilakukan dengan melihat capaian setiap butir sasaran dan menjelasan angka capaian ratarata secara umum, kemudian men-disagregasi dengan merinci kembali simpulan umum tersebut. Contoh: Dari proses pengukuran pencapaian setiap sasaran diperoleh angka sebagai berikut: No 1 2 3 4 5 6 7 8 9 Uraian sasaran Sasaran ”pertama” Sasaran ”kedua” Sasaran A Sasaran B Sasaran C Sasaran D Sasaran E Sasaran K Sasaran L Capaian 85% 100% 100% 60% 70% 90% 98% 97% 95%

16

Simpulan: Pada umumnya sasaran-sasaran dinas/instansi ini dapat dicapai dengan baik, kecuali dua sasaran yaitu sasaran B dan sasaran C yang masingmasing hanya bisa tercapai 60% dan 70%. Atau Sasaran-sasaran tahun .... pada dinas/ instansi .... pada umumnya dapat dicapai dengan baik. Dari 9 sasaran yang ditetapkan hanya terdapat 2 sasaran yang pencapaian rendah.

RIVIU INDIKATOR KINERJA

Riviu indikator kinerja dilakukan tidak hanya terhadap capaian indikator kinerja saja, tetapi juga terhadap indikatornya sendiri. Jadi tidak hanya riviu hasil pengukuran akan tetapi juga dilakukan penelitian terhadap alat ukurnya sendiri. Sekali kita menggunakan suatu alat ukur hendaknya kita yakin akan keandalannya. Dengan demikian alat ukur yang digunakan harus dapat diandalkan. Dalam praktik alat ukur kinerja ataupun tolok ukur kinerja ini kadang-kadang bukanlah alat ukur terbaik, akan tetapi sering kali alat ukur yang paling mudah penggunaannya, sehingga terdapat peluang atau kemungkinan penggunaan alat ukur yang menyesatkan. Dari uraian tersebut diatas, terdapat dua bagian penting dalam melakukan riviu indikator kinerja ini, yaitu: 1) Riviu terhadap indikatornya sendiri; dan 2) Riviu terhadap capaian indikator kinerja. Riviu indikator kinerja ini dilakukan untuk mendukung riviu pencapaian sasaran yang telah dijelaskan sebelumnya.

Riviu Terhadap Indikator Kinerja
Riviu terhadap masing-masing Indikator Kinerja Indikator kinerja yang ditetapkan memenuhi kriteria indikator kinerja yang baik: Spesifik, sesuai dengan program dan atau kegiatan sehingga mudah difahami dalam memberkani informasi yang tepat tentang hasil atau capaian kinerja dari kegiatan dan atau sasaran

17

-

-

Menggambarkan hasil atau sesuatu yang diinginkan Relevan dan langsung berkaitan dengan yang diukur merupakan faktor yang penting dalam memberikan informasi yang obyektif sesuai dengan kelaziman sehingga mudah untuk diperbandingkan Dapat dikuantifikasi, dapat dihitung, atau dapat diobservasi sesuai karakteristik hal yang diinformasikan Obyektif, Tidak bias, yaitu tidak memberikan informasi yang keliru jika diinterpretasikan oleh berbagai pengguna.

Indikator kinerja ditetapkan melalui proses konsultasi yang memadai dengan pihak internal maupun dengan pihak eksternal instansi sesuai dengan aspek yang ditetapkan indikator kinerjanya yang dapat dapat mengukur pencapaian tujuan dan sasaran sebagai dua hal penting yang ingin dicapai oleh instansi. Agar tetap dapat berfungsi dengan baik seharusnya indikator kinerja direviu secara berkala dan berkesinambungan sehingga tetap dapat dipercaya sebagai bagian dari suatu sistem pengukuran yang handal. Waktu dan biaya merupakan aspek penting yang harus dipertimbangkan dalam pengumpulan data agar tercipta cost-effectiveness, sehingga penetapan indikator kinerja harus mempertimbangkan pengumpulan datanya. Di samping itu indikator kinerja ditetapkan dengan persetujuan pimpinan untuk mendapatkan komitmen pimpinan, khususnya dalam alokasi sumber-sumber daya instansi dalam mencapai tujuan dan sasaran. Indikator kinerja dikomunikasikan pada setiap tingkatan unit organisasi yang terkait untuk mengetahui dan menetapkan pihak yang bertanggung jawab dalam mencapai target kinerja dan untuk memperbaiki kinerja. Jika terdapat lebih dari satu unit organisasi yang berkepentingan terhadap satu indikator kinerja, maka harus ditentukan unit organisasi yang berfungsi sebagai leader dalam pencapaian target. Riviu Terhadap Se-set Indikator Kinerja Penetapan indikator kinerja oleh suatu organisasi hendaknya melihat konteks penggunaannya. Se-set indikator kinerja yang digunakan untuk mengukur keberhasilan program tentulah berbeda dengan se-set indikator kinerja yang digunakan di dalam mengukur keberhasilan organisasi. Walaupun di sanasini terdapat beberapa indikator kinerja yang sama. Pertimbangan dalam memutuskan untuk menentukan indikator kinerja juga didasarkan atas suatu kumpulan alat ukur /indikator yang diyakini dapat digunakan untuk memantau dan mengukur kinerja suatu program ataupun organisasi secara keseluruhan. Jumlah indikator cukup memadai dibandingkan kebutuhan akan pengukuran kinerja. Jumlah indikator yang lebih dari satu bukan masalah sepanjang bisa memenuhi fungsinya dalam memberikan informasi untuk perbaikan kinerja. Jadi banyak sedikitnya indikator kinerja memang tergantung kebutuhan manajemen. Batasan angka yang ”lazim” dipakai sebagai norma untuk menentukan jumlah indikator kinerja sebenarnya tidak ada. Tiga, empat atau

Comment: Yang akan memberikan kontribusi paling signifikan

18

lima indikator saja mungkin bisa dianggap baik. Akan tetapi sebaliknya, sepuluh, limabelas atau seratus juga mungkin saja baik, asal bisa mengelola dan menggunakannya. Riviu Terhadap Capaian Indikator Kinerja Riviu terhadap capaian indikator kinerja dilakukan dengan melakukan pembandingan antara realisasi suatu capaian dengan rencananya, standar, benchmark atau dengan periode yang lalu. Cara yang digunakan dalam melakukan riviu ini sama saja dengan riviu pencapaian sasaran, yang intinya menggunakan performance gap analysis, yaitu membandingkan dan kemudian mencari informasi mengapa terjadi perbedaan (gap) antara realisasi capaian dengan data pembandingnya. Hal yang cukup sulit adalah menentukan simpulan terhadap hasil pengukuran capaian indikator kinerja ini secara keseluruhan. Terdapat beberapa cara yang bisa ditempuh oleh evaluator dalam menyimpulkan hasil pengukuran pencapaian indikator kinerja ini secara keseluruhan, yaitu: 1. Menghitung rata-rata semua capaian indikator kinerja yang ada, dengan perhitungan rata-rata sederhana; 2. Menghitung rata-rata capaian indikator kinerja dengan weighing (pembobotan) yang hati-hati; 3. Menentukan milestone-milestone kegiatan atau program-nya terlebih dahulu, kemudian melihat beberapa indikator penting di dalamnya, baru kemudian secara kualitatif menentukan tingkat capaian (accomplishment) atau keberhasilan organisasi. 4. Menentukan beberapa indikator penting saja, kemudian membuat daftar (list)-nya dan menyimpulkan secara umum berdasarkan nilai (angka) capaian individual, dengan mempertimbangkan frekuensi (modus) dan tingginya nilai. Cara yang pertama sekedar penyederhanaan yang kurang baik, tapi sangat mudah untuk melakukannya. Cara kedua bisa jadi evaluator sendiri tidak dapat melakukan dengan baik, sehingga cara kedua ini tidak disarankan. Cara yang ketiga, bisa ditempuh oleh evaluator, akan tetapi haruslah berhati-hati karena penyimpulan dilakukan secara bertingkat. Mulai dari kegiatan atau program barulah sampai ke tingkat organisasi. Hal ini dapat menimbulkan bias-bias yang disebabkan agregasi bertingkat tersebut. Cara keempat, dapat juga dilakukan oleh evaluator, akan tetapi sangat dianjurkan untuk melakukan proses konsultasi pada pihak ketiga yang ahli dalam bidang ini atau paling tidak berkonsultasi dengan seluruh tingkatan tim, yaitu ketua tim, supervisor, wakil penanggung jawab dan penanggung jawab evaluasi. Selanjutnya lihat lampiran: 1 penjelasan lebih lanjut dan contoh-contoh.

PENGECEKAN HASIL SECARA UJI PETIK Pengecekan hasil-hasil progrfam secara uji petik diperlukan untuk mengecek kredibilitas data. Pengecekan secara uji petik ini mungkin saja sampel yang diteliti untuk dicek hasilnya atau diadakan observasi (jika mungkin) kurang

19

mewakili untuk men-generalisasi keadaan. Akan tetapi, untuk tujuan pemberian saran perbaikan sudah cukup untuk dimanfaatkan oleh instansi yang dievaluasi. Pengecekan hasil tidak harus sama dengan pengecekan fisik hasil program. Boleh jadi hasil program sangat sulit untuk diverifikasi dan diobservasi. Oleh karena itu pemanfaatan data hasil monitoring Pada proses pengecekan hasil ini hal yang cukup penting adalah mendapatkan data dari hasil monitoring atau catatan kinerja instansi. Prosedur-prosedur perolehan data sekunder yang baik haruslah dilalui agar evaluator mendapatkan data yang valid. Verifikasi data secara terbatas agaknya diperlukan oleh evaluator agar dapat dinilai kredibilitas data tersebut. Di sini riviu terhadap sistem pencatatan /pengumpulan data kinerja menjadi penting untuk dilakukan.

Daftar Bacaan
Arikunto, Suharsimi, (1998), Prosedur Penelitian, Suatu Pendekatan Praktek, Edisi revisi IV, Penerbit rineka Cipta, Yogyakarta. BPKP, (2002), Pedoman Pelaksanaan Evaluasi LAKIP. BPKP, (2002), Evaluating Public Policies: A General Guide, Capacity Building Project. Cutt, James and Vic Murray, (2000), Accountability and Effectiveness Evaluation in NonProfit Organization, Routledge, London and New York. Davis, G. and Michael Keating, (2000), The Future of Governance, Policy Choices, Allen & Unwin, St Leonards, NSW, Australia. Davis, G. et.al. ((1993), Public Policy in Australia, second edition, Allen & Unwin, Singapore. Department of Health & Human Services, Office of Inspectorat General, (1994), Practical Evaluation for Public Managers, Getting The Information You Need, Office of Inspector General. Doorley III, Thomas L. And John M. Donovan, (1999), Value Creating Growth, How to Lift Your Company to the Next Level of Performance, Jossey-Bass Publishers, San Fransisco. Dunn, William N. ((1994), Public Policy Analysis: An Introduction, diterjemahkan oleh Samodra Wibawa dkk, Gadjah Mada University Press, Yogyakarta. IMF, (1998), External Evaluation of the ESAF, Report by a Group of Independent Experts. Kadariah, (1988), Evaluasi Proyek, Analisa Ekonomis, Edisi kedua, Lembaga Penerbit Fakultas Ekonomi Universitas Indonesia, Jakarta.

20

Kementerian Pemberdayaan Aparatur Negara, (2004), Pedoman Umum Evaluasi LAKIP. Lombardi, Donald N. (1988), Handbook of Personnel Selection and Performance Evaluation in Healthcare, Guidelines for Hourly, Professional, and Managerial Employees, Jossey-Bass Publishers, San Francisco. Miles, Matthew B. dan A. Michael Huberman, (1992), Quantitative Data Analysis, diterjemahkan Tjetjep Rohendi Rohidi, Penerbit UI-Press, Jakarta. Moleong, Lexy J. (2001), Metodologi Penelitian Kualitatif, Penerbit PT Remaja Rosdakarya, Bandung. Nogel, Stuart S. (1999), Policy Analysis Methods, Nova Science Publisher, Inc. New York. Owen, John M. and Patricia J. Rogers, (1999), Program Evaluation, Forms and ApproachesInternational Edition, SAGE Publications, London. Rapar, Jan Hendrik, (1995), Pengantar Logika, Penerbit Kanisius, Yogyakarta. Rossi, Peter H. and Howard E Freeman, (1993), Evaluation, A Systematic Approach, Sage Publication, Inc. Santoso, Singgih, (2000), Buku Latihan SPSS, Statistik Non Parametrik, Elex Media Komputindo, Jakarta. Schmid, A. Allan, (1993), Analisis Biaya Manfaat, Pendekatan Ekonomi Politik, diterjemahkan oleh Nizam A. Yunus, Lembaga Penerbit Fakultas Ekonomi Universitas Indonesia, dan Pusat Antar Universitas Fakultas Ekonomi Universitas Indonesia, Jakarta. Suhardono, Edy, 2001, Panorama Survey, Refleksi Metodologi Riset, PT Gramedia Pustaka Utama bekerja sama dengan Universitas Surabaya. Supranto, J, (1997), Pengukuran Tingkat Kepuasan Pelanggan, Untuk Menaikkan Pangsa Pasar, Penerbit Rineka Cipta, Jakarta. Tim Studi Pengembangan Sistem AKIP, BPKP, (2000), Pengukuran Kinerja, Suatu Tinjauan Pada Instansi Pemerintah. Walting, Brian (1995), The Appraisal Checklist, Help Your Team to Get The Results You Both Want, Prentice Hall, London. Weimer, David L. and Aidan R, Vining, (1998), Policy Analysis, Concepts and Practice, Prentice Hall, New Jersey.

21

Lampiran: 1

Penjelasan dan Contoh-contoh1 Riviu Indikator Kinerja
Indikator kinerja adalah ukuran-ukuran yang menggambarkan seberapa jauh suatu program mencapai tujuannya. Indikator memberikan penjelasan secara khusus apa yang akan diukur untuk menentukan apakah tujuan sudah tercapai. Indikator kinerja dapat bersifat kuantitatif tetapi mungkin pula bersifat kualitatif. Indikator kinerja adalah inti sistem monitoring kinerja. Indikator kinerja mendefinisikan data yang akan dikumpulkan untuk mengukur kemajuan dan memungkinkan hasil aktual yang dicapai dalam suatu kurun waktu dibandingkan dengan hasil yang direncanakan. Jadi, indikator kinerja adalah suatu alat manajemen yang penting untuk menciptakan keputusan berbasis kinerja mengenai strategi program dan kegiatan. Di samping itu indikator kinerja juga dapat digunakan untuk memberikan orientasi dan motivasi kepada pegawai dalam mencapai tujuan, mengkomunikasikan hasil yang dicapai suatu instansi kepada stakeholders dan melaporkan hasil capaian kinerja instansi kepada pihak pihak yang bekepentingan. Riviu indikator kinerja meliputi riviu terhadap indikator kinerja itu sendiri dan riviu terhadap capaian indikator kinerja. Jadi tidak hanya riviu hasil pengukurannya akan tetapi juga melakukan penelitian terhadap alat ukurnya sendiri. Sekali kita menggunakan suatu alat ukur hendaknya kita yakin akan keandalannya, sebab apabila alat ukur kinerja ataupun tolok ukur kinerja bukan merupakan alat ukur yang baik akan dapat menyesatkan. Riviu indikator kinerja ini dilakukan untuk mendukung riviu pencapaian sasaran.

Riviu Terhadap Indikator Kinerja
a. Riviu terhadap masing-masing Indikator Kinerja Riviu indikator kinerja dilakukan dengan melakukan penilaian terhadap kualitas dari masing-masing indikator kinerja yang ditetapkan oleh suatu organisasi /instansi, yaitu dengan melihat

1

Penjelasan dan contoh-contoh ini disadur dari buku “Pengukuran dan Evaluasi Kinerja” , BPKP, dan Pedoman Evaluasi LAKIP, 2004.

22

pemenuhan kriteria indikator kinerja yang baik. Kriteria indikator kinerja yang baik adalah : 1. RELEVAN DAN LANGSUNG, suatu indikator kinerja harus mengukur sedekat mungkin dengan hasil yang akan diukur. Indikator kinerja tidak seharusnya dikaitkan pada tingkat lebih tinggi atau lebih rendah dibandingkan dengan hasil yang diukur. Contoh:

Hasil yang akan diukur
Peningkatan penggunaan metode keluarga berencana

Indikator Kinerja
a. Banyaknya alat kontrasepsi yang digunakan. b. Banyaknya penyuluhan penggunaan alat kontrasepsi yang dilakukan oleh BKKBN.

‘Banyaknya alat kontrasepsi yang digunakan adalah ukuran langsung dari suatu hasil (outcome) ‘peningkatan penggunaan metode keluarga berencana’. Tetapi banyaknya penyuluhan penggunaan alat kontrasepsi yang dilakukan oleh BKKBN, bukanlah ukuran langsung dari suatu hasil (outcome) tetapi baru merupakan ukuran dari suatu output. Jika tidak memungkinkan untuk menggunakan pengukuran langsung, maka satu atau lebih indikator pengganti mungkin dapat digunakan. Misalnya, kadang-kadang data yang valid dalam pengukuran langsung tidak dapat diperoleh sesering yang diperlukan instansi, maka indikator pengganti dapat diperlukan untuk memberikan informasi mengenai kemajuan suatu hasil pada saatnya. Pengukuran pengganti adalah pengukuran pengganti yang dihubungkan dengan hasil dengan menerapkan satu atau lebih asumsi. Contoh: Hasil yang akan diukur
Peningkatan pendapatan masyarakat di suatu wilayah desa.

Indikator Kinerja
Indikator kinerja langsung “tingkat pendapatan masyarakat” Indikator kinerja pengganti yang mungkin dapat digunakan prosentase keluarga di desa yang rumahnya berlantai semen Prosentase keluarga di desa yang memiliki radio, sepede, atau televisi.

23

Asumsi yang digunakan : Apabila suatu keluarga memiliki pendapatan yang lebih, mereka akan membeli barang tertentu seperti yang dikemukakan di atas . Apabila bukti meyakinkan dan asumsinya adalah memadai ( misal berdasarkan riset atau pengalaman di tempat lain) maka indikator kinerja pengganti dapat merupakan indikator kinerja yang memadai, meskipun tidak seakurat pengukuran langsung.

2. OBYEKTIF DAN TIDAK BIAS, Indikator yang obyektif tidak memiliki ambiguitas mengenai apa yang akan diukur dan memiliki relevansi yang kuat dengan yang diukur. Obyektifitas suatu indikator ditentukan oleh jenis indikator tersebut. Untuk indikator makro, dapat dikatakan obyektif apabila memiliki satu atau lebih dimensi dan tepat secara operasional, dimana setiap dimensi yang ada dapat menggambarkan suatu fenomena tertentu setiap saat. Sedangkan indikator mikro, dapat dikatakan obyektif apabila hanya memiliki satu dimensi dan tepat secara operasional. Tepat secara operasional artinya tidak ada ambiguitas atas data apa yang akan dikumpulkan untuk suatu indikator. Contoh makro : Indikator Kinerja
Indeks pembangunan manusia

Keterangan
Tepat, karena untuk menggambarkan kesejahteraan sosial suatu daerah tertentu diukur dari sejauh mana pemerintah berhasil meningkatkan kualitas pembangunan manusia yang memiliki dimensi antara lain : mutu pendidikan, derajat kesehatan, dan pendapatan per kapita masyarakat. Tepat karena untuk menggambarkan pemerataan pembangunan ekonomi suatu daerah tertentu diukur dari tingkat penyebaran pertumbuhan ekonomi antar suatu daerah di wilayah tertentu yang memiliki dimensi : pertumbuhan ekonomi dan pemerataan pembangunan.

Indeks Williamson

Contoh mikro :

24

Indikator Kinerja
Jumlah perusahaan eksportir yang berhasil.

Keterangan
Masih argumentatif , karena pengertian eksportir yang berhasil masih mengandung beberapa dimensi dan kurang tepat secara operasional,sehingga dapat menimbulkan bias. Lebih tepat dibandingkan poin a, karena pengertian eksportir yang berhasil hanya memiliki satu dimensi dan tepat secara operasional, sehingga tidak bias.

Jumlah perusahaan eksportir yang mendapatkan peningkatan minimal sebesar 5%

3. SPESIFIK , Indikator kinerja harus sesuai dengan program dan atau kegiatan sehingga mudah dipahami dalam memberikan informasi yang tepat tentang hasil atau capaian kinerja dari kegiatan dan atau sasaran. Contoh :
Sasaran Meningkatkan tingkat kualitas pendidikan masyarakat Indikator Kinerja 1. Jumlah masyarakat yang melek huruf dalam tahun x mencapai a% 2. Tingkat partisipasi pendidikan masyarakat ( SD,SLTP,SLTA,P T) dalam tahun x , mencapai a% 3. Tingkat ketersediaan sarana pendidikan dan tenaga pengajar dalam tahun x , mencapai a% Pengukuran Jumlah penduduk yang dapat membaca huruf latin / Jumlah penduduk. Persentase jumlah murid (SD,SLTP,SLTA, PT) terhadap jumlah murid (SD,SLTP,SLTA,PT) Jumlah murid (SD,SLTP,SLTA,PT) / Jumlah ruangan kelas (SD,SLTP,SLTA,PT) Jumlah murid (SD,SLTP,SLTA,PT) / Jumlah guru (SD,SLTP,SLTA,PT) Keterangan Indikator kinerja satu sampai tiga dapat dikategorikan spesifik

4. CUKUP, Sebagai suatu kelompok indikator kinerja dan indikator indikator pendukungnya seharusnya secara cukup dapat mengukur hasil. Pertanyaan yang sering dikemukakan adalah:

25

“Berapa indikator kinerja yang harus digunakan untuk mengukur suatu hasil?” Jawaban atas pertanyaan tersebut tergantung pada a) kompleksitas hasil yang akan diukur; b) sumberdaya yang tersedia untuk memonitor kinerja; dan c) jumlah informasi yang diperlukan untuk membuat keputusan yang mamadai. Untuk hasil yang sifatnya langsung dapat diketahui serta mempunyai pengukuran yang benar dan terbukti, satu indikator sudah dapat dianggap cukup. Namun untuk hasil yang sifatnya tidak langsung , satu indikator mungkin tidak cukup, sehingga perlu beberapa indikator untuk mengukur hasil. Untuk menentukan beberapa indikator yang akan digunakan perlu dipertimbangkan keseimbangan antara sumberdaya yang tersedia untuk pengukuran kinerja dan jumlah informasi yang diperlukan manajer untuk membuat keputusan yang memadai. Namun demikian hindari terlalu banyak indikator. Contoh: Satu sasaran dengan satu Indikator Kinerja
Sasaran Meningkatkan tingkat partisipasi pendidikan masyarakat sebesar % dalam tahun 200x Indikator Kinerja Tingkat partisipasi pendidikan masyarakat ( SD,SLTP,SLTA,PT) dalam tahun 200x. Cara Pengukuran Persentase jumlah murid (SD,SLTP,SLTA, PT) terhadap jumlah murid (SD,SLTP,SLTA, PT)

Satu sasaran dengan beberapa indikator kinerja
Sasaran Meningkatkan Perekonomian Daerah Indikator Kinerja Dimensi Nilai Tambah Jumlah PDRB dalam tahun 200X (Rp Milyard) Angka persentase Laju Pertumbuhan PDRB tahun 200X Tingkat distribusi pendapatan masyarakat Inventasi Jumlah Investasi Domestik dalam tahun 200X (Rp Milyar) Angka Persentase Laju Pertumbuhan Investasi tahun 200X PAD Cara Pengukuran Produk Domestik Regional Bruto (Rp Milyar) % kenaikan dibandingkan tahun lalu Penggunaan rumus Koefisien gini Pembentukan Modal Tetap Bruto % Kenaikan Investasi dibanding tahun lalu

26

Jumlah angka PAD tahun 200X (Rp Milyard) Laju Pertumbuhan PAD tahun 200X

Jumlah PAD (Rp Milyard) %Kenaikan PAD dibanding tahun lalu

5. Dapat dikuantifikasi, jika mungkin dan dapat diobservasi sesuai karakteristik hal yang diinformasikan. Indikator kuantitatif adalah indikator dalam angka (jumlah atau prosentase nilai dolar, tonase dlsb). Indikator kualitatif adalah indikator yang bersifat pengamatan deskriptif (pendapat ahli atas suatu kekuatan instansi, atau penjelasan mengenai suatu perilaku). Meskipun indikator kuantitatif tidak lebih obyektif, ketepatan angkanya memungkinkan kesepakatan atas data mengenai hasil, dan biasanya lebih disukai. Namun, meskipun indikator kuantitatif yang efektif digunakan, indikator kualitatif dapat mendukung angka dan prosentase dengan kekayaan yang dimiliki informasi yang menghidupkan hasil program. Contoh:
Hasil yang akan diukur Kualitas Hidup Indeks Pembangunan Manusia (HDI) ( Angka rata-rata kualitas SDM ) Populasi penduduk di perkotaan ( Prosentase penduduk yang tinggal di perkotaan terhadap total penduduk) Kualitas pelayanan ke kesehatan. ( Tingkat pelayanan kesehatan di daerah/propinsi menurut masyarakat . Dengan memberikan kuesioner kepada masyarakat yang ditentukan sebagai responden ) 1. Tingkat pengetahuan aparatur 2. Tingkat kepercayaan masyarakat pada aparatur Kuantitatif, dapat diukur dan diobservasi. Kuantitatif, dapat dikukur dan diobservasi Kualitatif, dapat diukur dan diobservasi Indikator kinerja Keterangan

Kapasitas SDM

Kualitatif, sulit diukur dan diobservasi. Kualitatif, sulit diukur dan diobservasi

27

Hasil yang akan diukur

Indikator kinerja

Keterangan

6. DIRINCI/DIPILAH, jika mungkin. Merinci/memilah hasil program di tingkat masyarakat dari segi jenis kelamin, umur, lokasi, atau dimensi lainnya biasanya penting dari sudut pandang manajer. Pengalaman menunjukkan pengembangan kegiatan sering memerlukan pendekatan yang berbeda untuk kelompok yang berbeda dan mempengaruhi kelompok tersebut dengan cara yang berbeda. Data yang terinci membantu menelusuri apakah kelompok tertentu berpartisipasi atau tidak, dan manfaat melibatkan kelompok tersebut dalam kegiatan. Oleh karena itu, adalah baik bahwa indikator kinerja harus sensitif terhadap perbedaan tersebut. Contoh : Indikator dirinci Kinerja tidak Indikator Kinerja yang dirinci
1. 2. 3. 4. 5. 6. Angka partisipasi kasar SD Angka partisipasi kasar SLTP Angka partisipasi kasar SLTA Angka partisipasi murni SD Angka partisipasi murni SLTP Angka partisipasi murni SMU + SMK 1. Rasio jumlah guru terhadap murid SD. 2. Rasio jumlah guru terhadap murid SLTP. 3. Rasio jumlah guru terhadap murid SMU + SMK 1. Rata-rata nilai ujian akhir nasional SD 2. Rata-rata nilai ujian akhir nasional SLTP 3. Rata-rata nilai ujian akhir nasional SMU + SMK 1. Rasio guru layak mengajar SD 2. Rasio guru layak mengajar SLTP 3. Rasio guru layak mengajar SMU + SMK 4. Rasio ketidaksesuaian guru terhadap mata pelajaran

Tingkat Partisipasi Pendidikan

Rasio jumlah guru terhadap murid

Mutu hasil pendidikan

Rasio kualitas guru

7. PRAKTIS, Indikator kinerja dikatakan praktis apabila data dapat diperoleh pada saat yang tepat dengan biaya yang wajar. Manajer 28

memerlukan data yang dapat dikumpulkan sesering mungkin untuk memberikan informasi kepada mereka mengenai suatu progres dan untuk mempengaruhi keputusan. Instansi harus menyadari bahwa untuk mendapatkan informasi kinerja yang berguna akan mengeluarkan biaya yang wajar, bukan berlebihan. Berdasarkan pengalaman instansi biaya monitoring kinerja tersebut jumlahnya antara 3-10% dari jumlah sumberdaya program. 8. DAPAT DIYAKINI, Pertimbangan terakhir dalam memilih indikator kinerja adalah apakah kualitas data yang diperoleh telah cukup memadai untuk pengambilan keputusan. Namun yang menjadi pertanyaan selanjutnya adalah tentang “standar kualitas data yang bagaimana yang diperlukan akan berguna? Data yang diperlukan seorang manajer program untuk membuat keputusan yang baik mengenai suatu program tidak perlu setara dengan standar rigid yang dicari ilmuwan sosial. Contoh : Data tentang jumlah penduduk yang terserang penyakit demam berdarah di suatu wilayah untuk kepentingan instansi dinas kesehatan , data dapat diperoleh cukup dengan suatu survei singkat dengan biaya tidak perlu penelitian yang rumit. Sebaliknya data tentang dampak Program Pengurangan Subsidi BBM bagi masyarakat tidak cukup hanya dilakukan dengan suatu survei yang sederhana saja , tetapi diperlukan suatu penelitian yang mendalam .

Hal-hal lain yang juga harus diperhatikan evaluator melakukan riviu masing-masing indikator kinerja adalah :

dalam

1. Meyakinkan apakah indikator kinerja ditetapkan melalui proses konsultasi yang memadai dengan pihak internal maupun dengan pihak eksternal instansi sesuai dengan aspek yang ditetapkan indikator kinerjanya yang dapat dapat mengukur pencapaian tujuan dan sasaran sebagai dua hal penting yang ingin dicapai oleh instansi. Agar tetap dapat berfungsi dengan baik seharusnya indikator kinerja direviu secara berkala dan berkesinambungan sehingga tetap dapat dipercaya sebagai bagian dari suatu sistem yang handal. 2. Waktu dan biaya merupakan aspek penting yang harus dipertimbangkan dalam pengumpulan data agar tercipta costeffectiveness, sehingga perlu dianalisis apakah penetapan indikator kinerja juga telah mempertimbangkan pengumpulan datanya. Di samping itu indikator kinerja ditetapkan dengan persetujuan pimpinan untuk mendapatkan komitmen pimpinan,

29

khususnya dalam alokasi sumber-sumber daya instansi dalam mencapai tujuan dan sasaran. 3. Meyakini apakah indikator kinerja yang telah ditetapkan telah dikomunikasikan pada setiap tingkatan unit organisasi yang terkait untuk mengetahui dan menetapkan pihak yang bertanggung jawab dalam mencapai target kinerja dan untuk memperbaiki kinerja. Jika terdapat lebih dari satu unit organisasi yang berkepentingan terhadap satu indikator kinerja, maka harus ditentukan unit organisasi yang berfungsi sebagai (leader) dalam pencapaian target. b. Riviu Terhadap Satu set Indikator Kinerja Selain melakukan riviu terhadap masing-masing indikator kinerja , evaluatan perlu melakukan riviu terhadap satu set indikator kinerja. Hal ini perlu dilakukan karena penetapan indikator kinerja oleh suatu organisasi harus melihat konteks penggunaannya. Satu set indikator kinerja yang digunakan untuk mengukur keberhasilan suatu program tentulah berbeda dengan satu set indikator kinerja yang digunakan di dalam mengukur keberhasilan organisasi. Contoh: Sasaran : Menurunnya tingkat kematian ibu dan anak
Program /Kegiatan Program Imunisasi Indikator kinerja 1. 2. 3. 4. Cakupan imunisasi campak Cakupan imunisasi hepatitis B Cakupan imunisasi BCG Cakupan perbaikan gizi ibu dan anak 5. Angka kematian ibu hamil/ melahirkan. 6. Angka kematian anak. 7. Banyaknya ibu hamil yang memeriksakan diri sedini mungkin 8. Banyaknya posyandu aktif. 9. Banyaknya instrumen dan media penyuluhan kesehatan. 10. Banyaknya kader posyandu. 11. Rasio antara jumlah dokter dengan jumlah penduduk. 12. Rasio tempat tidur rumah sakit dengan penduduk. Keterangan Indikator satu (1) sampai dengan dua belas (12) merupakan satu set indikator kinerja untuk mengukur keberhasilan program imunisasi.

Comment: Yang akan memberikan kontribusi paling signifikan

Riviu terhadap satu set indikator kinerja dilakukan dengan meneliti atau menelaah duabelas (12) indikator kinerja yang

30

digunakan untuk mengukur keberhasilan program imunisasi dengan mempertimbangkan ; karakteristik kualitas indikator kinerja yang baik, penting dan menjadi prioritas program. Dari ke duabelas indikator kinerja tersebut setelah diteliti/ditelaah mungkin indikator yang tepat untuk mengukur keberhasilan dan kegagalan program imunisasi hanya 8 ( delapan ) indikator kinerja.

c. Riviu Terhadap Keselarasan Indikator Kinerja . Riviu terhadap keselarasan indikator kinerja dilakukan dengan meneliti atau menelaah keselarasan indikator kinerja antar komponen Renstra dan keselarasan indikator kinerja unit organisasi yang terkait dalam mencapai suatu sasaran dan tujuan yang sama. Dalam meneliti/menelaah keselarasan indikator kinerja antar komponen Renstra, evaluator harus memperhatikan gambar berikut :

TTuuj j uaann u SSt t r at t ej j kk ra e ii SSaass ar r ann a a SSt t r at t ej j kk ra e ii PPr r oggr r am o a m KKeeggi aat t ann i a

I n d ik a to r K in e r ja I n d ik a t o r K in e r ja

P p b a d d

e n e t a p a n in d ik a t o r k in e r ja a d a T u ju a n / S a s a r a n m e m u a t p e n ila ia n a t a s p e n c a p a in T u ju a n / S a s a r a n d a p a t ila k u k a n s e c a r a la n g s u n g a n o b je k t if

I n d ik a t o r K in e r ja

K e s e la r a s a n in d ik a t o r k in e r ja p a d a K e g ia t a n d a n T u ju a n / S a s a r a n h a r u s s e la lu d ija g a a g a r m e m a s t ik a n b a h w a p e la k s a n a a n k e g ia t a n m e m a n g m e n d u k u n g p e n c a p a ia n T u ju a n / S a s a r a n o r g a n is a s i

Gambar : Keterkaitan indikator kinerja dalam komponen Renstra. Hal lain yang harus diperhatikan dalam riviu satu set indikator kinerja ini adalah permasalahan bahwa jumlah indikator harus cukup memadai dibandingkan kebutuhan akan pengukuran kinerja. Jumlah indikator yang lebih dari satu bukan masalah sepanjang bisa memenuhi fungsinya dalam memberikan informasi untuk perbaikan kinerja. Jadi banyak sedikitnya indikator kinerja memang tergantung kebutuhan manajemen. Batasan angka yang 31

”lazim” dipakai sebagai norma untuk menentukan jumlah indikator kinerja sebenarnya tidak ada. Tiga, empat atau lima indikator saja mungkin bisa dianggap baik. Akan tetapi sebaliknya, sepuluh, limabelas atau seratus juga mungkin saja baik, asal bisa mengelola dan menggunakannya. Untuk meneliti/menelaah keselarasan keselarasan indikator kinerja unit organisasi yang terkait dalam mencapai suatu sasaran dan tujuan yang sama, evaluator harus memperhatikan gambar berikut :

Keselarasan Renstra dalam Lingkungan Pemerintah Daerah Melalui Keselarasan IK
Pemerintah Daerah

Propeda

Renstra Pemda

IndiIndiKator KinerKinerja

Sekretariat Daerah Unit Mandiri

Badan-badan

Dinas-dinas

Unit Mandiri

Unit Mandiri

Renstra Unit Kerja

Gambar : Keterkaitan indikator kinerja antar unit organisasi yang terkait Untuk melihat keterkaitan dan keselarasan antar indikator kinerja evaluator dapat menggunakan metode analisis kualitatif dan metode analisis kuantitatif.

Contoh : Keselarasan indikator kinerja dalam komponen Renstra.

32

Komponen Renstra
Tujuan Stratejik

Komponen Renstra Meningkatnya tingkat kualitas pendidikan masyarakat

Rumusan

Indikator Kinerja
• Jumlah masyarakat yang melek huruf dalam tahun x mencapai a% • Tingkat partisipasi pendidikan masyarakat ( SD,SLTP,SLTA,PT) dalam tahun x , mencapai a% • Tingkat ketersediaan sarana pendidikan dan tenaga pengajar dalam tahun x , mencapai a% % masyarakat yang melek huruf latin dalam tahun 200x sebesar a%

Keterangan
secara logis terdapat keselarasan antara indikator kinerja tujuan, sasaran dan program/kegia tan.

Sasaran Stratejik

Meningkatnya tingkat melek huruf masyarakat Pendidikan anak-anak putus sekolah di luar sekolah

Program dan Kegiatan

Jumlah anak –anak putus sekolah yang mengikuti pendidikan di luar sekolah dalam tahun 200x sebesar ... orang.

Contoh : Keselarasan indikator kinerja antar unit organisasi.
Pemerintah Sasaran
Meningkatnya produktivitas tanaman pangan dan holtikultura.

Propinsi Indikator Kinerja
Peningkatan produksi sektor perkebunan: padi a% , palawija b% dan sayur mayur c% Terjalinnya Mitra Usaha dan terbentunya Pokja Kemitraan

Unit Sasaran
Meningkatnya Sarana dan Prasarana Tanaman Pangan Meningkatnya pemberdayaan Industri Kecil dan Menengah (PIKM) • • • •

Kerja Indikator Kinerja
Luas Balai Benih Induk (BBI) yang disempurnakan Luas lahan yang Dibantu Saprodi Teridentifikasinya usaha kecil Terselenggaranya temu usaha kegiatan

Ket

Uniit kerja Dinas Tanam an Pangan Unit kerja Dinas Perindu strian dan perdaga ngan

Meningkatnya Pertumbuhan Industri, dan Perdagangan,

33

Pemerintah Sasaran
Meningkatnya derajat kesehatan masyarakat.

Propinsi Indikator Kinerja
Rasio puskesmas terhadap jumlah penduduk Jumlah masyarakat yang mempunyai akses pelayanan kesehatan

Unit Sasaran
Meningkatnya pelayan kesehatan masyarakat

Kerja Indikator Kinerja

Ket

Unit Pembangunan Puskesmas di Kecamatan kerja Dinas Jumlah masyarakat Kesehat yang Berobat Bantuan an PMT-AS Perbaikan gizi ibu hamil Jumlah pemantauan status gizi

Riviu Terhadap Capaian Indikator Kinerja
Riviu terhadap capaian indikator kinerja dilakukan dengan melakukan pembandingan antara realisasi suatu capaian dengan rencana, standar, benchmark atau dengan realisasi pencapaian periode yang lalu. Cara yang digunakan dalam melakukan riviu ini sama saja dengan riviu pencapaian sasaran, yang intinya menggunakan performance gap analysis, yaitu membandingkan dan kemudian mencari informasi mengapa terjadi perbedaan (gap) antara realisasi capaian dengan data pembandingnya.
Bisa jadi capaian indikator kinerja kegiatan mungkin saja bagus-bagus (bahkan banyak yang 100%), akan tetapi apakah pencapaian sasaran juga berhasil? Jika ya, maka riviu kembali apakah indikator-indikator yang dipakai memang sudah bagus. Jika sudah bagus, maka kita tinggal menilai kredibilitas data. Jika kredibilitas data bagus, maka akuntabilitas kinerja instansi yang dievaluasi tentulah sangat baik.

34

You're Reading a Free Preview

Download
scribd
/*********** DO NOT ALTER ANYTHING BELOW THIS LINE ! ************/ var s_code=s.t();if(s_code)document.write(s_code)//-->