Panduan Monitoring dan Evaluasi

Riset Unggulan Terpadu

1. Latar Belakang

Dari seluruh aspek yang tergolong dalam manajemen riset, monitoring dan
evaluasi adalah satu-satunya aspek yang belum terimplementasikan secara baik,
tepat dan berkesinambungan. Disamping indikator kinerja yang diperlukan sukar
ditemukan. Kalaupun ditemukan, masih sukar untuk diukur, dibebani lagi oleh
ketidakcukupan dana pendukung, maka aktivitas tersebut acapkali tidak
dilaksanakan secara disiplin dan konsekuen. Faktor lain yang turut mereduksi nilai
pelaksanaan monitoring dan evaluasi adalah tumpang tindihnya berbagai program
riset di Indonesia. Sebagaimana telah diketahui bahwa Direktorat Pembinaan
Penelitian dan Pengabdian pada Masyarakat, Ditbinlitabmas Ditjen Dikti
mengalokasikan sejumlah dana riset untuk membiayai beragam program riset bagi
perguruan tinggi. Program tersebut adalah Penelitian Dosen Muda, PDM yang
dahulu dikenal sebagai Berbagai Bidang Ilmu, BBI, Penelitian Hibah Bersaing,
PHB; Penelitian Dasar, PD; Penelitian Hibah Tim, PHBT; Penelitian Doktor
Baru, PDB; Domestic Collaborative Research Grant, DCRG; Studi Lingkungan; Kajian
Wanita dan lain-lain. Setiap program membawa misi yang berbeda-beda,
karenanya alokasi biayanyapun beragam. Ada program riset yang membawa misi
menciptakan nuansa, iklim dan keterampilan riset di perguruan tinggi (PDM),
riset-riset yang berorientasi kepada eksplorasi fenomena alam semesta dan
pemantapan platform riset suatu bidang studi (PD, PHT, PDB, Kajian Wanita,
DCRG, dll), ada yang berorientasi pada pemenuhan kebutuhan industri (PHB). Di
lain pihak Kantor Menteri Negara Riset dan Teknologi, KMNRT pun
mempunyai program riset berskala nasional, yaitu Riset Unggulan Terpadu, RUT;
Riset Unggulan Kemitraan, RUK; Riset Unggulan Kemasyarakatan dan
Kemanusiaan, RUKK; dan Riset Pembinaan Iptek Kedokteran, Risbiniptekdok;
dengan misi yang juga berbeda. Jika program riset Ditbinlitabmas hanya
mengijinkan dosen perguruan tinggi yang berpartisipasi aktif, maka dana KMNRT
disamping perguruan tinggi juga LPND, Litbang Departemen, LD dapat turut
bersaing memperebutkan biaya riset yang dialokasikan.
Hibah riset yang berasal dari luar negeri seperti Asahi Glass Foundation, Toray
Foundation, Toyota Foundation, Sumitomo Foundation, dan lain-lain melengkapi sumber

Panduan Monitoring dan Evaluasi RUT 1

 dana riset yang telah diuraikan sebelumnya. Riset semacam ini pada umumnya
terbatas. Batasan tersebut pada umumnya diterapkan pada bidang-bidang ilmu
tertentu sehingga kelompok peneliti yang eligible untuk berpartisipasi, juga
terbatas. Batasan semacam itu, bahkan dalam konteks bidang ilmu dapat
dikatakan cukup ekstrim berlaku bagi program ARM yang khusus diperuntukkan
bagi peneliti bidang pertanian; RUKK bagi bidang sosial dan humaniora;
Risbiniptekdok, bagi bidang kedokteran, dll.
Sementara itu, setiap perguruan tinggi juga mengalokasikan sejumlah dana
riset bagi dosen-dosennya. Pada umumnya jumlahnya terbatas untuk menciptakan
nuansa dan adaptasi riset bagi dosen mudanya. Industri pun meskipun dalam
skala yang masih kecil, telah turut berperan serta dalam program riset perguruan
tinggi. Demikian pula litbang-litbang yang departemennya mampu menggalang
dana semacam dana reboisasi telah mengalokasikan sebagian dananya bagi
program riset di lingkungannya.
Hasil studi yang telah dilakukan baik oleh KMNRT maupun Ditjen Dikti
menunjukkan bahwa pola monitoring dan evaluasi berlangsung secara sentralistik.
Institusi atau lembaga pelaksana riset lebih mengandalkan institusi penyandang
dana riset untuk melaksanakan monitoring sekaligus evaluasi. Jadi, asas
desentralisasi belum sepenuhnya dipahami. Disamping itu, tim pemantau yang
diharapkan dapat sekaligus bertindak sebagai peer reviewer tidak dapat terpenuhi,
olehkarena substansi riset seringkali tidak serasi dengan kepakaran tim yang
jumlahnya terbatas. Akibatnya, alokasi dana yang tersedia pada umumnya hanya
memungkinkan aktivitas monitoring dan evaluasi menyentuh sisi administrasi
riset, namun belum sisi substansinya. Apalagi jika monitoring dan evaluasi
dimaksimalkan dengan mencakup sisi manfaat dan dampak riset itu sendiri. Dapat
dibayangkan, bagaimana sebenarnya profil monitoring dan evaluasi riset di
Indonesia saat ini, jika baru dari dua sumber dana (Ditjen Dikti dan KMNRT)
implementasi aspek tersebut tidak optimal. Patut pula diperhatikan bahwa
aktivitas riset di banyak lembaga riset Indonesia tidak hanya mengenal dan
memanfaatkan kedua sumber dana tersebut, melainkan juga dari departemen
teknis atau non departemen lainnya. Olehkarena itu, dipandang perlu untuk
merumuskan kebijakan yang berkaitan dengan peningkatan produktivitas, efisiensi

2 Panduan Monitoring dan Evaluasi RUT

 dan mekanisme monitoring dan evaluasi lembaga riptek serta melaksanakan
evaluasi kinerja lembaga yang dinilai mempunyai posisi strategis dalam
mengupayakan tingginya efisiensi dan nilai yang diperoleh dari aktivitas
monitoring dan evaluasi riset di Indonesia.
Sejak tahun 1993 dan tahun-tahun setelahnya, KMNRT telah
memperkenalkan berbagai program riset unggulan dan strategis, antara lain RUT,
RUK, RUKK dan RUSNAS. Sebagai institusi fungsional, KMNRT tidak berada
pada posisi untuk melaksanakan program-program tersebut secara operasional.
Implementasi program-program riset termaksud dilaksanakan oleh LPND yang
berada di bawah koordinasinya, seperti LIPI dan BPPT. KMNRT lebih
diposisikan sebagai perencana dan pengawas program. Olehkarena itu, di dalam
buku panduan ini diuraikan sistem dan mekanisme monev yang berlaku untuk
setiap program KMNRT dan model monev khusus untuk RUT. Dengan
demikian, masih perlu disusun suatu model monev lain untuk RUK, RUKK dan
RUSNAS, karena program-program tersebut membawa misi yang berlainan.
Otonomi Daerah yang mulai diberlakukan sejak bulan Januari 2001 dan
didirikannya Dewan Riset Daerah (DRD) serta institusi sejenis dengan nama lain
di banyak propinsi, menjadi parameter lain dalam menetapkan pola atau
mekanisme monitoring dan evaluasi riset. Beberapa alternatif dapat dilakukan
misalnya mendesentralisasikan pengelolaan basis data riset dari KMNRT ke
DRD. KMNRT mengakses situs web DRD untuk memantau kegiatan dan produk
riset di setiap propinsi.

Panduan Monitoring dan Evaluasi RUT 3

2. Tujuan

Buku panduan monitoring dan evaluasi yang diterbitkan KMNRT ini

ditujukan bagi terealisasikannya sistem serupa di setiap unit riset. Jadi tidak hanya
menjadi kewajiban bagi penyandang dana untuk melakukan swakarya, tetapi harus
merupakan budaya dan kewajiban unit riset itu sendiri dan suprastruktur
pengelola di lembaganya yang lebih tinggi. Meskipun disadari dalam skala dan
karakter unit riset tertentu, buku panduan ini belum dapat diterapkan, namun
harapan agar kegiatan monitoring dan evaluasi disadari sebagai bagian dari
kewajiban suatu unit riset, setidak-tidaknya dapat terpenuhi.

4 Panduan Monitoring dan Evaluasi RUT

3. Pengertian

Unit Riset adalah unit dimana sekelompok peneliti melakukan penelitiannya

dan memiliki 4 (empat) kriteria berikut, yaitu (1) melakukan
manajemen riset, (2) mempunyai sumber daya riset, (3) mempunyai
kebijakan riset atau mengaplikasikan temuannya, dan (4)
mempunyai program riset. Di dalam unit riset terdapat seorang
pemimpin sedangkan lainnya adalah anggota unit. Sebagai contoh
unit riset antara lain: laboratorium, kelompok bidang keahlian,
Unit Pelaksana Teknis, UPT; balai penelitian, pusat penelitian,
pusat antar universitas, bidang dan sejenisnya.
Monitoring adalah suatu kegiatan observasi yang berlangsung terus menerus
untuk memastikan dan mengendalikan keserasian pelaksanaan
program dengan perencanaan yang telah ditetapkan.
Evaluasi adalah suatu teknik penilaian kualitas program yang dilakukan
secara berkala melalui metode yang tepat.

Pada hakekatnya evaluasi diyakini sangat berperan dalam upaya

meningkatkan kualitas operasional suatu program dan berkontribusi penting
dalam memandu pembuat kebijakan di seluruh strata organisasi. Dengan
menyusun, mendesain evaluasi yang baik dan menganalisis hasilnya dengan tajam,
kegiatan evaluasi dapat memberi gambaran tentang bagaimana kualitas
operasional program, layanan, kekuatan dan kelemahan yang ada, efektivitas biaya
dan arah produktif potensial masa depan. Dengan menyediakan informasi yang
relevan untuk pembuat kebijakan, evaluasi dapat membantu menata seperangkat
prioritas, mengarahkan alokasi sumber dana, memfasilitasi modifikasi dan
penajaman struktur program dan aktivitas serta memberi sinyal akan kebijakan
penataan ulang personil dan sumber daya yang dimiliki. Disamping itu, evaluasi
dapat dimanfaatkan untuk menilai dan meningkatkan kualitas serta kebijakan
program.
Ilustrasi tentang peran evaluasi dalam meningkatkan kualitas dan kebijakan
program dilukiskan secara sederhana seperti tampak pada Gambar 1. Model

Panduan Monitoring dan Evaluasi RUT 5

 tersebut menunjukkan interaksi antara formulasi dengan implementasi kebijakan
dan pelaksanaan program serta ketetapan atau keputusan dan evaluasi tentang
kualitas program. Pada lingkaran ganda pertama, yang merupakan tingkat paling
sederhana, kebijakan program diformulasikan untuk memandu dan menetapkan
arah pelaksanaan program. Akan tetapi, karena operasionalisasi program
merupakan sasaran interpretasi suatu kebijakan, dan berkorelasi erat dengan
kemampuan adaptasi individual, maka pelaksanaan program bukanlah suatu
cerminan akurat dari suatu pedoman kebijakan. Olehkarena itu, kebijakan dan
pelaksanaan program selanjutnya dikombinasikan untuk menghasilkan kualitas
aktual program (atau kualitas operasional organisasi). Melalui proses evaluasilah
suatu kualitas program dinilai. Hal ini dapat dilakukan baik melalui proses yang
bersifat kualitatif maupun kuantitatif. Meskipun harus diakui pula bahwa masing-
masing pola tersebut hanya mampu menetapkan sebagian dari total kualitas
pelaksanaan program dan dampaknya. Setelah melalui fase penilaian – sesuai
lingkaran ganda kedua – dari serangkaian proses evaluasi dilakukan pengambilan
keputusan tentang sebaik apa kualitas kebijakan dan pelaksanaan programnya.
Untuk itu diperlukan model evaluasi yang tepat, indikator kinerja dan besarannya
yang disepakati, tujuan atau obyektif yang jelas dan standar yang diterapkan serta
luasnya rentang nilai faktor-faktor yang lain. Dengan demikian akan diperoleh
keputusan tentang nilai kualitas integratif (lingkaran ganda ketiga).
Tergantung pada hasil evaluasi yang diperoleh dilakukan pengambilan
keputusan. Langkah berikutnya adalah menerapkan keputusan yang telah
ditetapkan dengan melanjutkan atau mengubah kebijakan yang ada,
mengeliminasi, meluaskan atau memodifikasi operasi pelaksanaan program.
Model evaluasi secara sengaja digambarkan dalam bentuk lingkaran dengan
maksud untuk mengindikasikan bahwa proses tersebut tidak berlangsung diskret
apalagi linier.
Sudut pandang model di atas, dinilai telah berkorespondensi dengan
pandangan tradisional tentang peran evaluasi dalam pengembangan suatu
program. Dilihat dari sudut yang lain, sebagai contoh, evaluasi kualitas yang telah
dibuktikan atau yang belum dibuktikan kebenarannya dapat mengantarkan kepada
penilaian yang mengidentifikasi adanya kebutuhan untuk intervensi baru ke dalam

6 Panduan Monitoring dan Evaluasi RUT

 kebijakan dan pelaksanaannya. Jadi peran penilaian dalam hal ini adalah untuk
memenuhi kebutuhan suatu evaluasi. Olehkarena itu, intervensi baru -- yang
dapat berupa kebijakan, strategi, dll -- seyogyanya dinilai dan dievaluasi setelah
diimplementasikan serta menjadi subyek atau acuan untuk dilanjutkan atau
dimodifikasinya suatu aksi.

Kebijakan
Program

Pelaksanaan
3 2
Program

Keputusan
Terintegrasi Kualitas
tentang Program
Kualitas

Standar
yang Penilaian
disepakati Kualitas

Perubahan konteks sosial

−− SSosial
osial
−− PPolitik
olitik
−− Sumber daya
Sumber daya

Gambar 1. Model Proses Peningkatan Kualitas

Panduan Monitoring dan Evaluasi RUT 7

4. Sistem MONEV KMNRT

Melaksanakan evaluasi kinerja lembaga riset yang memiliki berbagai

karakter, misi dan pola pendanaan risetnya, menuntut taktik dan strategi yang
tepat dan operasional. Kondisi semacam itu dipicu dengan kebijakan Menegristek
tentang ruang lingkup operasional KMNRT yang berskala nasional.
Olehkarenanya, meskipun KMNRT berfungsi sebagai koordinator 7 (tujuh)
LPND, namun kebijakan tersebut memberi konsekuensi meluasnya liputan
monev ke lembaga atau institusi bahkan unit riset yang ada di seluruh Indonesia.
Sebagaimana telah diketahui bahwa aspek pengawasan, controlling, meliputi
monitoring, evaluasi dan auditing. Untuk melaksanakan fungsi evaluasi kinerja
lembaga, Deputi Bidang Program Riptek, KMNRT membatasi pengawasannya
dalam kedua hal yang disebutkan lebih awal, yaitu monitoring dan evaluasi.
Fungsi auditing tetap sepenuhnya diserahkan kepada pihak badan pengawas
pemerintah yang lebih berwenang, seperti Inspektorat, Irjen, BPKP dan BPK.
Setelah melalui berbagai pertimbangan, sistem monev KMNRT ditetapkan
seperti tampak pada Gambar 2. Pada gambar tersebut dilukiskan mekanisme
evaluasi kinerja lembaga yang secara garis besarnya melibatkan empat pelaku
utama, yaitu:
1. Pihak pelaksana monev KMNRT sendiri, yang dalam hal ini adalah
Asdep 4/III Evaluasi Kinerja Lembaga;
2. Penentu kebijakan dan program riset nasional, yang dalam hal ini
terdiri dari para Staf Ahli, Deputi Menegristek dengan mempertim-
bangkan saran atau rekomendasi Dewan Riset Nasional;
3. Pihak perencana anggaran nasional, yang terdiri dari unsur Direktorat
Jenderal Anggaran, Departemen Keuangan dan Bappenas;
4. Pihak pelaksana riset, yakni lembaga riset yang dikelompokkan ke
dalam LPND, Litbang Departemen, Perguruan Tinggi, BUMN dan
pusat-pusat studi.
Keempat pelaku monev tersebut seyogyanya merupakan komponen dinamis dari
satu rangkaian siklus kegiatan yang berkesinambungan. Masing-masing pelaku

8 Panduan Monitoring dan Evaluasi RUT

 memegang peranan penting dalam proses kelancaran, efektivitas, berbasis
monitoring dan evaluasi riset di Indonesia.

Masukan, input
− visi, misi
− renstra, rencana aksi
− kebijaksanaan • Profil Kinerja
− peraturan Lembaga
− sumber daya
• Profil Sumber-
Proses, process daya Riset
LPND Lembaga
interaksi
− antar periset Asdep Evaluasi
− periset-pimpinan Kinerja
atmosfer riset;
efisiensi; KMNRT
LD
manajemen konflik

Keluaran, output
produktivitas
− artikel saintifik PT Staf
Deputi
− buku Ahli
− paten
− prototipe
− desain DJA • Jakstra
INDUSTRI • Punas
− dll.

Hasil, outcome DPR

− aspek komersialisasi
− aspek internalisasi Bappenas
PUSAT
− return on investment STUDI
• Program Baru
Dampak, impact • Sistem Baru
Pengaruh positif dan/atau • Panduan
negatif terhadap
− lingkungan internal • Program Baru
− lingkungan eksternal Riset Nasional

Manfaat, benefit
− relevansi
− efektivitas

Gambar 2. Mekanisme Evaluasi Kinerja Lembaga

KMNRT, dalam hal ini Asdep 4/III menerima informasi dalam bentuk data
kuantitatif tentang sumberdaya, program, manajemen dan kebijakan riset yang
dimiliki lembaga riset (LPND, Litbang Departemen, Perguruan Tinggi, BUMN,
Pusat Studi). Berbasis informasi tersebut, KMNRT mengolah dan

Panduan Monitoring dan Evaluasi RUT 9

 menganalisisnya menjadi profil kinerja riset lembaga, potensi SDM dan fasilitas
masing-masing lembaga riset. Berdasarkan profil tersebut, pimpinan KMNRT
(para Deputi dan Staf Ahli Menegristek) bersama dengan Dewan Riset Nasional
menilai kesesuaian kinerja dengan Jakstra Riptek Nasional dan/atau menyusun
serta menetapkan kebijakan dalam bentuk naskah program, sistem dan panduan
riset baru.
Naskah program dan sistem yang baru selanjutnya dibahas bersama Ditjen
Anggaran (Departemen Keuangan) dan Bappenas untuk memperoleh persetujuan
anggaran dan penetapannya sebagai program riset nasional yang akan dibiayai
oleh pemerintah untuk tahun anggaran berikutnya. Selain Ditjen Anggaran dan
Bappenas, pihak DPR seyogyanya diikutsertakan pada saat pengkajian dan
pembahasan program tersebut. Program-program riset yang telah disetujui
pembiayaannya, kemudian ditawarkan secara terbuka dan kompetitif kepada
seluruh lembaga riset melalui mekanisme penawaran yang atraktif.
Didalam kaitannya dengan otonomi daerah, mekanisme serupa juga dapat
dikembangkan di daerah-daerah dalam menyusun program-program riset daerah,
dimana DRD (Dewan Riset Daerah) bersama dengan Bappeda (Badan
Perencanaan Pembangunan Daerah) dan DPRD merumuskan program-program
riset yang spesifik untuk daerah yang bersangkutan.
Pada prinsipnya lembaga-lembaga riset seyogianya melakukan monev
internal dengan cara melakukan self-evaluation atau evaluasi diri, menetapkan
indikator kinerja untuk mengevaluasi kinerja dan potensi diri yang ada pada
masing-masing lembaga. Monev eksternal dilakukan oleh KMNRT melalui pola
tidak langsung, yaitu melalui akses basis data yang teralokasi di setiap lembaga
atau bahkan unit riset. Jika dipandang perlu, KMNRT akan melakukan kunjungan
konsultatif ke unit-unit riset yang menunjukkan kinerja baik dan/atau yang masih
memerlukan dukungan pengembangan.

10 Panduan Monitoring dan Evaluasi RUT

5. Struktur Data MONEV KMNRT

Berbasis pada pola evaluasi sumatif, KMNRT menata informasi riset dan
teknologi ke dalam struktur data seperti tampak pada Gambar 3 berikut. Hal ini
dilakukan untuk mengefisienkan, mengefektifkan arus informasi, karena pada
dasarnya evaluasi sumatif bertitik pangkal pada basis data iptek di tingkat paling
operasional, yaitu unit riset. KMNRT akan menerbitkan excecutive summary
berdasar hasil ekstraksi dan pengolahan data yang tersaji pada website setiap
lembaga/institusi dan unit riset di seluruh Indonesia. Hal tersebut terlebih dahulu
diintegrasikan ke dalam visi, misi, tugas pokok dan fungsi KMNRT, sebelum
disimpan dalam website. Uraian rinci Sistem Informasi Riset, SIR dan jenis basis
data yang sebaiknya disajikan di Unit Riset (SIR-1) dan informasi yang
ditampilkan pada SIR-2 & 3, dapat disimak dalam Buku “Sistem Informasi Riset”
yang diterbitkan oleh KMNRT, tahun 2001.

Sistem Informasi Riset,

KMNRT SIR - 3

Sistem Informasi
Lembaga/ Riset,
Institusi SIR - 2

Sistem Informasi Riset,

SIR – 1

Basis Data:
UNIT RISET Identitas
UNIT RISET
UNIT RISET Manajemen Riset
Sumberdaya Riset
Program Riset
Kebijakan Riset

Gambar 3. Struktur Data MONEV KMNRT

Buku Panduan Monev RUT hanya memuat struktur data monev KMNRT.
Perangkat keras dan lunak yang diinvestasikan, terbatas hanya di lingkungan
KMNRT untuk mendukung kegiatan monev, entry data dan program pengolahan
data. Seluruh sistem informasi yang dibangun terbatas telah dikoneksikan dengan
Ipteknet, agar mempunyai akses pengguna dan nilai kemanfaatan yang lebih luas.

Panduan Monitoring dan Evaluasi RUT 11

6. Evaluasi Formatif dan Sumatif

Sistem monitoring dan evaluasi KMNRT yang berbasis pada akses data di
unit dan lembaga atau institusi riset lebih cenderung mengikuti pola evaluasi
sumatif. Disamping biayanya murah, evaluasi semacam itu menawarkan efisiensi
paling tinggi. Hasil pengolahan data selanjutnya menjadi basis pertimbangan
KMNRT untuk melakukan kunjungan konsultatif ke unit riset yang atraktif atau
bahkan yang kinerjanya sangat rendah. Kunjungan tersebut dilakukan dalam
rangka klarifikasi, sebagai basis pemikiran penyusunan rekomendasi perubahan-
perubahan atau perbaikan unit riset di masa depan.

6.1. Perbedaan Evaluasi Formatif dan Sumatif

Pada prinsipmya, perbedaan umum dan khusus diantara kedua macam
evaluasi tersebut, masing-masing dapat dilihat pada Tabel 1 dan Tabel 2
berikut ini.

Tabel 1. Perbedaan Evaluasi Formatif dan Sumatif

Evaluasi Formatif
− Evaluasi formatif dilakukan
untuk membantu perancang
program, para manajer dan/atau
staf untuk menyempurnakan
program yang sedang
dikembangkan atau yang sedang
berjalan,
− Menuntut perhatian yang cukup
untuk memantau implementasi
program dan pencapaian tujuan,
− Dalam upaya untuk
meningkatkan program,
diperlukan pemahaman tentang
kemajuan program ke arah
pencapaian obyektif sehingga
peluang melakukan perubahan
dalam komponen program dapat
dilakukan,
Evaluasi Sumatif
− Evaluasi sumatif dilakukan
untuk membantu sponsor atau
institusi berwenang lainnya
dalam menentukan keputusan
apakah akan melanjutkan
program yang dinilai sukses atau
apakah akan menghentikannya,
− Tujuan evaluasi sumatif adalah
untuk mengoleksi dan
menampilkan informasi yang
diperlukan dalam mendukung
pengambilan kesimpulan dan
keputusan tentang program
serta nilainya,

12 Panduan Monitoring dan Evaluasi RUT

 Evaluasi Formatif
− Evaluasi formatif memerlukan
waktu lama sebab membutuhkan
familiaritas akan banyak aspek
program dan melengkapi
personil program dengan
informasi serta wawasan untuk
membantu mereka
memperbaikinya,
− Evaluasi formatif tidak perlu
dilakukan, jika tidak ada peluang
melakukan perubahan untuk
suatu perbaikan,
− Hasil evaluasi formatif digunakan
untuk merevisi aktivitas,
penugasan, organisasi dan
komponen lainnya di dalam
program.
Evaluasi Sumatif
− Evaluasi dilakukan dengan
menggunakan pembanding,
yaitu perbandingan hasil
perencanaan program dengan
tujuan yang ditetapkan oleh
desainer program dan detilnya
terekam dalam perencanaan
program,
− Semakin jelas program dan
terukurnya tujuan, konsistensi
materi, organisasi dan aktivitas,
semakin cocok dilakukannya
evaluasi sumatif,
− Hasil evaluasi sumatif
digunakan untuk membantu
memutuskan apakah suatu
program akan dilanjutkan, di-
hentikan atau apakah dan
bagaimana cara pengembangan
atau menghentikannya.

Tabel 2. Perbedaan Khusus antara Evaluasi Formatif dan Sumatif

Evaluasi Formatif Evaluasi Sumatif

Sasaran utama − Desainer program − Penentu kebijakan
− Manajer program, − Donatur atau sponsor
− Pelaksana program − Publik yang berminat
Konsentrasi pada Klarifikasi tujuan Dokumentasi hasil
saat pengkoleksian Sifat program Dokumentasi implemen-
data - Proses atau implementasi tasi
Klarifikasi persoalan Analisis level mikro dari
- Saat implementasi dan - Implementasi dan
- Kemajuan pada hasil - Hasil
program
Analisis level mikro dari
- Implementasi dan
- Hasil
Pelaku utama Kolaborator Penyuplai data
pengembang
program dan
pelaksana
Peran utama Interaktif Independen
evaluator
Metodologi Kualitatif dan kuantitatif Kuantitatif, kadangkala
dengan lebih ditekankan diperkaya dengan kualitatif
pada situasi sebelumnya

Panduan Monitoring dan Evaluasi RUT 13

 Evaluasi Formatif Evaluasi Sumatif
Frekuensi Monitoring yang sedang Terbatas
pengkoleksian data berjalan
Mekanisme utama − Diskusi Laporan formal
pelaporan − Interaksi pertemuan
informal
Frekuensi Berulang-ulang Saat menyimpulkan
pelaporan
Penekanan dalam − Hubungan diantara − Hubungan makro antara
laporan unsur proses-level mikro konteks-proses-hasil
− Hubungan diantara − Implikasi untuk
konteks dan proses kebijakan, kontrol
− Hubungan diantara administratif dan
proses dan hasil manajemen
− Implikasi untuk
pelaksanaan program
dan perubahan spesifik
saat pelaksanaan
Syarat untuk − Kesepakatan kinerja Obyektivitas saintifik
kredibilitas program dengan
pengembang atau
pelaksana
− Advokasi atau
kepercayaan

6.2. Tahapan Pelaksanaan Evaluasi Formatif dan Sumatif

Untuk mengenali tahapan pekerjaan kedua macam evaluasi tersebut, secara
garis besar telah dimuat secara lengkap pada Tabel 3 berikut.

Tabel 3. Ringkasan Tahapan Evaluasi Formatif dan Sumatif

Evaluasi Formatif Evaluasi Sumatif

Tahap 1:
Tentukan Batas Evaluasi
1.1. Menentukan maksud evaluasi
1.2. Mencari sebanyak mungkin
informasi tentang program
1.3. Merumuskan program
1.4. Memfokuskan evaluasi
1.5. Menegosiasikan peran Anda
Tahap 1:
Tentukan Batas Evaluasi
1.1. Menentukan maksud evaluasi
1.2. Menemukan sebanyak mungkin
informasi tentang program dalam
bentuk pertanyaan
1.3. Merumuskan program X dan C
1.4. Memfokuskan evaluasi
1.5. Menegosiasikan peran Anda

14 Panduan Monitoring dan Evaluasi RUT

 Evaluasi Formatif
Tahap 2:
Pilih Metode Evaluasi yang Cocok
2.1. Mempertajam perumusan program
2.2. Memastikan anda mengajukan
pertanyaan yang benar
2.3. Menemukan keterangan apa yang
akan dihasilkan dari data yang anda
suplai
2.4. Mendesain perencanaan untuk
menguji implementasi program
2.5. Mendesain kemajuan sistem
monitoring
2.6. Mengkonsolidasikan perhatian anda
2.7. Mengestimasikan biaya evaluasi
2.8. Persetujuan final tentang layanan dan
tanggungjawab
Tahap 3:
Pengumpulan dan Menganalisis
Informasi
3.1. Koleksi dan analisis informasi
3.2. Pastikan batas akhir koleksi data
3.3. Tentukan ekspektasi untuk
menginterpretasikan data anda
3.4. Pastikan bahwa perencanaan koleksi
data anda telah diimplementasikan
semestinya
3.5. Analisis data untuk peningkatan
program
Tahap 4:
Penyusunan Laporan
4.1. Pastikan strategi komunikasi
4.2. Bertemu dengan manajer program
dan/atau staf untuk mendiskusikan
kelanjutan temuan
4.3. Tinggalkan catatan evaluasi
Panduan Monitoring dan Evaluasi RUT
Evaluasi Sumatif
Tahap 2:
Pilih Metode Evaluasi yang Cocok
2.1. Pilih pendekatan pengkoleksian data
dan instrumen evaluasi
2.2. Konsolidasikan perhatian anda
kepada instrumen yang cocok
2.3. Rencanakan konstruksi dan
pengadaan instrumen evaluasi
2.4. Rencanakan analisis data yang akan
dihasilkan dari setiap instrumen
2.5. Pilih desain evaluasi
2.6. Pilih contoh strategi untuk
mengkonduksi koleksi data
2.7. Estimasi biaya evaluasi
2.8. Persetujuan final tentang layanan dan
tanggungjawab
Tahap 3:
Pengumpulan dan Menganalisis
Informasi
3.1. Pastikan batas akhir
3.2. Siapkan desain evaluasi
3.3. Pengelolaan instrumen, penilaian dan
pencatatan data
- mulai menyiapkan instrumen
yang diperlukan
- instrumen penilaian sesuai format
hasil yang diharapkan
- catat hasil setiap pengukuran
kedalam lembar ringkasan data
3.4. Lakukan analisis
Tahap 4:
Penyusunan Laporan
4.1. Perencanaan laporan
4.2. Pilih metode presentasi
4.3. Set laporan
15
7. Sistem MONEV RUT

Khusus untuk riset unggulan, dalam hal ini RUT (Riset Unggulan Terpadu),
sistem monitoring dan evaluasi yang dikembangkan di KMNRT tampak seperti
Gambar 4. Gambar tersebut menunjukkan mekanisme pembagian tugas yang
khususnya mengacu kepada manajemen riset seperti: perencanaan, penganggaran,
penawaran, pelaksanaan, monitoring dan evaluasi program. Tampak adanya
empat unsur utama yang saling berhubungan satu sama lain dalam fungsi tertentu,
yaitu:
1. KMNRT, sebagai penanggung jawab program Riset Unggulan Terpadu;
2. Pengelola program RUT dari Lembaga Pemerintah Non Departemen
(LPND) dibawah koordinasi Menegristek, dalam hal ini Lembaga Ilmu
Pengetahuan Indonesia (LIPI);
3. Lembaga/institusi riset seperti LPND, Litbang Departemen, Perguruan
Tinggi, Industri dan pusat-pusat studi yang menjadi payung formal bagi unit
riset;
4. Unit riset yang menaungi peneliti RUT.
Keempat unsur utama di atas saling berkomunikasi dalam konteks sebagai
berikut: KMNRT, dalam hal ini Deputi III Bidang Program Riptek berkewajiban
menyusun kebijakan dan merumuskan misi program RUT berikut program aksi
tahunan serta anggaran belanja yang diperlukan, dengan memperhatikan saran
dan rekomendasi DRN. Khususnya dalam menyusun anggaran belanja tahunan
RUT, KMNRT bekerjasama dan dibantu penuh oleh LIPI, dalam hal ini sebagai
pihak pengelola program RUT berbasis pada hasil pelaksanaan RUT tahun-tahun
sebelumnya dan proyeksi kegiatan satu tahun dimuka. Adanya pelaksanaan RUT
yang telah habis masa risetnya, pelaksana yang dihentikan pelaksanaan riset
sebelum periode waktu risetnya habis dan proyeksi jumlah topik riset baru untuk
satu tahun yang akan datang, serta kegiatan-kegiatan lain seperti administrasi
proyek, penyusunan buku pedoman RUT, monitoring dan evaluasi di lapangan,
studi terkait lainnya, merupakan faktor-faktor berpengaruh terhadap anggaran
belanja tahunan RUT.

16 Panduan Monitoring dan Evaluasi RUT

 Disamping itu, KMNRT setiap tahun berkewajiban melakukan monitoring
dan evaluasi kinerja pengelolaan program RUT baik terhadap pengelola program
(dalam hal ini LIPI) maupun lembaga/institusi riset yang menaungi unit riset dan
pelaksana riset secara formal. Kegiatan monitoring dan evaluasi tersebut
seyogyanya diarahkan baik kepada aspek administrasi serta manajerial, maupun
aspek substantif riset. Olehkarena itu, KMNRT menyusun suatu format khusus
sebagai pendukung kesempurnaan kegiatan tersebut. Khusus bagi unit riset,
KMNRT akan mencermati indikator kinerja manfaat dan dampak produk RUT
yang dihasilkan.
Pengelola RUT, dalam hal ini LIPI berperan aktif dalam menyampaikan
saran perubahan, kondisi aktual pengelolaan dan pelaksanaan RUT pada saat
penyusunan pedoman anggaran belanja tahunan RUT. Dengan dibantu oleh tim
pakar, LIPI melakukan penilaian atas proposal serta monitoring dan evaluasi
pelaksanaan dan hasil riset terhadap aspek substantif. Hasilnya secara lengkap
lebih lanjut diinformasikan kepada KMNRT. LIPI berkewajiban
mensosialisasikan program RUT tahun mendatang ke seluruh lembaga atau
institusi riset nasional dengan mengirimkan buku pedoman RUT tahun
bersangkutan. Disamping itu, LIPI berkewajiban pula melakukan monitoring dan
evaluasi terhadap lembaga/institusi riset secara administratif serta unit riset,
khususnya pelaksana RUT untuk aspek substantif.
Lembaga/institusi riset berkewajiban melakukan koordinasi program RUT
dengan LIPI sebagai pengelola program dalam hal administratif penunjang
implementasi program, misalnya penyusunan dan penandatanganan kontrak
kerjasama penelitian, pencairan termin pembayaran, penyampaian laporan
kemajuan dan laporan akhir penelitian, pengorganisasian kegiatan monitoring dan
evaluasi dan kegiatan administrasi sejenis lainnya.
Unit riset sebagai institusi yang paling bertanggungjawab atas kualitas
kinerja riset diharapkan dapat memposisikan diri dalam kondisi siap dipantau
setiap saat, dan dievaluasi pada saat-saat tertentu, baik oleh KMNRT maupun
LIPI. Olehkarena itu, basis data riset dan kegiatan monitoring evaluasi agar
disusun dan dilakukan secara kontinyu dan obyektif. Disamping itu, unit riset
diharapkan agar selalu berkonsultasi dan berkoordinasi dengan lembaga/institusi

Panduan Monitoring dan Evaluasi RUT 17

 riset yang menaunginya, baik dalam hal mencari informasi program riset terbaru,
perubahan mendasar tentang kebijakan riset nasional, menemukan solusi persoalan
yang dihadapi, bantuan finansial, maupun jasa pendaftaran HaKI.

KMNRT Perencanaan, Penganggaran

Program, Monitoring dan
Evaluasi Substansi riset serta
Monitoring dan Kinerja Pengelola
Evaluasi Kinerja
Lembaga 1

3 2
UR

Lembaga Pengelola

Implementasi Program,
Monitoring dan Evaluasi
Substansi Riset

UR = Unit Riset

1 = Monitoring dan evaluasi kinerja riset, manfaat serta dampak riset.

2 = Monitoring dan evaluasi substansi riset
3 = Perencanaan, penganggaran, pelaksanaan, monitoring dan evaluasi

Gambar 4. Mekanisme MONEV RUT

7.1. Proses Monitoring dan Evaluasi RUT

Program Riset Unggulan Terpadu (RUT) adalah program riset yang
dipersaingkan secara terbuka untuk para peneliti utama di lingkungan unit-unit
riset baik di Perguruan Tinggi, Litbang Departemen, LPND, Industri, maupun
pusat-pusat studi yang ada di Indonesia. Karena sifatnya yang dipersaingkan
maka konsekuensi logisnya, keikutsertaan para peneliti utama dalam program
RUT akan melalui tahapan-tahapan seleksi. Baik pada tingkat seleksi penerimaan
dan penilaian proposal, monitoring dan evaluasi pelaksanaan tahapan-tahapan
riset, sampai pada penilaian akhir kualitas hasil riset. Bahkan hasil-hasil riset
yang dinilai berkualitas akan mendapat kesempatan bersaing untuk
mendapatkan “award”. Secara lengkap proses tersebut mengikuti diagram alir
seperti tampak pada Gambar 5. Adapun contoh basis data yang diperlukan dari
setiap tahapan proses, seperti tercantum pada lampiran halaman 63.

18 Panduan Monitoring dan Evaluasi RUT

 ALIRAN PROSES BASIS DATA, BD

Penerimaan Proposal BD Proposal Masuk

(BD – 1)

Rapat Panel I Ditolak BD Proposal Ditolak I

(BD – 2)

BD Proposal Diteruskan
Peer Reviewer ke Reviewer
(BD – 3)

BD Proposal Ditolak II
Rapat Panel II Ditolak
(BD – 4)

Tidak diusulkan BD Proposal Ditolak III

Seminar Pembahasan untuk dibiayai (BD – 5)

BD Proposal Dibiayai
Diusulkan untuk dibiayai
Th-1
(BD – 6)
Kontrak Kerjasama
BD pelaksanaan
Dihentikan th-1
Pelaksanaan Tahun I
(BD – 7)
Dihentikan Seminar Evaluasi dan * Walaupun
dihentikan BD Pelaksanaan
Pembiayaannya* Pembahasan Dibiayai Th-2
pembiayaannya,
Peneliti Utama (BD – 8)
harus melaporkan
Pelaksanaan Tahun II hasil pelaksanaan BD pelaksanaan
Dihentikan risetnya. Dihentikan th-2
Seminar Evaluasi dan
Pembiayaannya*/ (BD – 9)
Pembahasan
Dinilai Selesai BD Pelaksanaan
Dibiayai Th-3
Pelaksanaan Tahun III (BD – 10)

Seminar Evaluasi dan

Pembahasan

Laporan Akhir Pelaksanaan Riset

Penilaian Laporan Akhir Riset BD Hasil Penilaian Akhir

(BD – 11)

**
Predikat Riset** A : Peneliti Utama dapat langsung mengajukan
Sangat Memuaskan (A) proposal baru, pada program RUT tahun
Memuaskan (B) berikut.
Cukup (C) B : Peneliti Utama dapat mengajukan proposal
Kurang (D) RUT dua tahun berikutnya.
C : Peneliti Utama dapat mengajukan proposal Keterangan:
RUT tiga tahun berikutnya. Detil isi masing-masing
D :Peneliti Utama dapat mengajukan proposal basis data, seperti
Publikasi RUT terbaik terlampir
RUT empat tahun berikutnya.
Pemberian award

Gambar 5. Proses seleksi dan evaluasi program RUT serta basis data yang perlu dibuat

Panduan Monitoring dan Evaluasi RUT 19

 7.2. Uraian proses seleksi, monitoring dan evaluasi RUT

Penerimaan Proposal
Format Proposal RUT disusun dengan sistematika berikut (penomoran
format tidak dibakukan, sewaktu-waktu dapat berubah):
1. Data Pengusul Proposal terdiri dari: Judul; Pengenalan; Pengesahan;
Personalia Peneliti; Pernyataan Keikutsertaan dalam RUT; Personalia
Teknisi; Biodata Peneliti. Contoh format terlampir.
2. Proposal Riset, terdiri dari: Lembar Depan; Rancangan Penelitian; Isi
Proposal; Personalia Riset; Rincian Anggaran; dan Jadual Kegiatan.
Contoh format terlampir.
Proposal disusun secara seksama mengikuti petunjuk penyusunan yang
tercantum pada “Buku Petunjuk Penyusunan Proposal RUT”.
Sekretariat RUT setelah menerima dan mencatat proposal yang masuk,
mengadakan seleksi administratif terhadap persyaratan Peneliti Utama,
Lembaga Penanggung jawab, Surat Pernyataan dan kelengkapan-
kelengkapan lainnya.
Proposal beserta daftarnya dikirim kepada Ketua Panel dan Anggota
Panel yang berkenaan sesuai dengan bidang keahliannya. Sejak RUT IX,
dimulai suatu sistem penilaian anonim. Proposal yang dinilai tidak
mencantumkan identitas pengusul.

Rapat Panel I
Apabila ada proposal yang tidak sesuai di bidangnya, Ketua Panel dapat
memindahkan ke bidang lain yang lebih sesuai dengan menggunakan
format Perpindahan Bidang (contoh terlampir).
Proposal yang dapat dinilai langsung oleh Panel, penilaiannya
menggunakan format Hasil Penilaian Panel (contoh terlampir). Sedangkan
rekapitulasi hasil penilaian panel dituangkan dalam format Rekapitulasi
Hasil Penilaian Proposal (contoh terlampir).
Rapat Panel I, hasilnya dapat berupa : Proposal ditolak, diteruskan ke
Seminar Pembahasan, atau di kirim ke Peer Reviewer.

20 Panduan Monitoring dan Evaluasi RUT

 Peer Reviewer
Peer Reviewer adalah pakar dengan keahlian sesuai dengan substansi
proposal, dan ditetapkan oleh para Panel bidang RUT untuk memberikan
tanggapan dan evaluasi atas suatu proposal.
Proposal yang sangat perlu mendapat tanggapan dari Peer Reviewer
dikirimkan dengan menggunakan format Permohonan Peer Reviewer (contoh
terlampir).
Peer Reviewer melakukan evaluasi secara kritis atas suatu proposal untuk
membantu panel pakar mengambil keputusan,
Dalam melakukan evaluasi, peer reviewer tidak diijinkan kontak dengan
pengaju proposal dan hasil evaluasinya bersifat rahasia,
Hasil evaluasi peer reviewer dituliskan pada formulir Hasil evaluasi reviewer
(contoh format terlampir), dan selanjutnya disampaikan kepada
Sekretariat RUT LIPI sebelum batas waktu berakhir, sebagai bahan Rapat
Panel II.

Rapat Panel II
Rapat Panel II dilaksanakan untuk membahas hasil penilaian/tanggapan
Peer Reviewer.
Hasil penilaian baik pada Rapat panel I maupun II dituangkan ke dalam
Berita Acara Hasil Seleksi Proposal RUT sebagai lampiran Surat
Pemberitahuan dengan menggunakan format Berita Acara Hasil Seleksi
Proposal (contoh terlampir).
Rapat Panel II, hasilnya dapat berupa : Proposal dilanjutkan ke Seminar
Pembahasan atau ditolak (tidak dapat dilanjutkan untuk seleksi
selanjutnya).

Seminar Pembahasan
Seminar pembahasan dimaksudkan untuk memberi kesempatan bagi para
Peneliti Utama yang proposalnya dinyatakan lolos seleksi tahap I dan II
untuk menyajikan dan memperjelas proposalnya di depan panel pakar
dan peneliti utama lainnya di bidang yang sama.

Panduan Monitoring dan Evaluasi RUT 21

 Hasil seminar pembahasan dituangkan dalam Berita Acara Hasil Seminar
Pembahasan Proposal RUT sebagai lampiran Surat Pemberitahuan
dengan menggunakan format Berita Acara Hasil Seminar Pembahasan
(contoh terlampir).
Hasil seminar menghasilkan dua kategori, yaitu proposal diusulkan untuk
dibiayai dan proposal tidak diusulkan untuk dibiayai.

Kontrak Kerjasama
Peneliti Utama yang proposalnya diusulkan untuk dibiayai, sebagai
penanggungjawab riset selanjutnya menandatangani kontrak kerjasama
untuk melaksanakan kegiatan riset seperti yang tertera dalam
proposalnya. Pola semacam itu kemungkinan berbeda di institusi atau
lembaga riset yang lain. Kontrak kerjasama cukup ditandatangani oleh
Ketua Lembaga atas nama seluruh peneliti utama RUT di lembaganya.
Pencairan anggaran untuk biaya operasional riset dilakukan termin per
termin dengan memperhatikan laporan kemajuan riset yang telah dicapai.

Seminar Evaluasi dan Pembahasan

Setiap tahun akan diadakan Seminar Evaluasi dan Pembahasan
pelaksanaan RUT untuk memberi kesempatan bagi para peneliti utama
menyajikan dan menjelaskan hasil yang telah dicapai dan sekaligus
membahas rencana kerja RUT tahun berikutnya.
Hasil seminar akan mengkategorikan riset dalam tiga kelompok, yaitu :
1. Riset diusulkan untuk dibiayai kelanjutannya;
2. Riset tidak diusulkan untuk dibiayai kelanjutannya;
3. Riset telah selesai
Materi Penilaian menyangkut: kemajuan pelaksanaan, hasil, rencana kerja
dan kegiatan penunjang.
Hasil Evaluasi dituangkan dalam format Berita Acara Hasil Evaluasi RUT
(contoh terlampir).

22 Panduan Monitoring dan Evaluasi RUT

 Monitoring dan Evaluasi Kegiatan
Tim monev RUT yang berintikan tim panel, sekretariat RUT – sebagai
pendamping, dan KMNRT akan melakukan kunjungan lapangan untuk
memantau secara langsung kegiatan RUT di laboratorium tempat RUT
dilaksanakan. Jadual kunjungan dan nama anggota tim akan disampaikan
sebelumnya oleh LIPI kepada lembaga penanggung jawab program. Hal-hal
yang menjadi fokus perhatian adalah substansi saintifik dan administratif.
Khusus substansi yang disebutkan terakhir, selanjutnya disampaikan kepada
pengelola RUT (LIPI) dan pemilik program (KMNRT). Contoh format
matriks pemantauan dan evaluasi RUT, seperti terlampir.

Evaluasi Hasil Akhir

Dalam rangka program monitoring dan evaluasi jenjang peningkatan mutu
peneliti di Indonesia, Dewan Riset Nasional mengembangkan suatu pedoman
evaluasi hasil akhir penelitian RUT, yaitu dalam bentuk jenjang predikat
pengakuan resmi KMNRT terhadap perseorangan peneliti utama. Tujuan
dilaksanakannya evaluasi hasil akhir RUT ini disamping untuk menetapkan
jenjang predikat pengakuan atas mutu peneliti utama, juga sekaligus sebagai
rekomendasi pada peneliti utama untuk menangani kegiatan riset yang lebih
besar cakupan materi, tujuan dan dana riset yang diperlukan.
Materi penilaian yang ditetapkan sampai saat ini, ditinjau dari :
1. Pelaksanaan riset, yang meliputi:
Keterpaduan
Sistematika laporan
Konsistensi dengan tujuan
Kelayakan biaya dengan luaran yang dihasilkan
Ketepatan pelaksanaan rencana
2. Luaran produk :
Hasil/produk ilmiah berupa artikel ilmiah, temuan baru, paten
dan/atau teknologi baru/prototipe.

Panduan Monitoring dan Evaluasi RUT 23

 Dampak, luaran berupa pengembangan SDM, pengembangan Iptek,
dan yang mendukung upaya pembangunan.
7.3. Informasi dan Data yang Diperlukan untuk Menetapkan Indikator
Kinerja Lembaga Riset
Sebagai suatu lembaga riset, baik LPND, LD, PT maupun Industri
disarankan agar mampu melaksanakan monitoring dan evaluasi secara
mandiri. KMNRT dalam hal ini hanya berfungsi sebagai pendorong dan
pembuka peluang berlangsungnya penilaian atas aktivitas riset di seluruh
lembaga riset nasional. Hasil evaluasi dapat dijadikan sebagai referensi
KMNRT dalam menindaklanjutinya berupa evaluasi eksternal atau kebijakan
pengembangan yang diperlukan. Untuk membantu lembaga atau institusi
riset melaksanakan evaluasi diri, KMNRT menyusun borang pemandu
disertai maksud dan tujuan data koleksi tersebut.
Contoh berikut adalah model evaluasi untuk riset dan merupakan
bagian dari LAKIP. Yang disebutkan terakhir ini meliputi seluruh aspek
kegiatan lembaga.

Visi dan Misi

Dituliskan visi dan misi lembaga secara lengkap. Kejelasan tentang
keduanya merupakan referensi yang baik bagi analisis komparatif terhadap
jenis tema atau topik, produk, manfaat dan dampak riset yang telah
dihasilkan.

Sumberdaya
Sumberdaya yang dimaksudkan dalam hal ini meliputi sumberdaya
manusia, fasilitas laboratorium, peralatan atau instrumen, dana dan
informasi. Kelengkapan data seluruh sumberdaya, mengenai kualifikasi usia,
tingkat kompetensi, nilai investasi, kondisi fungsional, tingkat pemanfaatan
dan lain-lain, memudahkan lembaga dalam menetapkan indikator kinerja
seperti efisiensi, efektivitas, critical mass, unit cost riset faktual, dan
keberlanjutan (sustainability). Disarankan juga untuk menganalisis seluruh
data yang dipunyai menurut metode statistik sehingga informasi yang

24 Panduan Monitoring dan Evaluasi RUT

 dihasilkan lebih obyektif. Melalui metode yang sama dapat dilakukan analisis
hubungan antar indikator kinerja.
Diawali dengan data sumberdaya manusia yang diyakini merupakan
data terlengkap yang dipunyai lembaga. Hal ini dapat dipahami mengingat
seluruh proses kepegawaian, umumnya teradministrasikan dengan baik,
mulai sejak proses rekrutmen sampai pengembangan karir dan pemutusan
hubungan kerja pegawai suatu lembaga.

Tenaga Kerja
− Tenaga Struktural
Yang dimaksudkan dengan tenaga struktural adalah tenaga
administrasi atau tenaga fungsional yang ditugaskan selama periode
waktu tertentu untuk mengisi jabatan struktural formal di dalam
organisasi lembaga.

Eselon Unit Riset 1 Unit Riset 2 Unit Riset 3 Unit Riset n

I
II
III
IV
TOTAL

− Tenaga Administrasi
Yang dimaksud dengan tenaga administrasi adalah tenaga kerja yang
direkrut khusus untuk melaksanakan tugas dalam bidang administrasi.
Tenaga administrasi tidak mempunyai penugasan dalam aktivitas riset.

Pendidikan Unit Riset 1 Unit Riset 2 Unit Riset 3 Unit Riset n

S3
S2
S1
D3
SLTA
TOTAL
Golongan Unit Riset 1 Unit Riset 2 Unit Riset 3 Unit Riset n
I
II
III

Panduan Monitoring dan Evaluasi RUT 25

 IV
TOTAL

− Tenaga Fungsional
Yang dimaksud tenaga fungsional adalah tenaga kerja yang direkrut
dengan tujuan awal sebagai periset atau tenaga pendukung aktivitas
riset secara aktif. Kelompok ini menjadi tenaga inti suatu unit riset.

Pendidikan Unit Riset 1 Unit Riset 2 Unit Riset 3 Unit Riset n

S3
S2
S1
D3
SLTA
TOTAL

Jabatan Unit Riset 1 Unit Riset 2 Unit Riset 3 Unit Riset n

Periset
Perekayasa
Tenaga Litkayasa
Pranata Komputer
Pustakawan
Arsiparis
Auditor

Golongan Unit Riset 1 Unit Riset 2 Unit Riset 3 Unit Riset n

I
II
III
IV
TOTAL

Tenaga kerja di suatu lembaga umumnya menerima kesempatan

untuk mengembangkan karirnya selama periode aktif, melalui berbagai
peluang seperti sekolah lanjut, pelatihan sertifikasi, kursus, seminar dan
lain sebagainya. Data yang lebih bersifat individual semacam ini
seringkali tidak tercatat secara administratif di kantor pusat, namun
lebih banyak dipunyai individu yang bersangkutan. Kelengkapan data

26 Panduan Monitoring dan Evaluasi RUT

 ini dapat dipergunakan untuk menganalisis kualifikasi, tingkat
kompetensi setiap individu sekaligus unit riset di suatu lembaga. Untuk
mendukung keperluan itu, diperlukan sejumlah data sebagai berikut:

No. Nama Pegawai Gol Jabatan Pendidikan Formal Pendidikan Formal

Fungsional
Jenis Lama Jenis Lama

Sarana dan Prasarana

− Laboratorium
Data laboratorium tergolong ke dalam data yang cukup sulit
pengadministrasiannya. Umumnya lembaga lemah di dalam pendataan
fasilitas laboratorium. Meskipun demikian, kelengkapan dan kejelasan
data laboratorium sangat diperlukan dalam menetapkan indikator
kinerja seperti halnya efisiensi utilisasi laboratorium, keberlanjutan unit,
indeks ruangan kerja. Olehkarena itu, untuk memungkinkan
dilakukannya analisis yang baik terhadap fasilitas laboratorium,
diperlukan data sebagai berikut:
Biaya Rata-rata
Pera- Usia Kondisi Layan-
penggu-
Unit Labora- Luasan watan Labor Fungsional an
naan
Riset torium (m2) Laboratori- Masya-
(Rp/ (tahun) (jam/
um rakat*
tahun) minggu)**

* (pelatihan, kerjasama riset, pemeriksaan-pengujian, dll kegiatan yang sejenis)

** (termasuk untuk kegiatan rutin dan jasa layanan masyarakat)

− Peralatan
Seperti halnya data tentang laboratorium, suatu lembaga umumnya
lemah di dalam pendataan fasilitas peralatannya. Meskipun kewajiban
lembaga untuk melaporkan seluruh inventaris yang dipunyai dan secara
berkala melaporkan ke unit utamanya tentang mutasi inventaris yang
terjadi, namun data fungsional dan efisiensi penggunaan peralatan,
sukar ditemukan. Tidak tersedianya data mengenai tingkat depresiasi
peralatan yang dipunyai, rendahnya kemampuan lembaga dalam
melakukan reinvestasi peralatan, produk riset yang belum mencapai

Panduan Monitoring dan Evaluasi RUT 27

 taraf komersial menyebabkan data yang ada belum mampu
mengindentifikasi indikator kinerja seperti return on investment. Juga
informasi mengenai efisiensi utilisasi peralatan belum teridentifikasi
dengan keterbatasan ketersediaan data di lembaga riset. Untuk
mencoba memberi dukungan kepada terselenggaranya proses
identifikasi efisiensi peralatan, disarankan agar lembaga riset
mengumpulkan data yang diperlukan sebagai berikut:

Biaya Rata-rata
Pera- Usia Layan- penggu-
Nama Kondisi
Unit Labora- watan Alat an naan
Alat Fungsional
Riset torium Masya- (jam/
Utama (Rp/ (tahun) Peralatan
rakat* minggu)*
tahun) *

* (pelatihan, pemeriksaan-pengujian, kursus dam kegiatan lain yang sejenis)

* * (termasuk kegiatan operasional rutin, layanan masyarakat)

− Dana
Yang dimaksudkan dengan dana dalam hal ini adalah seluruh dana riset
yang dipergunakan untuk membiayai riset sepanjang tahun tanpa
memperhatikan darimana sumber dana berasal. Jadi, dana riset tersebut
merupakan akumulasi seluruh dana riset yang diperoleh lembaga
termasuk yang diperoleh periset melalui kemampuan individu atau
kelompok. Kelengkapan dan kejelasan dana riset dapat menunjukkan
indikator kinerja keberlanjutan lembaga, attractiveness, relevansi produk
riset dan unit cost faktual lembaga. Untuk itu diperlukan data sebagai
berikut:
Pusat Unit Riset 1 Unit Riset n
Sumber Dana Total
Admin

Admin

Admin
Inves

Inves

Inves
Riset

Riset

1. DIP (rupiah murni)

2. DIK
3. DIKS
4. Bantuan LN (US$)
5. Hibah LN (US$)
6. Kerma Bilateral (US$)
7. Lainnya (mis.Reboisasi)
8. Total 1

28 Panduan Monitoring dan Evaluasi RUT

 Total

− Informasi
Layanan informasi terakhir dapat dibedakan atas layanan manual dan
elektronik. Layanan manual dimaksudkan untuk model layanan
perpustakaan. Sedangkan layanan elektronik adalah layanan informasi
melalui sistem jaringan komputer. Informasi tentang perpustakaan dan
komputer pada hakekatnya diperlukan untuk menunjukkan indikator
kinerja efisiensi, relevansi tema riset dengan state of the art keilmuan,
kualitas informasi. Beberapa data yang diperlukan untuk itu antara lain:

Koleksi Masa Biaya Pengun-

Nama Luasan Tahun Layanan Rutin jung
Unit
No Perpus-
Riset (m2) Jenis* Jml Terbit (Jam/ (Rp/ (orang/
takaan
Minggu) tahun) tahun)

* (buku teks, jurnal ilmiah, CD-Rom, film mikro, majalah, dan lain-lain)

Aktivitas
− Administrasi dan Operasional Riset
Aktivitas riset di suatu lembaga dapat dikelompokkan atas tiga pola,
yaitu (1) mandiri, riset dilaksanakan sendiri di luar tema kembaga,
dibiayai sendiri, (2) mandiri plus, riset dipimpin sendiri, biaya riset
bersumber dari eksternal (dana KMNRT dan/atau Dikti atau sumber
dana lainnya) dan (3) rutin, riset dilakukan atas dasar penugasan
lembaga, dibiayai melalui DIP atau DIKS. Kelengkapan data semacam
ini sangat besar manfaatnya dalam mengindikasikan indikator kinerja
keberlanjutan lembaga, efisiensi penggunaan sumberdaya manusia,
efektivitas lembaga, attractiveness unit, relevansi program. Untuk itu
diperlukan dukungan data berikut:
Nilai Jumlah
Usia Instansi Kerma Produk Unit Riset
No. Kerjasama Peneliti
Kerma Mitra Kerma Pelaksana
(RP) Terlibat

Panduan Monitoring dan Evaluasi RUT 29

 − Agenda Riset Tahunan, ART
Yang dimaksudkan dengan agenda riset tahunan adalah kegiatan riset
yang meliputi sejak perencanaan sampai evaluasinya selama satu tahun
anggaran atau tahun akademik. Adanya ART mengindikasikan adanya
manajemen riset yang profesional dan sistematis di lingkungan suatu
lembaga. Dengan demikian, ART memungkinkan periset di suatu
lembaga berpeluang untuk menyusun strategi riset yang rasional. Untuk
mendukungnya diperlukan beberapa data, antara lain:

Bulan Ke Kete-
No. Aktivitas
1 2 3 4 5 6 7 8 9 10 11 12 rangan
1. Distribusi kebijakan
riset nasional
2. Pelatihan
penyusunan
proposal
3. Pelatihan
penyusunan artikel
saintifik
4. Pemberitahuan
pengajuan
proposal riset
5. Batas akhir waktu
penyampaian
proposal
6. Seleksi proposal
7. Perbaikan proposal
8. Pemberitahuan
topik riset yang
dibiayai
9. Penyiapan dan
penandatanganan
kontrak
10. Pencairan dana
riset
11. Pelaksanaan riset
12. Pemantauan ke
lab/lapangan
13. Penyusunan
laporan akhir
14. Batas akhir waktu
penyerahan
laporan akhir
15. Pencairan dana
riset 100%
16. Diseminasi hasil
riset

30 Panduan Monitoring dan Evaluasi RUT

 − Pengajuan dan Hasil Seleksi Proposal
Baik kegiatan pengusulan maupun hasil seleksi proposal seyogyanya
terekam secara baik, olehkarena keduanya dapat mengindikasikan
aspirasi periset atau lembaga dan kualifikasi periset di suatu unit riset di
dalam lembaga. Disamping itu, produktivitas periset, bidang spesialisasi
yang dikuasai juga sekaligus dapat diekspos.

No. Topik Riset Nama dan Biodata Periset Nama Unit Riset

− Rekapitulasi data riset yang dilaksanakan

Data topik riset yang dibiayai pelaksanaannya, baik disusun secara rinci
ataupun dalam bentuk rekapitulasinya akan mendukung dalam
mengindetifikasi potensi periset, tema penunjuk indentitas, efisiensi
periset dan unit riset, efektivitas, produktivitas lembaga ataupun
individu periset.
Hasil seleksi proposal dapat disusun dalam bentuk tabel rekapitulasi
dan data topik riset sebagai berikut:

Rekapitulasi Hasil Seleksi Proposal Riset

Jumlah Proposal Nilai Proposal (Rp)
No. Nama Unit Riset Keterangan
Usulan Diterima Usulan Disetujui

Data Topik Riset

Periode
Sum-
Nama Biaya Lokasi Insti- Waktu
Judul ber Produk
No Pelak- Riset Pelak- tusi Pelaksa-
Riset Dana Riset*
sana (Rp) sanaan Mitra naan
Riset
(tahun)
Ketua
Anggota

* artikel ilmiah, prosiding, buku teks, modul pelatihan, alat peraga, desain, algoritma,
cetak biru, paten, poster, peraturan, standar, dan lain-lain

− Realisasi Dana Operasional Rutin dan Riset

Ada dua hal yang perlu memperoleh perhatian seksama, yaitu: (1) dana
operasional rutin dan pembangunan lembaga, dan (2) dana operasional

Panduan Monitoring dan Evaluasi RUT 31

 riset. Dalam model DIP dan DIK, keberadaan kedua jenis alokasi dana
tersebut seringkali terintegrasi dan tidak secara nyata terpisah. Kondisi
semacam ini dapat menimbulkan kesulitan di dalam upaya lembaga
menghitung alokasi dana riset tahunan secara cepat. Meskipun
demikian, jika kedua alokasi dana rutin dan riset terintegrasi, maka
terlebih dahulu harus dilakukan pemisahan dan masing-masing diberi
kode tertentu sehingga jika keduanya digabungkan, nilai nominal DIP
atau DIK atau DIKS sesuai dengan nilai nominal integrasi. Alokasi
dana operasional riset tahunan disarankan untuk dihitung tanpa biaya
investasi bangunan laboratorium ataupun peralatan. Olehkarena, nilai
nominal riset akan berfluktuasi dan tidak konsisten. Total alokasi
tersebut dapat dipergunakan untuk menghitung unit cost faktual per
periset per tahun untuk setiap lembaga. Jika alokasi dana investasi turut
diperhitungkan, maka perhitungan unit cost menjadi kurang relevan.
Dalam hal ini lebih utama menghitung return on onvestment lembaga.
Model perhitungan return on investment dapat disimak pada Buku
“Manajemen Unit Riset” yang diterbitkan KMNRT tahun 2001.

Untuk mendukung kemudahan perhitungan unit cost faktual, diperlukan

beberapa data keuangan berikut:

Unit Riset 1 Unit Riset n Total

Aloka- Sisa
si Reali- Reali- Serap- Dana
No. Sumber Dana Aloka- Aloka-
sasi sasi an
(Rp) si (Rp) si (Rp) (Rp)/% (Rp)/%
(Rp)/% (Rp)/%
1. DIK
2. DIKS
3. DIP (rp murni)
4. DIP Loan ($)
5. Hibah ($)
6. Lainnya

− Monitoring dan Evaluasi

Aspek monitoring dan evaluasi diharapkan dapat mengidentifikasi
manfaat dan dampak suatu aktivitas dan produk riset, baik bagi

32 Panduan Monitoring dan Evaluasi RUT

 lingkungan internal maupun eksternalnya. Olehkarena kedua indikator
tersebut dapat memandu pengelola program riset dalam menganalisis
indikator kinerja lain seperti relevansi produk, yang akan menunjukkan
kualitas produk dalam konteks ekonomi; indeks sitasi, menunjukkan
kualitas dalam konteks saintifik. Beberapa data berikut dinilai dapat
mendukung analisis tersebut.

Nama Unit Riset :

No. Item subjek monitoring dan evaluasi

1. Topik riset
- ditulis lengkap
2. Nama ketua dan anggota tim
- nama, bidang ilmu atau keahlian
3. Dana riset
- sumber dana
- nilai nominal dana riset
- cara menetapkan nilai nominal dana riset
- cara penggunaan
- kendala yang dihadapi internal dan eksternal
- teknik solusi persoalan dana
4. Layanan informasi
- koleksi perpustakaan pada bidang riset
- layanan perpustakaan
- biaya layanan
- layanan internet dan biayanya
5. Produk riset
- jenis produk
- posisi produk terhadap pemanfaatannya
- prediksi nilai komersial/saintifik
6. Manfaat riset
- aspek sosial (jumlah lapangan kerja baru, jumlah
pasien yang terobati, jumlah penduduk bebas buta
huruf, dll)
- aspek ekonomi (nilai nominal yang terselamatkan
dengan kehadiran produk riset, nilai royalti yang
diterima, nominal peningkatan pendapatan, nilai
nominal penghematan akibat adanya produk, dll)
- aspek teknologi (inovasi baru, teknologi produk
riset diterapkan di industri, dll)

Panduan Monitoring dan Evaluasi RUT 33

 No. Item subjek monitoring dan evaluasi

7. Dampak riset (internal, eksternal)

- dampak internal (tingginya nilai indeks sitasi,
besarnya minat periset muda potensial untuk
bergabung, terpeliharanya fasilitas riset,
meningkatnya motivasi melakukan riset, tingginya
efisiensi SDM riset, munculnya pengakuan
sejawat, dll)
- dampak eksternal (meningkatnya tingkat
kesejahteraan dan kecerdasan masyarakat,
menurunnya angka kematian bayi, tereduksinya
angka pengangguran, perubahan profesi
penduduk, dll)
8. Rencana tindak lanjut
- up scaling
- usulan baru RUK, Rusnas, dll
- pendaftaran Paten
- implementasi di masyarakat
- dll
9. Dukungan administratif dan teknis terhadap riset
- administrasi keuangan
- perijinan
- kesiapan fungsi peralatan
- pelaporan dan pengolahan data
- dll
10. Pemahaman periset akan Jakstra dan Punas
- arti Jakstra dan Punas
- posisi dan fungsi Jakstra dan Punas dalam
aktivitas riset
- saran perbaikan
11. Pemahaman periset akan renstra lembaga
- arti renstra bagi strategi riset kelompok
- saran perbaikan
12. Keserasian aktivitas dan produk dengan misi lembaga
13. Usulan unit cost riset
- unit cost faktual berbasis empirik
- item penentu besaran unit cost kelompok
- unit cost ideal
14. Ketercapaian critical mass dalam unit riset
- keseimbangan jumlah periset, kualifikasi terhadap
volume dan kompleksitas riset
- antisipasi yang pernah dilakukan
15. Korelasi topik riset dengan Jakstra dan Punas
- enam Isu Strategis
- sebelas Bidang Unggulan

34 Panduan Monitoring dan Evaluasi RUT

 Jenis Produk Riset
− Artikel saintifik
Tahun Lingkup Topik
Nama Edar Jurnal/
Topik Terbit/ Riset
No. Penulis Jurnal/ Seminar
Artikel Waktu Sumber
Seminar
Seminar (DN/LN) Artikel

− Poster
Nama Pembuat Tahun Skala Seminar Topik Riset
No.
Seminar Poster Seminar (DN/LN) Sumber Poster

− Paten
Tgl. & No. No. Pemeriksaan No. ID Topik Riset
No.
Pendaftaran Paten Paten Substantif Paten Sumber Paten

− Peraturan
Topik Riset
Masa Diundang-kan
No. Tgl. & No. Peraturan Perihal Sumber
Berlaku oleh, di
Peraturan

− Standar
No. Tgl. & No. SNI Perihal Pemakai/Pelanggan Manfaat terhadap Mutu
dan Pemasaran

− Sertifikasi
Pemakai/ Biaya Manfaat terhadap
No. Tgl. & No. Sertifikat Perihal
Pelanggan (Rp) Pemakai/Pelanggan

− Akreditasi
Nama lab/alat dan Biaya
Manfaat terhadap
No. Tgl. & No. Akreditasi instansi yang akreditasi
Pemakai/Pelanggan
diakreditasi (Rp)

− Prototipe
Nama Spesifikasi Jumlah Pemakai/ Harga Jual Terjual
No.
Prototipe Teknis (buah) Pelanggan (Rp) (buah)

Panduan Monitoring dan Evaluasi RUT 35

 − Sistem
Uraian Pemakai/ Manfaat terhadap
No. Nama Sistem
Ringkas Pelanggan Pemakai/Pelanggan

− Informasi
Teknis
Jenis Ruang Pemakai/ Manfaat terhadap
No. Akses
Informasi Lingkup Pelanggan Pemakai/Pelanggan
Informasi

− Modul Pelatihan
Nama Jumlah Tujuan Pemakai/ Harga Jual Terjual
No. Perihal
Modul (eks.) Penggunaan Pelanggan (Rp) (Rp)

− Desain
Spefikasi Pemakai/ Harga Jual Manfaat terhadap
No. Topik Desain
Teknis Pelanggan (Rp) Pemakai/Pelanggan

− Buku Teks

Nama Penerbit Jumlah Harga Jual Topik Riset

Judul Nama
No. Sumber
Buku Teks Penulis & Tahun Terbit (eks.) (Rp) Buku Teks

− Peta/Foto
Harga
Judul Jumlah Pemakai/ Terjual
No. Perihal Skala Jual
Peta/Foto (buah) Pelanggan (buah)
(Rp)

− Alat Peraga
Nama Bahan Harga
Jumlah Spefikasi Pemakai/ Terjual
No. Alat Yang Jual
(buah) Teknis Pelanggan (buah)
Peraga Digunakan (Rp)

− Barang (alat dan bahan kedokteran, makanan, radioisotop)

Tujuan Harga
Nama Spefikasi Jumlah Pemakai/ Terjual
No. Penggu- Jual
Barang Teknis (buah) Pelanggan (buah)
naan (buah)

36 Panduan Monitoring dan Evaluasi RUT

8. Bahan Bacaan

Herman, J.L., Morris, L.L., and Fitz-Gibbon, C.L., “Evaluator’s Handbook”, The
Regents of the University of California, 1987

Lembaga Penelitian-Institut Teknologi Bandung, “Laporan Akhir: Pengembangan

Koordinasi dan Sosialisasi Sistem Monitoring Program, Evaluasi Pelaksanaan
Pembangunan Riptek dan Evaluasi Proyek Khusus”, Bandung, 2000

Lembaga Administrasi Negara dan Badan Pengawasan Keuangan dan

Pembangunan, “Pengukuran Kinerja Instansi Pemerintah: Laporan Akuntabilitas
Kinerja Instansi Pemerintah (LAKIP), Modul 1-5”, Jakarta, Maret 2000

Badan Perencanaan Pembangunan Nasional RI, “Evaluasi Kinerja Proyek

Pembangunan”, Kantor Bappenas, Jakarta, Juli 2000

LAPI-Bandung Institute of Technology, “Policy Studi on Establishment of Aviable

Research Monitoring and Evaluation System: Final Report Appendix to Human Resources
Development”, Bandung, March 2000

LAPI- Bandung Institute of Technology, “Policy Study on Strengthening The

University and Industry Linkages”, Bandung, March 2000

Panduan Monitoring dan Evaluasi RUT 37

38 Panduan Monitoring dan Evaluasi RUT