Program, Kebijakan, dan Evaluasi Disarikan oleh: …

A. Pengantar Evaluasi sistematis cakupan ekstensif program sosial yang ada dan inovatif sekarang merupakan hal yang biasa. Penelitian evaluasi merupakan area aktifitas kuat yang dikhususkan untuk mengumpulkan, menganalisis, dan menafsirkan informasi atas kebutuhan akan, implementasi, dan keefektifan serta efisiensi usaha-usaha intervensi untuk memperbaiki kapling umat manusia dengan meningkatkan kondisi sosial dan kehidupan masyarakat. Evaluasi dilakukan dengan berbagai macam alasan;: untuk menilai kelayakan program berkelanjutan dan untuk mengestimasi kebermanfaatan usaha untuk meningkatkan program tersebut; untuk menilai kegunaan program dan inisiatif inovatif; untuk meningkatkan keefektifan manajemen dan administrasi program; dan untuk memenuhi berbagai macam persyaratan akuntabilitas. Evaluasi juga dapat berkontribusi terhadap pengetahuan ilmu sosial substantif dan metodologis. Di dalam merencanakan program intervensi sosial, fokus evaluasi adalah pada luas dan keparahan permasalahan yang memerlukan intervensi sosial, dan pada desain program untuk memperbaiki permasalahan tersebut. Dalam pelaksanaan program inovatif dan berkelanjutan, perhatiannya adalah bahwa program sedang mencapai populasi sasaran yang dimaksud dan sedang memberikan sumber daya, layanan, dan keuntungan yang diharapkan. Ketika intervensi diimplementasikan dan dilanjutkan, terdapat kepentingan dalam hal apakah intervensi ini efektif dan, apabila demikian, apa saja gelombang dampaknya. Demi tujuan akuntabiltas, dan demi pengambilan keputusan pada kelanjutan, perluasan, atau pembatasan program ini, adalah penting untuk mempertimbangkan biaya sehubungan dengan keuntungan, dan membandingkan efisiensi biaya intervensi terhadap efisiensi biaya strategi alokasi sumber daya alternatif. Beberapa evaluasi bersifat komprehensif dan mempertimbangkan semua pertanyaan ini; sedangkan evaluasi lainnya diarahkan hanya pada beberapa pertanyaan tersebut. Dalam semua kasus, tujuannya adalah untuk memberikan temuan yang paling valid dan dapat dipercaya dalam hambatan politik dan etika serta batasan yang

Penelitian evaluasi adalah aktifitas ilmu pengetahuan sosial. implementasi. uang.) 2. Di dalam mendeskripsikan aktifitas evaluasi. informasi yang dikumpulkan .dipaksakan oleh waktu. (Adalah masuk akal untuk mendambakan pengaruh jangka-panjang juga. Lebih jauh lagi. mendokumentasikan observasi mereka. Tujuan dari suatu evaluasi adalah untuk mempengaruhi pemikiran dan tindakan sosial selama investigasi atau tahun-tahun setelah investigasi . monitoring. serta kegunaan program intervensi sosial. B. Para evaluator bertujuan untuk memberikan suatu interpretasi yang komprehensif dan disiplin. dan metodenya mencakup keseluruhan paradigm penelitian sosial. keefektifan. Catatan dimaksudkan untuk memberikan kesan pada pribadi yang berpikiran adil. Evaluasi bersifat sistematis terhadap tingkat di mana evaluasi menggunakan pendekatan ilmu pengetahuan sosial terhadap pengumpulan bukti yang valid dan dapat dipertanggungjawabkan. pendidikan. Cronbach dkk (1980) memberikan beberapa poin berikut ini: 1. penelitian evaluasi melibatkan pemakaian metodologi penelitian sosial untuk menilai dan meningkatkan perencanaan. kesejahteraan. dan berpikir sehingga para pembaca dapat menilai validitas yang tampak dalam masing-masing kesimpulan. para penyidik menentukan bagaimana mereka dapat mencapai kesimpulan mereka. Perhatikan bahwa definisi ini tidak berarti bahwa studi evaluasi menyertai satu atau beberapa kombinasi gaya penelitian lainnnya yang digunakan belakangan ini. Dengan kata lain. Bukti dikumpulkan atas pengalaman dengan program yang sudah ada atau dengan program yang di-install untuk tujuan penelitian. dan sumber daya manusia. dan efisiensi program kesehatan. Setelah analisis. 3. Adalah komitmen terhadap “aturan” penelitian sosial yang berada pada inti perspektif kami atas evaluasi. dan pelayanan masyarakat lainnya. Pembahasan Penelitian evaluasi adalah aplikasi sistematis prosedur penelitian sosial dalam menilai konseptualisasi dan desain. termasuk mereka semua yang pra-konsepsi-nya atau preferensinya sejalan dengan temuan yang ada.

Teknologi computer memungkinkan pelaksanaan penelitian berskala-besar dan analisis statistik yang rumit.dibuat tersedia bagi orang lain untuk diteliti dan ditafsirkan secara independen. 1972). perawatan psikoterapeutik dan psikofarmakologis. dan untuk mereduksi mortalitas dan morbiditas dari penyakit menular. 1975). jumlah buku dan makalah pada praktek penelitian evaluasi juga berkembang secara dramatis. proyek rehabilitasi penjahat. 1981: Freeman dkk. Selama tahun 1960-an. telah menjadi suatu “industri pertumbuhan. 1980). dan aktifitas organisasi masyarakat.” Pada awal tahun 1970-an. dan seruan Campbell (1969) atas eksperimentasi social tidak lebih dari sekadar ilustrasi. termasuk survei sampel dan prosedur statistik yang kompleks. melainkan di negara-negara berkembang pula: Lambat laun. terdapat para ilmuwan sosial yang mengadvokasi aplikasi metode penelitian sosial yang ketat terhadap penilaian program seperti usaha Dodd untuk memperkenalkan air mendidih sebagai praktek kesehatan masyarakat di daerah pedesaan Timur Tengah merupakan salah satu penelitian bersejarah dalam literatur sosiologis empiris pra-Perang Dunia II misalnya. Pengetahuan metode penelitian sosial. 1971. Di era modern. Eropa. monograf Hayes (1959) pada penelitian evaluasi dalam negara yang kurang maju. Kembali pada tahun 1930-an. menjadi tersebar luas. serta pembangunan pertanian dan komunitas di Afrika mengikutsertakan komponen evaluasi (Levine dkk. pada akhir tahun 1950-an. 1972). Rossi dan Williams. serta diskusi batasan organisasional dan struktural pada pelaksanaan . Kemudian. menurut perkataan Wall Street. Para ilmuwan sosial terlibat dalam evaluasi program pencegahan-kejahatan. Pada akhir tahun 1960-an – di Amerika Serikat dan di dunia internasional – penelitian evaluasi. program evaluasi berskala besar merupakan hal yang lazim. nutrisi dan perawatan kesehatan di Amerika Latin. komitmen terhadap evaluasi sistematis program dalam bidangbidang seperti pendidikan dan kesehatan masyarakat dapat dilihat pada usaha-usaha dalam pergantian abad guna memberikan literasi dan pelatihan kerja dengan sarana yang paling efektif dan ekonomis. dan negara industrialisasi lainnya. termasuk teks (Weiss. program untuk perencanaan keluarga di Asia. beraneka ragam buku mengenai evaluasi muncul... kumpulan bacaan (Caro. Kajian Suchman (1967) atas metode penelitian evaluasi. program perumahan publik. Penelitian semacam ini tidak hanya dilakukan di Amerika Serikat. kritik kualitas metodologis berbagai macam studi (Bernstein dan Freeman.

dan sekarang ada beberapa jurnal lain pula. Hal ini bertentangan dengan “investigasi ilmiah. sedangkan evaluasi perlu dikembangkan dengan cara yang mengakui kepentingan kebijakan maupun program para sponsor dan stakeholder. dan bahwa usaha perubahan sosial atas masyarakat harus berakar dalam eksperimentasi sosial. suatu usaha idiosinkratis yang diarahkan pada penyediaan informasi yang bermanfaat secara maksimal kepada para sponsor dan stakeholder program. keadaan politik. seperti Evaluation News. dan untuk dirumuskan serta dilaksanakan sehingga evaluasi berguna secara maksimal terhadap para pengambil keputusan.” yang desain dan implementasinya berusaha untuk memenuhi standar para rekan investigator. Donald Campbell melalui makalahnya memberikan kajian pendekatan eksperimental bagi penelitian dampak program sosial. Menurut Cronbach. mengingat sumber daya. Perspektif beliau adalah bahwa keputusan dan kebijakan program harus muncul dari pengujian terus-menerus terhadap cara-cara untuk meningkatkan kondisi sosial. makalah ini menguraikan posisi ideologis yang telah dikemukakan oleh Campbell selama lebih dari dua puluh tahun. Kedua jenis penelitian ini dapat menggunakan logika pertanyaan dan prosedur penelitian yang sama. 1970). Evaluation and the Health Professions. Evaluation Review. serta New Directions for Program Evaluation. dan hambatan program yang mengelilinginya. mengambil sudut pandang yang berbeda dan menentang pendapat Campbell. the Journal of Evaluation and Program Planning.penelitian evaluasi yang berhasil (Riecken dan Boruch. Lee Cronbach. setiap evaluasi merepresentasikan. namun penelitian ilmiah berusaha untuk memenuhi seperangkat standar penelitian. Namun makalah ini lebih dari sekedar pendekatan eksperimental tersebut. dibaca secara luas oleh para peneliti evaluasi. Beliau berpendapat bahwa penelitian evaluasi adalah suatu seni. adalah bertentangan dalam maksud dan tujuan yang membedakan evaluasi dari investigasi ilmiah. 1982). ada pertentangan di dalam penelitian evaluasi itu sendiri. Wholey dkk. Melihat kenyataan ini.. dan berbeda dari penelitian ilmiah (Cronbach. sebuah jurnal yang mulai diterbitkan pada tahun 1976. atau harus merepresentasikan. . Handbook of Evaluation Research sebanyak dua volume karangan Guttentag dan Struenting dipublikasikan pada tahun 1975. 1974. Meskpun demikian. Menurut Cronbach. seorang ahli statistika yang hebat dan peneliti yang sangat dihormati.

seorang peneliti dapat menggunakan pertanyaan berikut: . Untuk memudahkan jalannya evaluasi dari focus ini. biasanya merupakan pengakuan bahwa jumlah orang yang signifikan dalam populasi bersangkutan tidak memiliki keahlian membaca dan matematika atau berhitung yang memadai. Pertama. Kedua. ada satu hal yang harus diperhatikan yaitu fokus evaluasi. Apakah program didesain sesuai dengan sasaran yang diingikan. Konseptualisasi program dan desain Intervensi. sponsor dan stakeholder program memerlukan bukti atas apa yang kiranya dibayarkan dan sejumlah besar anggapan yang sebenarnya dilakukan. Ada tiga fokus evaluasi yang dapat dijadikan acuan oleh seorang peneliti. memang. melakukan aktifitas mereka seefisien mungkin. misalnya. dapat dipandang sebagai tanggapan terhadap permasalahan komunal yang dirasakan atau yang masih dalam permulaan.Di dalam melaksanakan penelitian evaluasi. secara khusus selama perencanaannya dan juga di sepanjang eksistensinya. seorang peneliti dapat menggunakan ketiga pertanyaan berikut: a. Monitoring dan akuntabilitas implementasi program Ada sejumlah alasan untuk melakukan monitoring terhadap program. Asal mula suatu program sosial adalah pengakuan “permasalahan sosial” – yang melaluinya kita mengartikan kerusakan dalam kondisi manusia dan sosial. apakah ada pemikiran koheren yang mendasarinya. dalam basis harian. Untuk membantu penelitian dengan menggunakan fokus ini. Berapakah biaya yang ada atau yang diproyeksikan dan apakah hubungannya dengan keuntungan dan keefektifan? 2. Apakah tingkat dan distribusi permasalahan dan/atau populasi sasaran? b. tidak ada maksud di dalam keprihatinan atas dampak atau hasil dari suatu proyek tertentu. yaitu: 1. Ketiga. kecuali kalau proyek tersebut. berlangsung dan benar-benar memenuhi keinginan para partisipan yang tepat dengan cara yang dimaksud. manajemen dan administrasi yang tepat dalam program sumber daya manusia mengharuskan bahwa para manajer program. Daya dorong bagi sebuah program untuk membangkitkan keahlian pendidikan. dan apakah kesempatan penyampaian yang berhasil telah dimaksimalkan? c.

keberlanjutan. adalah penting untuk mengetahui tingkat di mana suatu program memiliki dampak dan keuntungannya sehubungan dengan biaya. yang mengukur tingkat di mana sebuah program menyebabkan perubahan dalam arah yang diinginkan. Namun pengetahuan keefektifan sematamata tidak memadai dalam sebagian besar kasus. . dipertahankan. di hadapan permasalahan anggaran. Penilaian dampak. Kecuali kalau program memiliki dampak yang dapat didemonstrasikan. hasil atau dampak harus dinilai terhadap biaya input. atau dihilangkan dengan dasar biaya komparatif.a. Misalnya. ada empat pertanyaan yang dapat digunakan oleh peneliti: a. Di dalam melakukan evaluasi dari sudut pandang ini. Penilaian utilitas atau kegunaan program Sudah jelas . Program-program lainnya dapat diperluas. b. Dapatkah hasil dari program ini dijelaskan oleh beberapa proses alternatif yang tidak mengikutsertakan program ini? c. Apakah program ini bersifat efektif dalam mencapai sasaran yang dimaksud? b. Apakah usaha intervensi sedang dilakukan sesuai dengan yang ditentukan dalam desain program? 3. adalah sulit untuk mempertahankan implementasi dan kesinambungannya. Penilaian ini dibagi menjadi dua kategori sebagai berikut: a. karenanya terdapat kebutuhan akan penilaian dampak. Kata pertama mengacu pada “keefektifan” program dan kata yang kedua mengacu pada “efisiensi” program. Penilaian efisiensi. Apakah program ini merupakan pemakaian sumber daya yang efisien. Beberapa program mungkin tidak dapat didukung dikarenakan oleh biayanya yang tinggi dibandingkan dengan dampaknya. yang mempertimbangkan pemberian dana. Apakah program sedang mencapai populasi sasaran atau area sasaran yang ditentukan? b. Berapakah biaya untuk menyampaikan layanan dan apakah manfaatnya terhadap para partisipan program ini? d. dan perluasan sebuah program dibandingkan dengan program lainnya. telah menghilangkan program konseling mahasiswa mereka karena biayanya tinggi dan manfaatnya sedikit. beberapa universitas.

d.dibandingkan dengan pemakaian alternatif sumber daya? Ada 3 jenis evaluasi yang dapat dipilih oleh para peneliti di dalam melaksanakan pekerjaan evaluasi mereka. Sebuah program yang awalnya dilakukan sebagai tanggapan terhadap satu sasaran dilanjutkan atau diperluas dikarenakan oleh dampaknya pada tujuan yang lain. namun staf program tersebut merasa dapat lebih efektif apabila anak-anak diberikan kesempatan belajar di luar sesi tutoring sekali dalam . Perlakuan tersebut telah dicoba dalam skala kecil. Sebagian besar program yang diperkenalkan sebagai program yang “baru dan inovatif” merupakan modifikasi biasa dari praktek-praktek yang sudah ada. demonstrasi yang dinilai dengan mengesankan. Sistem penyampaian atau bagian sistem penyampaian tidak diuji secara memadai. Ada beberapa criteria yang dapat digunakan untuk menentukan apakah sebuah program itu bersifat inovatif atau tidak: a. untuk meningkatkan magnitudo dampaknya atau untuk meningkatkan biayanya per unit dampak. b. Sasaran program adalah luar biasa baru atau luar biasa luas. Alasan utama untuk melakukan pengujian ini adalah meningkatkan kemanjuran atau efisiensinya – yaitu. Contoh tujuan yang pertama adalah program tutoring mingguan untuk anak-anak yang mengalami kesulitan ekonomi yang sedang meningkatkan keahlian pendidikan hingga level yang setara. Intervensi itu sendiri masih merupakan tahapan berkembang atau tahapan riset dan pengembangan (R&D = Research and Development). Apa yang membuat suatu intervensi menjadi “inovatif” menurut pemahaman kami adalah bahwa “perlakuan” tersebut belum pernah diaplikasikan terhadap populasi yang ditentukan. 2. seringkali adalah penting untuk menguji variasi dalam cara program ini beroperasi. Ketiga jenis evaluasi tersebut adalah sebagai berikut: 1. Evaluasi untuk penentuan sasaran Sekali program mulai dijalankan. c. namun tidak pernah dengan tujuan realistis mengimplementasikannya ke dalam skala luas. Evaluasi program inovatif Intervensi yang benar-benar baru secara relatif jarang ditemukan.

tidak ada perbedaan jelas mungkin terjadi. pandangan politik. Kedua perspektif tersebut adalah relevan dengan cara bagaimana para evaluator menjalani pekerjaan mereka. Lingkup dan desain evaluasi harus mempertimbangkan pemakaian yang bervariasi ini.seminggu. Evaluasi pun dapat digunakan dalam berbagai cara. Evaluasi program yang sudah dibentuk Program yang dimandatkan oleh legislasi atau undang-undang dan bahkan program yang sudah ada sejak lama juga dapat tunduk kepada evaluasi dengan serangkaian alasan yang berbeda. Sesuai dengan hal itu. serta sejumlah program federal yang berkembang. Karena biaya program ini tinggi. dan adalah penting untuk memiliki data cetak pada dampak program tersebut serta rasio manfaat terhadap biaya guna menilai kesinambungan. maka mereduksi durasi program ini dari tiga bulan menjadi dua bulan dapat menjadi subyek suatu evaluasi. atau terminasi program bersangkutan. banyak program di tingkat lokal dan negara bagian. Pemakaian juga dapat diteliti menurut konsekuensi atau percabangan usaha evaluasi. sebagaimana yang disebutkan. harus memenuhi persyaratan undang-undang “matahari terbenam” (sunset legislation). yang memberkan kajian program regular serta terminasi “otomatis” program yang gagal mendemonstrasikan utilitas atau kegunaannya. namun cakupan pemakaian bagaimanapun juga dapat dideskripsikan dengan beberapa tingkat kekhususan dengan mempertimbangkan pemakaian evaluasi menurut moda pengambilan keputusan. . Satu hal yang perlu diperhatikan. Mungkin yang paling penting dalam menstimulasi evaluasi suatu program yang disusun adalah bukti dari atau kecurigaan bahwa program-program yang tidak bersifat efektif atau efisien. Sekali lagi. evaluasi tidak hanya berbeda menurut keadaan perkembangan program. 3. ekspansi. Lebih jauh lagi. sebuah program dapat dibentuk karena rangkaian alasan politik yang kompleks dan alas an eksternal lainnya. program “pekerjaan rumah” suplemental diperkenalkan dan dievaluasi. Perubahan dalam suber daya yang tersedia. Pertama. Contoh tujuan yang kedua adalah sebuah program yang melibatkan konseling harian selama tiga bulan bagi para alkoholik yang sebelumnya di-opname. melainkan juga bervariasi menurut pemakaiannya. prioritas anggota masyarakat. serta penurunan nyata atau penurunan yang ditegaskan dalam keadaa ekstensif atau keparahan permasalahan sasaran dapat mendorong aktifitas evaluasi.

praktek. Pengembangan pemikiran untuk tindakan Lebih sering. 3. 4. tipe pasien apa yang diterima dalam rumah sakit yang didanai pemerintah federal. Dalam kasus yang paling sederhana. Di tingkat lokal. tingkat di mana intervensi mencapai sasaran. pertimbangan politik. 2. evaluasi mempengaruhi determinan keputusan. Legitimasi dan akuntabilitas Evaluasi juga dapat memuaskan para pendukung atau penentang program sebagai input ke dalam pengawasan program. menyusun program studi pekerjaan bagi para siswa sekolah menengah. Misalnya. ada 5 aspek yang perlu diperhatikan d\i dalam pelaksanaan evaluasi. atau menghentikan instruksi taman kanak-kanak atau tidak. dan seterusnya. Kadang-kadang evaluasi secara langsung mempengaruhi pemikiran yang mendasari sebuah program dan keputusan profesional. politik. seperti seorang pejabat publik utama yang memiliki otoritas dan tanggung jawab untuk mengalokasikan sumber daya dan memberikan program layanan manusia. dan sumber daya. evaluasi dilakukan untuk mempengaruhi tindakan dan aktifitas individual serta kelompok yang telah menganggap atau yang dianggap memiliki kesempatan untuk menyesuaikan tindakan mereka pada basis hasil usaha evaluasi. serta biayanya dapat membantu para pendukung atau para penentang suatu program . Informasi mengenai seberapa baik intervensi diimplementsikan. pengawas dan dewan sekolah mungkin harus memutuskan apakah akan memaksakan ruangan kelas standar. tindakan tegas diperlukan. dampaknya. Keputusan dijalankan atau tidak Pada berbagai macam poin dalam pemrograman layanan manusia.Sehubungan dengan jenis evaluasi di atas. hasilnya diarahkan pada suatu eksekutif individual. Moda pengambilan keputusan Sebagaimana halnya dalam semua kasus penelitian terapan. Kelima aspek tersebut adalah sebagai berikut: 1. serta kebijaksanaan dan pengalaman pribadi mereka semua yang berpengaruh. kelayakan persyaratan bagi program kesejahteraan. sekretaris Layanan Kesehatan dan Manusia (the Health and Humand Service) harus merekomendasikan pihak Kongres atau Gedung Putih untuk memberikan pelatihan atau tidak bagi kategori praktisi kesehatan yang berbeda. serta legal yang menyertainya.

ekspresi singkat. maka penulis dapat menyimpulkan bahwa evaluasi program adalah mutlak diperlukan dalam pelaksanaan suatu program untuk menentukan keberlanjutannya. evaluasi program juga dapat memberikan dampak atau pengaruh secara langsung maupun tidak langsung kepada sebuah program. Lalu. Studi kebijakan dan administratif Literatur mengenai penelitian evaluasi – memang. seseorang yang tidak akrab dengan penelitian evaluasi tidak diragukan lagi akan menemukan diskusi evaluasi oleh para profesional sebagai hal yang sulit dipahami. yang mengakibatkanperubahan organisasional dalam struktur dan aktifitas kelompok yang menyampaikan intervensi. Hal yang . C.tertentu untuk menangkis lawan-lawannya. dalam prakteknya. yang membedakan penelitian evaluasi dan penelitian investigatif adalah tujuan dari penelitian itu sendiri. Pada awalnya. Kemudian. para evaluator telah mengembangkan kosakata. sebagian besar komentar mengenai seluruh penelitian terapan – mengacu pada “relevansi-kebijakan” pekerjaan dalam bidang ini. Evaluasi kebijakan secara umum dapat dideskripsikan sebagai evaluasi yang memiliki dampak potensial terhadap segmen populasi yang besar. dan sumber daya lainnya. Penutup Melihat dari isi pembahasan di atas. Namun demikian. atau yang penting terhadap alokasi moneter. Sebagaimana halnya dalam bidang professional manapun. staf. Di tingkat margin atau selisih. dan aturan mereka sendiri untuk melakukan pekerjaan mereka. Ada beberapa hal yang harus diperhatikan di dalam penggunaan evaluasi. akan tetapi. Studi atau penelitian evaluasi sistematis dilandaskan pada teknik penelitian ilmu pengetahuan sosial yang memiliki aplikasi dalam penelitian evaluasi. adalah mudah untuk memisahkan kebijakan dari evaluasi administratif. ada perbedaan tipis antara penelitian investigatif dan penelitian evaluasi. Legitimasi dapat diperlukan pada berbagai macam level berbeda. pembedaan ini berada pada cara-cara stakeholder merasakan konsekuensi penilaian. sebagian besar spesialis evaluasi telah mengalami pelatihan ilmu pengetahuan sosial. Jadi. 5.

tanpa memperhatikan latar belakang pendidikan atau kekhususannya. Hal yang ketiga ada aspek-aspek di dalam pelaksanaan usaha evaluasi. serta studi kebijakan dan administratif. . legitimasi dan akuntabilitas. keputusan dijalankan atau tidak. Penulis berharap bahwa makalah ini mampu berkontribusi bagi program pendidikan yang lebih baik lagi di masa mendatang. namun hal ini dapat dipelajari oleh semua pihak yang ingin menggunakan usaha evaluasi. yang terdiri dari evaluasi program inovatif. sehingga bisa menghasilkan program yang lebih bermutu dengan cakupan yang lebih luas sehingga mencapai sasaran yang lebih tinggi. monitoring dan akuntabilitas implementasi program. dapat menggunakan usaha evaluasi ini untuk menilai keberlanjutan. dan evaluasi program yang sudah dibentuk. Hal yang kedua adalah jenis evaluasi. Siapapun. dan penilaian utilitas atau kegunaan program. yang terdiri dari konseptualisasi program dan desain. Mengacu pada para investigator. makalah ini masih jauh dari sempurna dan oleh karena ini penulis terbuka terhadap masukan apapun dari semua pihak supaya makalah ini dapat menjadi lebih baik lagi. yang terdiri dari moda pengambilan keputusan. Namun demikian.pertama adalah fokus evaluasi. evaluasi untuk penentuan sasaran. mereka biasanya memiliki kosakata dan ekspresi tertentu. pengembangan pemikiran untuk tindakan. ekspansi. atau terminasi program-program tertentu.

Sign up to vote on this title
UsefulNot useful