Markov Chain

Kismanto Prihantoro
Mahasiswa Jurusan TeknikIndustri, Universitas Gunadarma
E-mail : st_hanz@yahoo.com
Abstrak
Prinsipnya, ketika kita mengamati rangkaian probabilitas percobaan, semua hasil masa lalu bisa
mempengaruhi prediksi untuk percobaan berikutnya. Tahun 1907, A.A. Markov mulai mempelajari
teori baru yang yang berkaitan dengan probabilitas, dalam proses ini hasil percobaan tertentu dapat
mempengaruhi hasil percobaan berikutnya. Makalah ini akan membahas apakah proses stokastik itu,
yang merupakan dasar dari Markov Chain, bagaimana prinsip dasar, teorema yang berlaku, status-
status Markov Chain, lalu bagaimana penerapan atau aplikasinya. Contoh studi kasus mendapatkan
hasil yaitu perkiraan ramalan cuaca pada hari Senin 42% peluang akan cerah, 42% akan berawan, dan
15% hujan.
Kata kunci: markov chain, stokastik, state
1. Latar Belakang
Sebagian besar penelitian probabilitas menangani proses percobaan independen, ini merupakan dasar
teori probabilitas klasik dan mengarah ke statistik. Kita telah melihat bahwa ketika urutan eksperimen
membentuk independen maka hasil yang mungkin untuk setiap percobaan adalah sama. Lebih lanjut,
pengetahuan dari hasil percobaan sebelumnya tidak mempengaruhi hasil berikutnya. Teori probabilitas
modern memungkinkan mengetahui hasil sebelumnya untuk memprediksi hasil percobaan selanjutnya.
Prinsipnya, ketika kita mengamati rangkaian probabilitas percobaan, semua hasil masa lalu bisa
mempengaruhi prediksi untuk percobaan berikutnya. Oleh karena itu dalam makalah ini akan
menjelaskan lebih jauh tentang teori tersebut, yaitu Proses Markov berupa Markov Chain dan
penerapan teori tersebut.
2. Landasan Teori
2.1 Sejarah Markov Chain
Markov Chain baru diperkenalkan sekitar tahun 1907, oleh seorang Matematisi Rusia Andrei A.
Markov (1856-1922). Andrey Markov menghasilkan hasil pertama (1906) untuk proses ini, murni
secara teoritis. Sebuah generalisasi ke bentuk tak terbatas dalam ruang diskrit diberikan oleh
Kolmogrov (1936). Rantai Markov terkait dengan gerak Brown dan ergodic hipotesis dua topik dalam
fisika yang penting dalam tahun-tahun awal abad ke-20, tetapi tampaknya Markov lebih fokus pada
perluasan Hukum Bilangan Besar dalam percobaaan-percobaaannya. Model ini berhubungan dengan
suatu rangkaian proses dimana kejadian akibat suatu suatu eksperimen hanya tergantung pada kejadian
yang langsung mendahuluinya dan tidak tergantung pada rangkaian kejadian sebelum-sebelumnya
yang lain. Pada 1913, ia menerapkan temuannya untuk pertama kalinya untuk 20.000 pertama Pushkin
huruf ”Eugine Onegin”.
2.2 Proses Acak
Pengelompokkan tipe populasi dari proses acak bisa digambarkan sebagai jika X adalah proses acak,
maka populasi dari proses acak adalah semua nilai yang mungkin yang bisa dimasukkan dalam suatu
proses contohnya
Jika X adalah proses acak yang menggambarkan suatu persamaan, maka populasi dari X dapat
digambarkan sebagai suatu nilai yang memenuhi persamaan tersebut. Jika populasi dari S dari suatu
proses acak X dapat dihiting (contoh S={1,2,3,…}), dalam hal ini X disebut Discrete Time Random
Process perubahan state terjadi pada titik-titik integer. Jika populasi dari S dari suatu proses acak X
tidak dapat dihitung ( contoh S = ∞) maka X disebut Continuous Time Random Process perubahan
state (discrete state) terjadi pada sembarang waktu.
Markov Chain merupakan proses acak di mana semua informasi tentang masa depan terkandung di
dalam keadaan sekarang (yaitu orang tidak perlu memeriksa masa lalu untuk menentukan masa depan).
Untuk lebih tepatnya, proses memiliki properti Markov yang berarti bahwa bentuk ke depan hanya
tergantung pada keadaan sekarang, dan tidak bergantung pada bentuk sebelumnya. Dengan kata lain,
gambaran tentang keadaan sepenuhnya menangkap semua informasi yang dapat mempengaruhi masa
depan dari proses evolusi. Suatu Markov Chain merupakan proses stokastik berarti bahwa semua
transisi adalah probabilitas (ditentukan oleh kebetulan acak dan dengan demikian tidak dapat diprediksi
secara detail, meskipun mungkin diprediksi dalam sifat statistik),(www.wikipedia.org).
2.3 Konsep Dasar Markov Chain
Apabila suatu kejadian tertentu dari suatu rangkaian eksperimen tergantung dari beberapa
kemungkinan kejadian , maka rangkaian eksperimen tersebut disebut Proses Stokastik. Sebuah rantai
Markov adalah suatu urutan dari variable-variabel acak X 1, X 2, X 3,…… sifat Markov yaitu, mengingat
keadaan masa depan dan masa lalu keadaan yang independen, dengan kata lain
nilai yang mungkin untuk membentuk Xi S disebut ruang keadaan rantai. Markov Chain adalah
sebuah Proses Markov dengan populasi yang diskrit ( dapat dihitung) yang berada pada suatu discrete
state (position) dan diizinkan utk berubah state pada time discrete. Status-statusnya adalah:
1. Reachable State
Status j reachable dari status i apabila dalam rantai dpat terjadi transisi dari status i ke status j melalui
sejumlah transisi berhingga;
Terdapat n, 0 ≤ n ≤ ∞, sehingga Pnij > 0
2. Irreduceable Chain
Jika dalam suatu rantai Markov setiap status reachable dari setiap status lainnya, rantai tersebut adalah
irreduceable.
3. Periodic State
Suatu status i disebut periodic dengan peroda d > 1, jika pnii > 0, hanya untuk n = d, 2d, 3d,. . .;
sebaliknya jika pnii > 0, hanya untuk n = 1, 2, 3, … maka status tersebut disebut aperiodic.
4. Probability of First Return
Probabilitas kembali pertama kalinya ke status i terjadi dalam n transisi setelah meninggalkan i.
(note: fi(0) didefinisikan = 1 untuk semua i)
5. Probability of Ever Return
Probabilitas akan kembalimya ke status i setelah sebelumnya meninggalkan i.
6. Transient State
Suatu status disebut transient jika probabilitas fi < 1; yaitu bahwa setelah dari i melalui sejumlah
transisi terdapat kemungkinan tidak dapat kembali ke i.
7. Recurrent State
Suatu status disebut recurrent jika probabilitas fi = 1; yaitu bahwa setelah dari i melalui sejumlah
transisi selalu ada kemungkinan untuk kembali ke i.
8. Mean Recurrent Time of State
Untuk suatu status recurrent, jumlah step rata-rata untuk kembali ke status i
9. Null Recurrent State
Suatu Recurrent State disebut recurrent null jika mi = ∞
10. Positive Recurrent State
Suatu recurrent state disebut positive recurrent atau recurrent nonnull jika mi <∞
11. Communicate State
Dua status, i dan j, dikatakamn berkomunikasi jika i reachable dari j dan juga reachable dari i ; ditulis
dengan notasi
12. Ergodic
Rantai Markov disebut ergodic jika, irreduceable, aperiodic, dan seluruh status positive recurrent.
2.4 Teorema-Teorema
2.4.1 Teorema mengenai Relasi Ekovalensi
a. Relasi i <—> j merupakan relasi ekuivalen
1. untuk setiap status i , berlaku i <—> i
2. jika i <—> j, maka juga j <—> i
3. jika i <—> j dan j <—> k maka i <—> k
b. Status-status suatu Rantai Markov dapat dipartisi kedalam kelas-kelas ekivalensi sehingga i <—> j,
jika dan hanya jika i dan j berada dalam kelas ekivalensi yang sama.
c. Suatu Rantai Markov irreducible jika dan hanya jika didalamnya hanya terdiri atas tepat satu kelas
ekivalensi.
d. Jika i<—> j, maka i dan j memiliki periode yang sama.
e. Untuk i<—> j, jika i recurrent maka juga j recurrent.
2.4.2 Teorema mengenai Irreducible
Jika {Xn}suatu rantai Markov, maka tepat salah satu kondisi berikut ini terjadi:
1. Semua status adalah positif recurrent
2. Semua status recurrent null
3. Semua status trancient
2.4.3 Teorema mengenai Limiting Probability
Definisi: πj(n) adalah probabilitas suatu Rantai Markov { Xn}berada dalam status j pada step ke n.
Maka
πj(n) = P[ Xn = j]
Distribusi awal ( initial ) dari masing-masing status 0, 1, 2, …… dinyatakan sebagai
πj(0) = P[ X0 = j], untuk j = 0, 1, 2, ……
Suatu rantai Markov memiliki distribusi probabilitas stasioner π = (π0, π1, π2, …., πn ) apabila terpenuhi
persamaan π = π P asalkan setiap πi ≥ 0 dan ∑i πi =1.
Jika suatu rantai Markov homogen waktu (stasioner dari waktu ke waktu) yang irreducible, aperiodic,
maka limit probabiltasnya, untuk j = 0, 1, ……selalu ada dan independent dari distribusu probabilitas
status awal π (0) = (π0(0) , π1(0) , π2(0), …..).
Jika seluruh status tidak positif recurrent (jadi seluruhnya recurrent null atau seluruhnya transient),
maka πj = 0 untuk semua j dan tidak terdapat distribusi probabilitas stasioner.
4. Aplikasi
4.1 Fisika
Sistem Markovian muncul secara luas dalam termodinamika dan mekanika statistika probabilitas setiap
kali digunakan untuk mewakili unmodelled diketahui atau rincian dari sistem, jika dapat diasumsikan
bahwa dinamika waktu-invarian, dan bahwa tidak ada sejarah yang relevan perlu dipertimbangkan
yang tidak sudah termasuk di keadaan bagian deskripsi.
4.2 Kimia
Sebuah algoritma yang berdasarkan rantai Markov digunakan untuk memfokuskan pertumbuhan
berdasarkan fragmen-bahan kimia di silico menuju kelas yang diinginkan dari senyawa seperti obat-
obatan atau produk alami. Sebagai molekul tumbuh, sebuah fragmen dipilih dari molekul baru lahir
sebagai “saat ini” keadaan. Hal ini tidak menyadari masa lalu (yaitu, tidak menyadari apa yang sudah
terikat untuk itu). Ini kemudian transisi ke keadaan berikutnya ketika sebuah fragmen yang melekat
padanya.
4.3 Test Pengujian
Beberapa teoretikus telah mengusulkan gagasan tentang rantai Markov uji statistik (MCST), sebuah
metode Markov conjoining rantai untuk membentuk suatu ‘Markov selimut’, mengatur rantai ini di
beberapa lapisan rekursif ( ‘wafering’) dan memproduksi lebih efisien set uji – sampel – sebagai
pengganti pengujian lengkap. MCST juga memiliki kegunaan dalam keadaan dunia berbasis jaringan;
Chilukuri et al. ‘S makalah berjudul “Temporal Ketidakpastian Penalaran Bukti Jaringan untuk
Aplikasi untuk Fusion dengan Obyek Deteksi dan Pelacakan” (ScienceDirect) memberikan latar
belakang yang sangat baik dan studi kasus untuk menerapkan MCSTs ke lebih beragam aplikasi.
4.4 Teori Queueing
Rantai Markov juga dapat digunakan untuk model berbagai proses dalam teori queueing dan statistic.
Seperti model ideal dapat menangkap banyak statistik keteraturan sistem. Bahkan tanpa menjelaskan
struktur penuh dari suatu sistem sempurna, seperti model-model sinyal dapat sangat efektif sehungga
memungkinkan kompresi data melalui pengkodean entropi teknik. Mereka juga memungkinkan
estimasi keadaan dan pengenalan pola. Dunia sistem telepon selular tergantung pada algoritma Viterbi
untuk kesalahan-koreksi, sementara model Markov Tersembunyi adalah secara ekstensif digunakan
dalam pengenalan suara dan juga dalam bioinformatika misalnya untuk daerah pengkode / gen prediksi.
4.5 Statistik
Metode Rantai Markov juga menjadi sangat penting untuk menghasilkan angka acak urutan
mencerminkan secara akurat distribusi probabilitas sangat rumit yang diinginkan, melalui proses yang
disebut Markov Chain Monte Carlo (MCMC). Dalam beberapa tahun terakhir ini telah
merevolusionerkan kepraktisan Inferensi Bayesian metode, yang memungkinkan berbagai distribusi
posterior menjadi simulasi dan parameter yang ditemukan secara numerik.
4.6 Ilmu sosial
Rantai Markov biasanya digunakan dalam menggambarkan argumen, di mana saat ini kondisi
konfigurasi struktural hasil masa depan. Contoh adalah umumnya berpendapat hubungan antara
pembangunan ekonomi dan bangkitnya demokrasi. Sekali suatu keadaan mencapai tingkat tertentu
perkembangan ekonomi, konfigurasi faktor struktural, seperti ukuran borjuis komersial, rasio tinggal di
pedesaan perkotaan, tingkat politik, mobilisasi, dll, akan menghasilkan probabilitas yang lebih tinggi
trensisi dari otoriter aturan demokratis.
5. Pembahasan Soal
Cuaca kota Bekasi dapat diperkirakan sebagai berikut
1. Jika hari ini cerah maka besok akan berpeluang 60% cuaca cerah, 30% berawan, dan 10% akan
turun hujan.
2. Jika hari ini berawan maka besok akan berpeluang 40% cuaca cerah, 45% berawan, dan 15%
akan turun hujan.
3. Jika hari ini hujan maka besok akan berpeluang 15% cuaca cerah, 60% berawan, dan 25% akan
turun hujan
Jika pada hari Jumat hujan maka perkiraan cuaca hari Senin?
Terlihat jelas bahwa perkiraan cuaca dapat diselesaikan dengan Discrete Time Markov Chain
1. Proses selanjutnya hanya tergantung pada proses saat ini.
2. Waktu diskrit dan populasi diskrit.
3. Stasioner dari waktu ke waktu
Discrete Time Markov Chain terdapat 3 fase, kita misalkan 1= cerah, 2= berawan, 3= hujan, dan
sebelum hari Jumat kita anggap 0, maka
Matrik transisi
Cuaca pada hari Sabtu π (1)
maka 15% peluang akan cerah, 60% akan berawan, dan 25% hujan
Cuaca pada hari Minggu π (2)
Cuaca pada hari Senin π (3)
maka 42% peluang akan cerah, 42% akan berawan, dan 15% hujan
Akan sangat bermanfaat menampilkan Discrete Time Markov Chain secara grafis. Lingkaran
melambangkan fase dan anak panah diberi angka peluang yang akan terjadi, dari soal diatas model
grafiknya
6. Kesimpulan
Kesimpulan yang dapat diambil pada penulisan makalah tentang Markov Chain adalah:
1. Proses stokastik adalah suatu kejadian tertentu dari suatu rangkaian eksperimen tergantung dari
beberapa kemungkinan kejadian.
2. Sebuah rantai Markov adalah suatu urutan dari variable-variabel acak X 1, X 2, X 3,…… sifat
 Markov yaitu, mengingat keadaan masa depan dan masa lalu keadaan yang independen, dengan
kata lain nilai yang mungkin untuk membentuk Xi S disebut ruang keadaan rantai.
3. 3. Teorema- teorema yang berlaku pada Markov Chain yaitu teorema mengenai Relasi
Ekovalensi, teorema mengenai Irreducible, teorema mengenai Limiting Probability
4. 4. Status-status Markov Chain adalah Reachable State, Irreduceable Chain, Periodic State,
Probability of First Return, Probability of Ever Return, Transient State, Recurrent State, Mean
Recurrent Time of State, Null Recurrent State, Positive Recurrent State, Communicate Stat, dan
Ergodic.
7. Daftar Pustaka
Teks klasik in Translation: AA Markov. Sebuah Contoh Statistik Investigasi Teks Eugene
Onegin Mengenai Koneksi Sampel in Chains, terj. David Link. David Link. Science in
Context 19.4 (2006): 591-600. Sains dalam Konteks
JL, Doob. Stochastic Processes.1953.ISBN 0-471-52369-0.
New York: John Wiley and Sons
E. Nummelin. “General irreducible Markov chains and non-negative operators”. “Jenderal
direduksikan rantai Markov dan non-operator negatif”. Cambridge University Press, 1984, 2004.
ISBN 0-521-60494-X Cambridge University Press
www.wikipedia.org
www.google.com(Markov Chain)
MatematikaCyberBoardSOS.