RANTAI MARKOV

TUGAS INDIVIDUAL OPERASI RISET

Disusun Oleh :

Yohanes

STEIN
JAKARTA
2009
 Daftar Isi

BAB I : Pendahuluan

1.1 Latar Belakang

1.2 Perumusan masalah

1.3 Tujuan Penulisan

BAB II : Landasan Teori

2.1 Sejarah Markov Chain

2.2 Konsep Acak

2.3 Konsep Dasar Markov Chain

2.4 Teorema- Teorema

BAB III : Aplikasi dan Pembahasan

3.1 Aplikasi
3.1.1 Fisika
3.1.2 Kimia
3.1.3 Pengujian
3.1.4 Teori Queueing

3.1.5 Statistik

3.1.6 Ilmu Sosial

3.2 Pembahasan

BAB IV : Kesimpulan

DAFTAR PUSTAKA
 Markov Chain

Abstrak

Rantai Markov (Markov Chain) adalah suatu teknik matematika yang biasa digunakan
untuk pembuatan model (modelling) bermacam-macam sistem dan proses bisnis. Teknik ini
dapat digunakan untuk memperkirakan perubahan-perubahan di waktu yang akan datang
dalam variabel-variabel dinamis atas dasar perubahan-perubahan dari variabel-variabel
dinamis tersebut di waktu yang lalu. Teknik ini dapat juga digunakan untuk menganalisa
kejadian-kejadian diwaktu-waktu mendatang secara matematis. Teknik markov chains dapat
digunakan untuk memperkirakan perubahan – perubahan diwaktu yang akan datang dalam
variabel – variabel dinamis atas dasar perubahan – perubahan dari variabel – variabel dinamis
tersebut di waktu yang lalu. Teknik ini dapat juga digunakan untuk menganalisa kejadian –
kejadian di waktu – waktu mendatang secara sistematis. Penerapan Proses Markov mula –
mula adalah digunakan untuk menganalisa dan memperkirakan perilaku partikel – pertikel
gas dalam suatu wadah (container) tertutup serta meramal keadaan cuaca. Sebagai suatu
peralatan riset operasi dalam pengambilam keputusan manajerial. Proses Markov telah
banyak diterapkan untuk menganalisa tentang perpindahan merek (brands witching) dalam
pemasaran, perhitungan rekening, jasa persewaan mobil, perencanaan penjualan, masalah –
masalah persediaan, pemeliharaan mesin, antrian, perubahan harga pasar saham, dan
administrasi rumah sakit. Prinsipnya, ketika kita mengamati rangkaian probabilitas
percobaan, semua hasil masa lalu bisa mempengaruhi prediksi untuk percobaan berikutnya.

Tahun 1907, A.A. Markov mulai mempelajari teori baru yang yang berkaitan dengan
probabilitas, dalam proses ini hasil percobaan tertentu dapat mempengaruhi hasil percobaan
berikutnya. Makalah ini akan membahas apakah proses stokastik itu, yang merupakan dasar
dari Markov Chain, bagaimana prinsip dasar, teorema yang berlaku, status-status Markov
Chain, lalu bagaimana penerapan atau aplikasinya.

Contoh studi kasus mendapatkan hasil yaitu perkiraan ramalan cuaca pada hari Senin
π (3) π (3)=π (2 )P=(. 4316 , . 42 , .1484 ) , maka 42% peluang akan cerah, 42% akan berawan, dan
15% hujan.
 BAB I

PENDAHULUAN

1.1 Latar Belakang

Sebagian besar penelitian probabilitas menangani proses percobaan independen,

ini merupakan proses dasar teori probabilitas klasik dan mengarah ke statistik. Kita telah
melihat bahwa ketika urutan eksperimen membentuk independen maka hasil yang
mungkin untuk setiap percobaan adalah sama dan terjadi dengan probabilitas yang
sama. Lebih lanjut, pengetahuan dari hasil percobaan sebelumnya tidak mempengaruhi
hasil berikutnya percobaan. Teori probabilitas modern memungkinkan mengetahui
pengaruh hasil sebelumnya untuk memprediksi hasil percobaan selanjutnya. Prinsipnya,
ketika kita mengamati rangkaian probabilitas percobaan, semua hasil masa lalu bisa
mempengaruhi prediksi untuk percobaan berikutnya. Oleh karena itu dalam makalah ini
akan menjelaskan lebih jauh tentang teori tersebut, yaitu Proses Markov berupa Markov
Chain dan penerapan teori tersebut.

1.2 Perumusan Masalah

Markov Chain sangat berkaitan erat dengan teori probabilitas. Untuk memberikan
dasar analisis terlebih dahulu kita harus mengetahui asumsi, definisi, sampai beberapa
teorema yang diperlukan. Maka masalah yang akan dalam makalah ini adalah apakah
proses stokastik itu yang merupakan dasar dari Markov Chain, bagaimana prinsip dasar,
teorema yang berlaku, status - status Markov Chain, lalu bagaimana penerapan atau
aplikasinya

1.3 Tujuan Penulisan

Tujuan pembuatan makalah tentang Markov Chain ini adalah sebagai berikut:

1. Mengetahui proses-proses stokastik

2. Mengetahui prinsip dasar Markov Chain
3. Mengetahui teorema- teorema yang berlaku pada Markov Chain
4. Mengetahui status-status Markov Chain,
5. Mengaplikasikan perhitungan Markov Chain.
 BAB II

LANDASAN TEORI

2.1 Sejarah Markov Chain

Markov Chain baru diperkenalkan sekitar tahun 1907, oleh seorang Matematisi
Rusia Andrei A. Markov (1856-1922). Andrey Markov menghasilkan hasil pertama
(1906) untuk proses ini, murni secara teoritis. Sebuah generalisasi ke bentuk tak terbatas
dalam ruang diskrit diberikan oleh Kolmogorov (1936). Rantai Markov terkait dengan
gerakan Brown dan ergodic hipotesis, dua topik dalam fisika yang penting dalam tahun-
tahun awal abad ke-20, tetapi tampaknya Markov lebih fokus pada perluasan hukum
bilangan besar dalam percobaaan-percobaaan. Model ini berhubungan dengan suatu
rangkaian proses dimana kejadian akibat suatu suatu eksperimen hanya tergantung pada
kejadian yang langsung mendahuluinya dan tidak tergantung pada rangkaian kejadian
sebelum-sebelumnya yang lain. Pada 1913, ia menerapkan temuannya untuk pertama
kalinya untuk 20.000 pertama Pushkin huruf "Eugene Onegin".

2. 2 Proses Acak

Pengelompokkan tipe populasi dari proses acak bisa digambarkan sebagai jika X
adalah proses acak, maka populasi dari proses acak adalah semua nilai yang mungkin
yang bisa dimasukkan dalam suatu proses contohnya

S= { y : X (t )= y , untuk t ∈T }

Jika X adalah proses acak yang menggambarkan suatu persamaan, maka populasi dari X
dapat digambarkan sebagai suatu nilai yang memenuhi persamaan tersebut. Jika populasi
dari S dari suatu proses acak X dapat dihiting (contoh S={1,2,3,...}), dalam hal ini X
disebut Discrete Time Random Process perubahan state terjadi pada titik-titik integer.
Jika populasi dari S dari suatu proses acak X tidak dapat dihitung ( contoh S = ∞) maka
X disebut Continuous Time Random Process perubahan state (discrete state) terjadi pada
sembarang waktu.
 Markov Chain merupakan proses acak di mana semua informasi tentang masa
depan terkandung di dalam keadaan sekarang (yaitu orang tidak perlu memeriksa masa
lalu untuk menentukan masa depan). Untuk lebih tepatnya, proses memiliki properti
Markov, yang berarti bahwa bentuk ke depan hanya tergantung pada keadaan sekarang,
dan tidak bergantung pada bentuk sebelumnya. Dengan kata lain, gambaran tentang
keadaan sepenuhnya menangkap semua informasi yang dapat mempengaruhi masa
depan dari proses evolusi. Suatu Markov Chain merupakan proses stokastik berarti
bahwa semua transisi adalah probabilitas (ditentukan oleh kebetulan acak dan dengan
demikian tidak dapat diprediksi secara detail, meskipun mungkin diprediksi dalam sifat
statistik, (www.wikipedia.org).

2.3 Konsep Dasar Markov Chain

Apabila suatu kejadian tertentu dari suatu rangkaian eksperimen tergantung dari
beberapa kemungkinan kejadian , maka rangkaian eksperimen tersebut disebut Proses
Stokastik.

Sebuah rantai Markov adalah suatu urutan dari variabel-variabel acak X 1, X 2, X 3,......
dengan sifat Markov yaitu, mengingat keadaan masa depan dan masa lalu keadaan yang
independen, dengan kata lain:

Nilai yang mungkin untuk membentuk Xi S disebut ruang keadaan rantai.

Markov Chain adalah sebuah Proses Markov dengan populasi yang diskrit ( dapat
dihitung) yang berada pada suatu discrete state (position) dan diizinkan utk berubah state
pada time discrete. Ada beberapa macam variasi dari bentuk rantai markov
1. Continuous Markov memiliki indeks kontinu.
2. Sisa rantai Markov homogen (rantai Markov stasioner) adalah proses di mana

untuk semua n. Probabilitas transisi tidak tergantung dari n.

3. Sebuah rantai Markov orde m di mana m adalah terbatas,

Dengan kata lain, keadaan selanjutnya tergantung pada keadaan m selanjutnya. Sebuah
rantai (Y n) dari (X n) yang memiliki 'klasik' Markov properti sebagai berikut: Biarkan Y n =
(X n, X n -1, ..., X n - m 1 ), yang memerintahkan m-tupel dari nilai-nilai X. Maka Y n adalah

sebuah rantai Markov dengan ruang keadaan S m dan memiliki klasik properti Markov.

4. Sebuah aditif rantai Markov order m di mana m adalah terbatas adalah

untuk semua n> m.

Status-statusnya adalah:

1. Reachable State

Status j reachable dari status i apabila dalam rantai dpat terjadi transisi dari
status i ke status j melalui sejumlah transisi berhingga;

Terdapat n, 0 ≤ n ≤ ∞, sehingga Pnij > 0

2. Irreduceable Chain

Jika dalam suatu rantai Markov setiap status reachable dari setiap status
lainnya, rantai tersebut adalah irreduceable.

3. Periodic State

Suatu status i disebut periodic dengan peroda d > 1, jika pnii > 0, hanya
untuk n = d, 2d, 3d,. . .; sebaliknya jika pnii > 0, hanya untuk n = 1, 2, 3, ... maka
status tersebut disebut aperiodic.

4. Probability of First Return

Probabilitas kembali pertama kalinya ke status i terjadi dalam n transisi setelah

meninggalkan i.

f (i n) =P [ X n =i , X k ≠i untuk k=1 , 2 ,. .. . ., n−1 Ι X 0 =i ]

 (note: fi(0) didefinisikan = 1 untuk semua i)

5. Probability of Ever Return

Probabilitas akan kembalimya ke status i setelah sebelumnya meninggalkan i.

∞
(n)
f i =∑ f
i
n−1

6. Transient State

Suatu status disebut transient jika probabilitas fi < 1; yaitu bahwa setelah dari
i melalui sejumlah transisi terdapat kemungkinan tidak dapat kembali ke i.

7. Recurrent State

Suatu status disebut recurrent jika probabilitas fi = 1; yaitu bahwa setelah dari
i melalui sejumlah transisi selalu ada kemungkinan untuk kembali ke i.

8. Mean Recurrent Time of State

Untuk suatu status recurrent, jumlah step rata-rata untuk kembali ke status i
∞
( n)
m i=∑ nf
i
n−1

9. Null Recurrent State

Suatu Recurrent State disebut recurrent null jika mi = ∞

10. Positive Recurrent State

Suatu recurrent state disebut positive recurrent atau recurrent nonnull jika
mi < ∞

11. Communicate State

Dua status, i dan j, dikatakamn berkomunikasi jika i reachable dari j dan juga
reachable dari i ; ditulis dengan notasi i↔ j

12. Ergodic

Rantai Markov disebut ergodic jika, irreduceable, aperiodic, dan seluruh

status positive recurrent.
2.4 Teorema – Teorema

2.4.1 Teorema mengenai Relasi Ekovalensi

A. Relasi i <—> j merupakan relasi ekuivalen

1. untuk setiap status i , berlaku i <—> i

2. jika i <—> j, maka juga j <—> i

3. jika i <—> j dan j <—> k maka i <—> k

B. Status-status suatu Rantai Markov dapat dipartisi kedalam kelas-kelas ekivalensi

sehingga i <—> j, jika dan hanya jika i dan j berada dalam kelas ekivalensi

yang sama.

C. Suatu Rantai Markov irreducible jika dan hanya jika didalamnya hanya terdiri atas

tepat satu kelas ekivalensi.

D. Jika i<—> j, maka i dan j memiliki periode yang sama.

E. Untuk i<—> j, jika i recurrent maka juga j recurrent.

2.4.2 Teorema mengenai Irreducible

Jika {Xn}suatu rantai Markov, maka tepat salah satu kondisi berikut ini terjadi:

a. Semua status adalah positif recurrent

b. Semua status recurrent null

c. Semua status trancient

2.4.3 Teorema mengenai Limiting Probability

Definisi: πj(n) adalah probabilitas suatu Rantai Markov { Xn}berada dalam status j

pada step ke n. Maka πj(n) = P[ Xn = j]

Distribusi awal ( initial ) dari masing-masing status 0, 1, 2, …… dinyatakan

sebagaiπj(0) = P[ X0 = j], untuk j = 0, 1, 2, ……

Suatu rantai Markov memiliki distribusi probabilitas stasioner π = (π0, π1, π2, ....,

πn ) apabila terpenuhi persamaan π = π P asalkan setiap πi ≥ 0 dan ∑i πi =1.

Jika suatu rantai Markov homogen waktu (stasioner dari waktu ke waktu) yang

irreducible, aperiodic, maka limit probabiltasnya

(n )
π j =lim π j
n→∞ , untuk j = 0, 1, ......

selalu ada dan independent dari distribusu probabilitas status awal π (0) = (π0(0) , π1(0) ,

π2(0), …..).

Jika seluruh status tidak positif recurrent (jadi seluruhnya recurrent null atau

seluruhnya transient), maka πj = 0 untuk semua j dan tidak terdapat distribusi

probabilitas stasioner.
 BAB III

APLIKASI dan PEMBAHASAN

3.1 Aplikasi

3.1.1 Fisika

Sistem Markovian muncul secara luas dalam termodinamika dan mekanika

statistik, probabilitas setiap kali digunakan untuk mewakili unmodelled diketahui atau
rincian dari sistem, jika dapat diasumsikan bahwa dinamika waktu-invarian, dan
bahwa tidak ada sejarah yang relevan perlu dipertimbangkan yang tidak sudah
termasuk di keadaan bagian deskripsi.

3.1.2 Kimia

Sebuah algoritma yang berdasarkan rantai Markov digunakan untuk

memfokuskan pertumbuhan berdasarkan fragmen-bahan kimia di silico menuju kelas
yang diinginkan dari senyawa seperti obat-obatan atau produk alami. Sebagai molekul
tumbuh, sebuah fragmen dipilih dari molekul baru lahir sebagai "saat ini" keadaan.
Hal ini tidak menyadari masa lalu (yaitu, tidak menyadari apa yang sudah terikat untuk
itu). Ini kemudian transisi ke keadaan berikutnya ketika sebuah fragmen yang melekat
padanya.

3.1.3 Pengujian

Beberapa teoretikus telah mengusulkan gagasan tentang rantai Markov uji

statistik (MCST), sebuah metode Markov conjoining rantai untuk membentuk suatu
'Markov selimut', mengatur rantai ini di beberapa lapisan rekursif ( 'wafering') dan
memproduksi lebih efisien set uji - sampel - sebagai pengganti pengujian lengkap.
MCST juga memiliki kegunaan dalam keadaan dunia berbasis jaringan; Chilukuri et al.
'S makalah berjudul "Temporal Ketidakpastian Penalaran Bukti Jaringan untuk
Aplikasi untuk Fusion dengan Obyek Deteksi dan Pelacakan" (ScienceDirect)
memberikan latar belakang yang sangat baik dan studi kasus untuk menerapkan
MCSTs ke lebih beragam aplikasi.
3.1.4 Teori Queueing

Rantai Markov juga dapat digunakan untuk model berbagai proses dalam teori
queueing, dan statistik. Seperti model ideal dapat menangkap banyak statistik
keteraturan sistem. Bahkan tanpa menjelaskan struktur penuh dari sistem sempurna,
seperti model-model sinyal dapat sangat efektif memungkinkan kompresi data melalui
pengkodean entropi teknik seperti pengkodean aritmatika. Mereka juga
memungkinkan efektif estimasi keadaan dan pengenalan pola. Dunia sistem telepon
selular tergantung pada algoritma Viterbi untuk kesalahan-koreksi, sementara model
Markov tersembunyi adalah secara ekstensif digunakan dalam pengenalan suara dan
juga dalam bioinformatika, misalnya untuk daerah pengkode / gen prediksi.

3.1.5 Statistik

Metode Rantai Markov juga menjadi sangat penting untuk menghasilkan angka
acak urutan mencerminkan secara akurat distribusi probabilitas sangat rumit yang
diinginkan, melalui proses yang disebut rantai Markov Monte Carlo (MCMC). Dalam
beberapa tahun terakhir ini telah merevolusionerkan kepraktisan Inferensi Bayesian
metode, yang memungkinkan berbagai distribusi posterior menjadi simulasi dan
parameter yang ditemukan secara numerik

3.1.6 Ilmu Sosial

Rantai Markov biasanya digunakan dalam menggambarkan argumen, di mana

saat ini kondisi konfigurasi struktural hasil masa depan. Contoh adalah umumnya
berpendapat hubungan antara pembangunan ekonomi dan bangkitnya demokrasi.
Sekali suatu keadaan mencapai tingkat tertentu perkembangan ekonomi, konfigurasi
faktor struktural, seperti ukuran borjuis komersial, rasio tinggal di pedesaan perkotaan,
tingkat politik mobilisasi, dll, akan menghasilkan probabilitas yang lebih tinggi transisi
dari otoriter aturan demokratis.
3.2 Pembahasan

Cuaca kota Bekasi dapat diperkirakan sebagai berikut :

1. Jika hari ini cerah maka besok akan berpeluang 60% cuaca cerah, 30% berawan, dan

10% akan turun hujan.

2. Jika hari ini berawan maka besok akan berpeluang 40% cuaca cerah, 45% berawan,

dan 15% akan turun hujan.

3. Jika hari ini hujan maka besok akan berpeluang 15% cuaca cerah, 60% berawan, dan

25% akan turun hujan

Jika pada hari Jumat hujan maka perkiraan cuaca hari Senin?

Terlihat jelas bahwa perkiraan cuaca dapat diselesaikan dengan Discrete Time

Markov Chain

1. Proses selanjutnya hanya tergantung pada proses saat ini.

2. Waktu diskrit dan populasi diskrit.

3. Stasioner dari waktu ke waktu

Discrete Time Markov Chain terdapat 3 fase, kita misalkan 1= cerah, 2= berawan, 3=

hujan, dan sebelum hari Jumat kita anggap 0, maka

π (0)=(0, 0 , 1)

.6 .3 .1
[
P= . 4 . 45 . 15
. 15 . 6 . 25 ] Matrik transisi

Cuaca pada hari Sabtu π (1)

 .6 .3 .1

[ ]
π (1)=π(0)=(0, 0 , 1) .4 . 45 .15 =( .15 , .6, .25 )
.15 .6 .25

maka 15% peluang akan cerah, 60% akan berawan, dan 25% hujan

Cuaca pada hari Minggu π (2)

. 6 .3 .1
[ ]
π (2)=π (1 )P=(.15 , . 6, .25) . 4 . 45 .15 =( . 3675 , . 465 , . 1675 )
. 15 .6 .25

Cuaca pada hari Senin π (3)

π (3)=π (2 )P=(. 4316 , . 42 , .1484 )

maka 42% peluang akan cerah, 42% akan berawan, dan 15% hujan

Akan sangat bermanfaat menampilkan Discrete Time Markov Chain secara grafis.

Lingkaran melambangkan fase dan anak panah diberi angka peluang yang akan

terjadi, dari soal diatas model grafiknya

 BAB III

KESIMPULAN

Kesimpulan yang dapat diambil pada penulisan makalah tentang Markov Chain

adalah:

1. Proses stokastik adalah suatu kejadian tertentu dari suatu rangkaian eksperimen

tergantung dari beberapa kemungkinan kejadian.

2. Prinsip dasar Markov Chain adalah sebuah Proses Markov dengan populasi yang diskrit

( dapat dihitung) yang berada pada suatu discrete state (position) dan diizinkan untuk

berubah state pada time discrete. Sebuah rantai Markov adalah suatu urutan dari

variabel-variabel acak X 1, X 2, X 3,...... dengan sifat Markov yaitu, mengingat keadaan

masa depan dan masa lalu keadaan yang independen, dengan kata lain:

Nilai yang mungkin untuk membentuk Xi S disebut ruang keadaan rantai.

3. Teorema- teorema yang berlaku pada Markov Chain yaitu teorema mengenai Relasi

Ekovalensi, teorema mengenai Irreducible, teorema mengenai Limiting Probability

4. Status-status Markov Chain adalah Reachable State, Irreduceable Chain, Periodic State,

Probability of First Return, Probability of Ever Return, Transient State, Recurrent State,

Mean Recurrent Time of State, Null Recurrent State, Positive Recurrent State,

Communicate Stat, dan Ergodic.

5. Perhitungan Markov Chain didapatkan hasil cuaca pada hari Senin π (3)

π (3)=π (2 )P=(. 4316 , . 42 , .1484 )

maka 42% peluang akan cerah, 42% akan berawan, dan 15% hujan
 DAFTAR PUSTAKA

Teks klasik in Translation: AA Markov. Sebuah Contoh Statistik Investigasi Teks

Eugene Onegin Mengenai Koneksi Sampel in Chains, terj. David Link. Sains dalam

Konteks

JL, Doob. Stochastic Processes. New York: John Wiley and Sons

E. Nummelin. "Jenderal direduksikan rantai Markov dan non-operator negatif".

Cambridge University Press

www.wikipedia.org

www.google.com(Markov Chain)

MatematikaCyberBoardSOS.