Markov Zinciri Sorusu

"Kaybetmek yok" adlı bir oyun oynuyoruz. Bir zar atılıyor; 6 gelirse 1 TL kazanıyorsunuz, 6 gelmezse tüm kazancınızı kaybediyorsunuz. 0 TL ile oyuna başlanıyor. Xn : n. oyuna başlarken elimizdeki para miktarı olsun.

a) Durum uzayını (S) bulunuz.
b) P matrisini yazınız.
c) Durum geçiş diyagramını çiziniz.
d) Haberleşen sınıfları bulunuz. Bu sınıflar hakkında ne diyebilirsiniz?