Quá trình ngẫu nhiên và tính toán ngẫu nhiên phần 2

Chia sẻ: Thái Duy Ái Ngọc | Ngày: | Loại File: PDF | Số trang:17

Thêm vào BST

Báo xấu

353
lượt xem 106
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Chương 4. Tính toán ngẫu nhiên Đặng Hùng Thắng Quá trình ngẫu nhiên và tính toán ngẫu nhiên NXB Đại học quốc gia Hà Nội 2007. Tr 180-218. Từ khoá: Quá trình ngẫu nhiên, Tính toán ngẫu nhiên Quá trình Wiener, Tích phân Wiener, Tích phân ngẫu nhiên Ito, Công thức Ito, Phương trình vi phân ngẫu nhiên. Tài liệu trong Thư viện điện

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Quá trình ngẫu nhiên và tính toán ngẫu nhiên phần 2

1.2. Phân lo i tr ng thái xích Markov 25 n v i cn = k =0 fii (k )Pii (n − k ) = Pii (n) n ≥ 1 theo b đ 1. Vì c0 = 0, Pii (0) = 1 nên ta suy ra Fii(s)Pii (s) = Pii (s) − 1 hay 1 Pii (s) = . (1.7) 1 − Fii(s) ∞ Gi s i h i quy t c là fii (n) = 1. Theo b đ Abel n=0 ∞ fii (n)sn = 1. lim Fii (s) = lim − − s→1 s→1 n=0 T (1.7) suy ra ∞ Pii (n)sn = ∞. lim Pii (s) = lim s→1− −s→1 n=0 V y l i theo b đ Abel (ii) ta có ∞ Pii (n) = ∞. n=0 ∞ Đ o l i gi s i không h i quy t c là fii (n) < 1. S d ng b đ Abel (i) n=0 và h th c (1.7) ta rút ra lim Pii (s) < ∞. L i áp d ng b đ Abel (ii) ta s→1− thu đư c ∞ Pii (n) < ∞. n=0 Đ nh lý 1.8. N u i ↔ j và j h i quy thì i h i quy. Ch ng minh. Theo gi thi t t n t i m, n sao cho Pij (n) > 0, Pji (m) > 0. V i m i s nguyên dương h t phương trình C-P suy ra Pii (n + h + m) ≥ Pij (n)Pjj (h)Pji (m). Vy ∞ ∞ Pii (n + h + m) ≥ Pij (n)Pji (m) Pjj (h) = ∞. h=1 h=1 Thành th i h i quy.
26 Chương 1. Quá trình Markov Ví d 1.13. Cho (rn ) là dãy các ĐLNN đ c l p có phân b xác su t như sau P (rn = 1) = p, P (rn = −1) = q, 0 < p < 1, p + q = 1. (Dãy này đư c g i là dãy Rademakher). Xét dãy (Xn ) xác đ nh như sau X0 = a, Xn+1 = Xn + rn+1 . . Khi đó (Xn ) l p thành xích Markov v i không gian tr ng thái E = {0 ± 1, ±2}xác su t chuy n là P = (Pij ) đó  q n u j = i − 1    Pij = p n u j = i + 1    0 n u j = i + 1, j = i − 1. Xích này đư c g i là du đ ng ng u nhiên 1 chi u mô t s chuy n đ ng ng u nhiên c a m t h t trên đư ng th ng: Sau m i đơn v th i gian h t d ch sang ph i v i xác su t p và d ch sang trái v i xác su t q . D th y đây là m t xích t i gi n có chu kỳ d = 2 và 2n n n Pii (2n) = p q . Pii (2n + 1) = 0. n S d ng công th c Stirling √ 2πne−n nn n! ∼ ta có (4pq )n Pii (2n) ∼ √ . πn 1 N u du đ ng ng u nhiên là đ i x ng p = q = 1/2 thì Pii (2n) ∼ √ do đó πn Pii (n) = ∞. n
1.2. Phân lo i tr ng thái xích Markov 27 V y theo đ nh lý 1.7 m i tr ng thái đ u h i quy. N u p = q thì 4pq = a < 1 cho nên an Pii (n) < ∞ vì chu i h i t khi a < 1. √ n n Do đó theo đ nh lý 1.7 m i tr ng thái là không h i quy. V m t tr c giác ta th y n u p > q thì có m t xác su t dương đ h t xu t phát t tr ng thái i s đi sang bên ph i mãi mãi ( sang bên trái mãi mãi n u p < q ) không quay l i đi m xu t phát. Ví d 1.14. Xét du đ ng ng u nhiên c a m t h t trên lư i đi m nguyên trên m t ph ng. Gi s xác su t đ h t d ch lên trên, d ch xu ng dư i m t đơn v (theo phương th ng đ ng), d ch sang ph i,sang trái m t đơn v (theo phương n m ngang) đ u b ng nhau và b ng 1/4. Có th th y r ng P00 (2n + 1) = 0 và (2n)! (1/4)2n P00 (2n) = i !i !j !j ! i,ji+j =n n 2n n n = (1/4)2n n i n−i i=0 2 2n = (1/4)2n . n Công th c Stirling cho ta 1 P00(2n) ∼ . πn Vy P00 (n) = ∞. n V y tr ng thái 0 là h i quy. Vì xích là t i gi n (d th y) nên m i tr ng thái đ u h i quy. Ngư i ta đã ch ng minh đư c m t đi u thú v là v i du đ ng ng u nhiên đ i x ng trong không gian ba chi u, m i tr ng thái đ u không h i quy.
28 Chương 1. Quá trình Markov Đ nh lý 1.9. Ký hi u Qii là xác su t đ h xu t phát t i quay l i i vô s l n, Qij là xác su t đ h xu t phát t i đi qua j vô s l n. Khi đó (i) N u i h i quy thì Qii = 1, n u i không h i quy thì Qii = 0. (ii) N u i h i quy i ↔ j thì Qij = 1. Nói riêng, v i xác su t 1 h xu t phát t i sau m t s h u h n bư c s đi qua j . Ch ng minh. (m) (i) Gi s Qii là xác su t đ h quay l i i ít nh t m l n. S d ng công th c xác su t đ y đ và tính Markov c a h ta thu đư c phương trình ∞ (m) (m−1) (m−1) ∗ ∗ Qii = fii (k )Qii = fii Qii k =1 T đó Qm = (fii )m−1 Q1 = (fii )m ∗ ∗ ii ii (m) vì rõ ràng Q1 = fii . Vì r ng Qii = lim Qii ∗ ta rút ra Qii = 0 hay 1 ii m→∞ ∗ tuỳ theo fii < 1 hay b ng 1. ∞ ∗ (ii) G i fji = fji (k ) là xác su t đ h xu t phát t j s vi ng thăm i k =1 sau m t s h u h n bư c. S d ng công th c xác su t đ y đ và tính Markov c a h ta thu đư c phương trình ∞ ∗ Qjj ≤ fji (k )Qij + 1 − fji k =1 ∗ ∗ = Qij fji + 1 − fji . (1.8) (1.9) Vì j h i quy theo (1) Qjj = 1. V y t (??) ∗ ∗ ∗ ∗ 1 ≤ Qij fji + 1 − fji → fji ≤ Qij fji . ∗ Vì j ↔ i nên fji > 0 Suy ra Qij = 1.
1.2. Phân lo i tr ng thái xích Markov 29 Ví d 1.15. (S phá s n ch c ch n c a ngu i chơi c b c) M t ngư i vào sòng b c v i s ti n trong túi là 1000 đôla và chơi đánh b c như sau: M i ván chơi anh ta tung m t đ ng ti n cân đ i đ ng ch t. N u đ ng ti n ra m t ng a anh ta đư c m t đôla, n u ra m t s p anh ta m t m t đô la. G i Xn là s ti n anh ta có sau n ván chơi. Khi đó X0 = 1000 và X0 , X1 , ... là m t du đ ng ng u nhiên đ i x ng v i tr ng thái ban đ u X0 = 1000. Theo đ nh lý trên v i xác su t 1 Xn s vi ng thăm tr ng thái 0. Nói cách khác s m hay mu n anh ta s nh n túi. Đ nh lý 1.10. Cho (Xn ) là xích t i gi n không h i quy. Khi đó v i m i i, j ∞ Pij (n) < ∞. n=1 Nói riêng lim Pij (n) = 0 n→∞ và xích không t n t i phân b d ng. Ch ng minh. Ch ng minh tương t như b đ 2 ta có n Pij (n) = fij (k )Pjj (n − k ). (1.10) k =1 Vy ∞ ∞ n Pij (n) = fij (k )Pjj (n − k ) n=1 n=1 k =1 ∞ = fij (k ) Pjj (n − k ) k =1 n>k ∞ ∞ = fij (k ) Pjj (m) m=1 k =1 ∞ ∞ ∗ = fij Pjj (m) ≤ Pjj (m) < ∞. m=1 m=1
30 Chương 1. Quá trình Markov Đ nh lý 1.11. Cho (Xn ) là xích t i gi n h i quy không có chu kỳ . Khi đó v i m i i, j 1 lim Pij (n) = µj n đó ∞ µj = kfjj (k ). k =1 Ch ng minh. Ch ng minh d a cơ b n trên m t k t qu sau đây c a gi i tích mà ta s phát bi u dư i d ng m t b đ ( không ch ng minh): B đ 1.4. Cho (fn ) là m t dãy các s không âm có t ng b ng 1 và ưóc chung l n nh t c a t t c các s j > 0 mà fj > 0 b ng 1. Cho (un ) là dãy xác đ nh truy h i theo cách sau n u0 = 1, un = fk un−k . k =1 Khi đó 1 lim un = . ∞ n→∞ kfk k =1 C đ nh j . Đ t un = Pjj (n), fk = fjj (k ). B đ 4 cho phép ta k t lu n 1 lim Pjj (n) = . µj n Ti p theo v i quy ư c Pij (s) = 0 n u s < 0 ta vi t l i h th c (1.10) dư i d ng ∞ Pij (n) = fij (k )Pjj (n − k ). k =1 Chú ý r ng 1 lim Pjj (n − k ) = µj n→∞
1.2. Phân lo i tr ng thái xích Markov 31 và ∞ fij (k ) = fij = Qij = 1 ( theo đ nh lý 1.7) áp d ng đ nh lý h i t b ∗ k =1 ch n ta thu đư c ∞ lim Pij (n) = fij (k ) lim Pjj (n − k ) n n→∞ k =1 1 1 ∗ = fij =. µj µj N u i là tr ng thái h i quy thì µi chính là th i gian trung bình ( hay s bư c trung bình) đ h l n đ u tiên quay l i i. Th i gian trung bình này có th h u h n hay vô h n. Ta có đ nh nghĩa sau: Đ nh nghĩa 1.8. Tr ng thái h i quy i đư c g i là tr ng thái h i quy dương n u µi < ∞ và đư c g i là tr ng thái h i quy không n u µi = ∞. Ví d 1.16. Gi s (Xn ) là du đ ng ng u nhiên đ i x ng trên đư ng th ng. Trong ví d ta đã th y m i tr ng thái là h i quy. Ta ch ng minh m i tr ng thái là h i quy không. Th t v y ta có 2n (1/2)n (1/2)n , Pii (2n) = Pii (2n + 1) = 0. n Thành th 2m Pii (n)sn = (1/2)2m s2m Pii (s) = m n m 2m (s2 /4)m = ((1 − s2 )−1/2 . = m m T phương trình (1.7) ta suy ra Fii (s) = 1 − Pii (s)−1 = 1 − (1 − s2 )1/2. (1.11) Theo b đ Abel kfii (k )sk−1 µi = kfii (k ) = lim s→1− k k = lim Fii (s) = lim s(1 − s2)−1/2 = ∞. s→1− s→1−
32 Chương 1. Quá trình Markov Đ nh lý 1.12. Gi s i → j . N u i h i quy dương thì j h i quy dương. N u i h i quy không thì j h i quy không. Ch ng minh. Ta ch c n ch ng minh n u t n t i tr ng thái j là h i quy dương thì m i tr ng thái i mà i ↔ j cũng h i quy dương. Th t v y t n t i m, n sao cho Pij (n) > 0, Pji (m) > 0. V i m i k ta có Pii (n + k + m) ≥ Pij (n)Pjj (k )Pji (m). T đó và t đ nh lý 1.11 ta có 1 = lim Pii (n + k + m) µi k 1 ≥ lim Pij (n)Pjj (k )Pji (m) = Pij (n)Pji (m) > 0. µj k V y µi < ∞ t c i là h i quy dương. Theo đ nh lý 1.4, π = (π1, π2, ...) là phân b gi i h n duy nh t c a xích. T đ nh lý 1.11 và 1.12 suy ra Đ nh lý 1.13. Gi s (Xn ) là xích t i gi n không có chu kỳ v i không gian tr ng thái đ m đư c E . Khi đó s x y ra m t trong ba kh năng sau đây: 1) M i tr ng thái là không h i quy. Khi đó v i m i i, j lim Pij (n) = 0. n Xích không có phân b d ng. 2) M i tr ng thái là h i quy không. Khi đó v i m i i, j lim Pij (n) = 0 n Xích không có phân b d ng.
1.2. Phân lo i tr ng thái xích Markov 33 3) M i tr ng thái là h i quy dương. Khi đó v i m i i, j lim Pij (n) = πj > 0 n và π = (π1 , π2, ...) là phân b gi i h n (và cũng là phân b d ng) c a xích. Đ nh lý 1.14. Gi s (Xn ) là xích t i gi n không có chu kỳ v i không gian tr ng thái h u h n E = {1, 2, ..., d}. Khi đó m i tr ng thái đ u h i quy dương và xích có phân b gi i h n π = (π1, π2 , ..., πd). Phân b này cũng là phân b d ng duy nh t c a xích. Ch ng minh. Theo đ nh lý 1.13 ta ch c n ch ng t kh năng 1) ho c 2) không x y ra. Th t v y n u trái l i thì v i m i i, j lim Pij (n) = 0. n Vy d d 1 = lim Pij (n) = lim Pij (n) = 0. n n j =1 j =1 Mâu thu n. Đ i v i xích t i gi n (có th có chu kỳ) ta có đ nh lý sau đây (không ch ng minh): Đ nh lý 1.15. Gi s Xn là xích t i gi n v i không gian tr ng thái E đ m đư c. Khi đó 1. V i m i i, j ∈ E n 1 lim n−1 Pij (k ) = . µj n→∞ k =1 1 Nói cách khác dãy Pij (n) h i t theo trung bình Cesaro t i πj = µj không ph thu c i. 2. Dãy π = (πj ) tho mãn
34 Chương 1. Quá trình Markov ∞ • πj ≤ 1 j =1 ∞ • πj = πiPij . i=1 Như là m t h qu c a đ nh lý trên ta có đ nh lý sau (so sánh v i 1.13): Đ nh lý 1.16. Cho (Xn ) là xích Markov t i gi n. Khi đó 1. N u E h u h n có d ph n t thì (π1, ..., πd) là phân b d ng duy nh t. 2. Ch có các kh năng sau: • M i tr ng thái c a E là không h i quy • M i tr ng thái c a E là h i quy không • M i tr ng thái c a E là h i quy dương. 3. N u E là vô h n đ m đư c thì xích có phân b d ng khi và ch khi m i tr ng thát c a E là h i quy dương. Trong trư ng h p này phân b d ng là duy nh t. 1.3 Quá trình Markov Xét h các ĐLNN r i r c (Xt ), t ≥ 0 v i t p ch s t là các s th c không âm t ∈ [0, ∞). Ký hi u E = Xt (Ω) là t p giá tr c a Xt . Khi đó E là m t t p h u h n hay đ m đư c, các ph n t c a nó đư c ký hi u là i, j, k... .Ta g i (Xt ) là m t quá trình ng u nhiên v i không gian tr ng thái E . Đ nh nghĩa 1.9. Ta nói r ng (Xt ) là m t quá trình Markov n u v i m i t1 < ... < tk < t và v i m i i1, i2, ...in, i ∈ E P {Xt = i|Xt1 = i1, Xt2 = i2..., Xtk = ik } = P {Xt = i|Xtk = ik }.
1.3. Quá trình Markov 35 Như v y, xác su t có đi u ki n c a m t s ki n B nào đó trong tương lai n u bi t hi n t i và quá kh c a h cũng gi ng như xác su t có đi u ki n c a B n u ch bi t tr ng thái hi n t i c a h . Đó chính là tính Markov c a h . Đôi khi tính Markov c a h còn phát bi u dư i d ng: N u bi t tr ng thái hi n t i Xt c a h thì quá kh Xu , u < t và tưong lai Xs , s > t là đ c l p v i nhau. Gi s P {Xt+s = j |Xs = i} là xác su t đ xích t i th i đi m s tr ng thái i sau m t kho ng th i gian t , t i th i đi m t + h chuy n sang tr ng thái j . Đây là m t con s nói chung ph thu c vào i, j, t, s. N u đ i lư ng này không ph thu c s ta nói xích là thu n nh t. Trong giáo trình này ta ch xét xích Markov thu n nh t. Ký hi u Pij (t) = P {Xt+s = j |Xs = i}. Ta g i Pij (t) là xác su t chuy n c a h t tr ng thái i sang tr ng thái j sau m t kho ng th i gian t . Ký hi u P (t) = (Pij (t), i, j ∈ E ). P (t) là m t ma tr n h u h n hay vô h n chi u. Chú ý r ng i)Pij (t) ≥ 0 ii) Pij (t) = 1. j ∈E Phân b c a X0 đư c g i là phân b ban đ u. Ta ký hi u ui = P (X0 = i). Ch ng minh tương t như trư ng h p xích Markov ta có k t lu n sau: Đ nh lý 1.17. Phân b h u h n chi u c a quá trình (Xt ) đư c hoàn toàn xác đ nh t phân b ban đ u và xác su t chuy n. C th v i t1 < t2 < ... < tn phân b đ ng th i c a (Xt1 , ..., Xtn ) đư c tính theo công th c sau P (Xt1 = i1, ..., Xtn = in ) = = ui Pii1 (t1)Pi1 i2 (t2 − t1)...Pin−1 in (tn − tn−1 ). i∈E
36 Chương 1. Quá trình Markov Đ nh lý 1.18. (Phương trình Chapman-Kolmogorov) Pij (t + s) = Pik (t)Pkj (s). k ∈E 1.3.1 Trư ng h p không gian tr ng thái h u h n Gi s E = {1, 2, ..., d}. Khi đó t phương trình C-K P (t), t > 0 là m t h các ma tr n tho mãn đ ng th c sau P (t + s) = P (t)P (s). Nói cách khác h (P (t), t > 0) l p thành m t n a nhóm các ma tr n. T nay v sau ta s luôn gi thi t thêm r ng 1. Pij (0) = δij 2. limt→0 Pij (t) = δij đây δij là ký hi u Kronecke  1 n u i=j δij = 0 n u i = j. Đ nh lý 1.19. Hàm ma tr n P (t) là m t hàm liên t c và t n t i P (t) − I P (0) = lim . h h→0+ Ch ng minh. Theo gi thi t thì P (0) = I và limt→0 P (t) = I t c là P (t) liên t c t i 0. Ta ch ng minh P (t) liên t c t i t > 0. Ta có do tính ch t n a nhóm lim P (t + h) = lim P (t)P (h) = P (t)I = P (t). h→0+ h→0 V y P (t) liên t c ph i. Ta l i có v i 0 < h < t thì P (t) = P (h)P (t − h) . Do P (h) → I khi h → 0 nên t n t i P (h)−1 v i h đ nh . V y lim P (t − h) = lim P (t)P (h)−1 = P (t)I = P (t). h→0+ h→0−
1.3. Quá trình Markov 37 V y P (t) cũng liên t c trái do đó liên t c. (Th c ra có th ch ng minh đư c r ng P (t) liên t c đ u trên [0, ∞). Ti p theo s d ng tính ch t n a nhóm ta có v i m i h > 0, n: P (nh) − I = (P (h) − I ) (I + P (h) + P (2h) + ... + P ((n − 1)h)) . (1.12) Vì P (t) liên t c n u h → 0 sao cho nh → t > 0 thì n −1 t h → P (u)du. 0 k =0 t T n t i t > 0 đ tích phân 0 P (u)du là ma tr n không suy bi n. Ta l i có lim P (nh) − I = P (t) − I . T (1.12) suy ra n −1 t P ( h) − I lim = (P (t) − I ) P (u)du h h→0+ 0 Ký hi u P ( h) − I A = P (0) = lim . h h→0+ A = (aij ) đư c g i là ma tr n c c vi c a n a nhóm (P (t)). Ta có Pij (t) lim = aij n u i=j t t→0 1 − Pii (t) lim = ai (1.13) t t→0 đây ai = −aii. T (1.13) ta có Pij (t) = aij t + o(t) 1 − Pii (t) = ai t + o(t). Thành th aij đư c g i là cư ng đ chuy n t tr ng thái i sang tr ng thái j và ai là cư ng đ thoát kh i tr ng thái i c a h .
38 Chương 1. Quá trình Markov T đ ng th c 0 = Pij (t) + Pii − 1 chia hai v cho t và cho t → 0 ta j : j =i thu đư c aij = 0 j hay tương đương ai = aij j : j =i Đ nh lý 1.20. Cho quá trình Markov v i n a nhóm P (t), t > 0 các xác su t chuy n. G i A là ma tr n c c vi c a n a nhóm. Khi đó ta có P (t) = P (t)A ↔ Pij (t) = Pik (t)akj − Pij (y )aj (1.14) k =j và P (t) = AP (t) ↔ Pij (t) = Pkj aik − Pij (y )ai. (1.15) k =i Phương trình ( (1.14)) đư c g i là phương trình thu n và phương trình (1.15) đư c g i là phương trình ngư c Kolmogorov. Ch ng minh. Ta có do tính ch t n a nhóm P ( t + h) − P ( t ) P (t)(P (h) − I ) = h h ( P ( h) − I ) P ( t ) = . h Cho h → 0 ta có đi u c n ch ng minh. Phương trình thu n và ngh ch là các phương trình vi phân v i đi u ki n ban đ u P (0) = I có th gi i đư c b ng phương pháp quen thu c trong lý thuy t phương trình vi phân. Ta có k t qu sau (không ch ng minh):
1.3. Quá trình Markov 39 Đ nh lý 1.21. Phưong trình (1.14) và phương trình (1.15) có nghi m là ∞ An tn P (t) = eAt = I + . n! n=1 Ngư c l i cho trư c ma tr n A = (aij ) c p d × d tho mãn aij ≥ 0 n u i = j và aij = 0 . Đ t j P (t) = eAt . Khi đó t n t i quá trình Markov v i d tr ng thái nh n P (t) làm h ma tr n xác su t chuy n. Ví d 1.17. (Quá trình Markov hai tr ng thái) Xét quá trình Markov v i hai tr ng thái E = {0, 1}. (Ch ng h n ta xét s ti n tri n theo th i gian c a m t h th ng nào đó trong đó tr ng thái 0 bi u th tr ng thái trì tr còn tr ng thái 1 bi u th tr ng thái làm vi c tích c c c a h th ng). Gi s cư ng đ chuy n t tr ng thái 0 sang tr ng thái 1 là λ và cư ng đ chuy n t tr ng thái 1 sang tr ng thái 0 là µ. Ma tr n c c vi là −λ λ A= . µ −µ Ta đi tìm công th c cho xác su t chuy n Pij (t) b ng cách gi i phương trình ngư c. Phương trình (1.15) cho ta P00 (t) = −λP00 (t) + λP10 (t) P10 (t) = µP00 (t) − µP10 (t). Tr hai phương trình trên v v i v ta có: (P00 (t) − P10 (t)) = −(λ + µ)(P00 (t) − P10 (t)) ⇒ P00 (t) − P10 (t) = (P00 (0) − P10 (0))e−(λ+µ)t = e−(λ+µ)t .
40 Chương 1. Quá trình Markov Vy P00 (t) = −λ(P00 (t) − P10(t)) = −λe−(λ+µ)t t ⇒ P00(t) = P00(0) + P00(s)ds 0 λ (1 − e−(λ+µ)t ) =1− µ+λ µ λ −(λ+µ)t = + e . µ+λ µ+λ T đó P10 (t) = P00 (t) − e−(λ+µ)t µ µ −(λ+µ)t = − e . µ+λ µ+λ Hoàn toàn tương t t phương trình (1.15) ta có P01(t) = −λP01 (t) + λP11 (t) P11 (t) = µP01 (t) − µP11 (t). ta tìm đư c λ λ −(λ+µ)t P01 (t) = − e µ+λ µ+λ λ µ −(λ+µ)t P11 (t) = + e . µ+λ µ+λ Bây gi chúng ta xét dáng đi u ti m c n c a ma tr n xác su t chuy n P (t) khi t → ∞. Cho quá trình Markov (Xt ) v i không gian tr ng thái E h u h n và ma tr n xác su t chuy n P (t) = Pij (t). Ta nói r ng quá trình là t i gi n n u Pij (t) > 0 v i m i i, j ∈ E . (Chú ý r ng ta không có khái ni m "chu kỳ c a m t tr ng thái" như là đ i v i xích Markov). Đ nh lý 1.22. Cho quá trình Markov t i gi n (Xt )v i không gian tr ng thái E = {1, 2, ..., d} h u h n và ma tr n xác su t chuy n P (t) = Pij (t). Khi đó v i m i i, j ∈ E t n t i gi i h n h u h n lim Pij (t) = πj t→∞
1.3. Quá trình Markov 41 ch ph thu c j không ph thu c i. Thêm vào đó π = (π1, π2 , ..., πd) là phân b xác su t duy nh t tho mãn phương trình π = πP (t), ∀t > 0. Ch ng minh. V i m i h > 0 c đ nh P (h) là m t ma tr n xác su t chuy n v i các ph n t đ u dưong, v y theo đ nh lý 1.5 ta có t n t i lim P (nh) = lim P (h)n = Π(h) n→∞ n→∞ trong đó Π(h) là ma tr n v i các dòng như nhau và b ng π (h) .Thêm vào đó π (h) = (π1 (h), π2(h), ..., πd(h)) là phân b xác su t duy nh t tho mãn phương trình π (h) = π (h)P (h), ∀t > 0. M t khác ta bi t r ng P (t) liên t c đ u trên [0, ∞). Trong gi i tích ta bi t r ng n u m t hàm P (t) liên t c đ u sao cho lim P (nh) t n t i v i m i h > 0 n→∞ thì kéo theo limt→∞ P (t) t n t i. V y ta k t lu n t n t i lim P (t) = Π t→∞ v i Π = Π(h) v i m i h > 0. T đó suy ra k t lu n c a đ nh lý. Ví d 1.18. Trong ví d v quá trình Markov hai tr ng thái t bi u th c c a Pij (t) ta có lim Pij (t) = πj t→∞ vi µ λ π0 = , π1 = . λ+µ λ+µ N u ch n π = (π0, π1) là phân b ban đ u c a quá trình thì P (Xt = 0) = P (X0 = 0)P00 (t) + P (X0 = 1)P10 (t) µ = π0P00 (t) + π1P10 (t) = π0 = . λ+µ Tương t λ P (Xt = 1) = π1 = . λ+µ Như v y phân b c a Xt không ph thu c vào t.