Quá trình ngẫu nhiên và tính toán ngẫu nhiên phần 3

Chia sẻ: Thái Duy Ái Ngọc | Ngày: | Loại File: PDF | Số trang:22

Thêm vào BST

Báo xấu

200
lượt xem 73
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Tham khảo tài liệu 'quá trình ngẫu nhiên và tính toán ngẫu nhiên phần 3', khoa học tự nhiên, toán học phục vụ nhu cầu học tập, nghiên cứu và làm việc hiệu quả

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Quá trình ngẫu nhiên và tính toán ngẫu nhiên phần 3

42 Chương 1. Quá trình Markov 1.3.2 Trư ng h p không gian tr ng thái vô h n đ m đư c Trong trư ng h p không gian tr ng thái E là vô h n đ m đư c ta g p nh ng khó khăn v toán h c khi mu n m r ng các k t qu trong trư ng h p h u h n. Ta có k t qu sau đây (công nh n không ch ng minh): Đ nh lý 1.23. (1) V i m i i = j gi i h n Pij (t) Pij (0) = lim = aij t t→0 luôn t n t i h u h n. (2) V i m i i gi i h n Pii (t) − 1 Pii (0) = lim = aii = −ai t t→0 t n t i nhưng có th b ng vô cùng. Đ i v i trư ng h p không gian tr ng thái h u h n ta có aij = 0 hay j aij = ai . j =i Trong trư ng h p E vô h n nói chung ta ch có b t đ ng th c sau aij ≤ ai ∀i ∈ E (1.16) j =i Th t v y ta có Pij (t) = 1 − Pii (t) j =i thành th v i m i m n Pij (t) ≤ 1 − Pii (t). j =1,j =i
1.3. Quá trình Markov 43 Chia hai v cho t và đ y t → 0 ta thu đư c m aij ≤ ai . j =1,j =i Cho m → ∞ ta thu đư c (1.16). T nay v sau ta ch xét các quá trình Markov tho mãn đi u ki n aij = ai < ∞. (1.17) j =i Ma tr n vô s chi u A = (aij ) cũng đư c g i là ma tr n c c vi c a quá trình đang xét. Đ nh lý 1.24. Cho quá trình Markov v i P (t) = (Pij (t)) là h các ma tr n xác su t chuy n. G i A là ma tr n c c vi c a quá trình. Khi đó ta có P (t) = P (t)A ⇔ Pij (t) = Pik (t)akj − Pij (y )aj (1.18) k =j và P (t) = AP (t) ⇔ Pij (t) = aik Pkj − Pij (y )ai (1.19) k =i Phương trình (1.18) đư c g i là phương trình thu n và phương trình (1.19) đư c g i là phương trình ngư c Kolmogorov. Ch ng minh. Ta ch ch ng minh cho phương trình ngư c còn th a nh n s đúng đ n c a phương trình thu n vì ch ng minh khá ph c t p v toán h c. Ta có: Pij (s + t) − Pij (t) = Pik (s)Pkj (t) − Pij (t) k = Pik (s)Pkj (t) + (Pii (s) − 1)Pij (t) (1.20) k =i
44 Chương 1. Quá trình Markov V i m i m c đ nh ta có m −1 −1 lim inf s Pik (s)Pkj (t) ≥ lim inf s Pik (s)Pkj (t) s→0 s→0 k =i k =1,k =i m = aik Pkj (t). k =1,k =i Cho m → ∞ ta đư c lim inf s−1 Pik (s)Pkj (t) ≥ aik Pkj (t). (1.21) s→0 k =i k =i Ti p theo v i m > i ta có m ∞ Pik (s)Pkj (t) ≤ Pik (s)Pkj (t) + Pik (s) m+1 k =i k =1,k =i m m = Pik (s)Pkj (t) + 1 − Pii (s) − Pik (s). k =1,k =i k =1,k =i Chia hai v cho s và l y lim sup ta thu đươc m m −1 lim sup s Pik (s)Pkj (t) ≤ aik Pkj (t) + ai − aik (s). s→0 k =i k =1,k =i k =1,k =i Cho m → ∞ và chú ý đ n đi u ki n (1.17) ta đư c lim sup s−1 Pik (s)Pkj (t) ≤ aik Pkj (t). s→0 k =i k =i So sánh v i (1.21) ta nh n đư c lim s−1 Pik (s)Pkj (t) = aik Pkj (t). s→0 k =i k =i Trong 1.20 chia hai v cho s r i cho s → 0 và áp d ng đ ng th c trên ta suy ra (1.19).
1.3. Quá trình Markov 45 Bây gi chúng ta xét dáng đi u ti m c n c a ma tr n xác su t chuy n P (t) khi t → ∞. Cho quá trình Markov (Xt ) v i không gian tr ng thái E vô h n đ m đư c và ma tr n xác su t chuy n P (t) = Pij (t). Ta nói r ng quá trình là t i gi n n u Pij (t) > 0 v i m i i, j ∈ E . ( Chú ý r ng ta không có khái ni m "chu kỳ c a m t tr ng thái" như là đ i v i xích Markov). Đ nh lý 1.25. Cho quá trình Markov t i gi n (Xt )v i không gian tr ng thái E = {1, 2, ..., } đ m đư c và ma tr n xác su t chuy n P (t) = Pij (t). Khi đó v i m i i, j ∈ E t n t i gi i h n h u h n lim Pij (t) = πj t→∞ ch ph thu c j không ph thu c i. Thêm vào đó gi i h n π = (π1, π2, ..., ) ho c là t t c b ng không πj = 0 ∀j ∈ E ho c là t t c dương và l p thành m t phân b xác su t. Phân b đó đư c g i là phân b gi i h n c a quá trình πj > 0 ∀j ∈ E, πj = 1. j Ta công nh n và không ch ng minh đ nh lý này. Đ nh lý 1.26. Phân b gi i h n π = (π1, π2, ..., ) tho mãn h phương trình tuy n tính sau πj aj = πk akj . k =j Ch ng minh. T phương trình C-K Pij (s + t) = Pik (s)Pkj (t) k ∈E cho s → ∞ ta thu đư c πj = πk Pkj (t). k
46 Chương 1. Quá trình Markov Suy ra πj (1 − Pjj (t)) = πk Pkj (t). k =j Chia hai v cho t và cho t → 0 ta đư c h th c ph i ch ng minh. Ví d 1.19. (Quá trình sinh và ch t.) Xét quá trình Markov (Xt ) v i không gian tr ng thái E = {0, 1, 2, ...}. (Xt ) đư c g i là quá trình sinh và ch t n u các xác su t chuy n Pij (t) tho mãn các đi u ki n sau đây 1. Pi.i+1 (t) = λi t + o(t) ∀i ≥ 0 khi t → 0 2. Pi.i−1 (t) = µi t + o(t) ∀i ≥ 1 khi t → 0 3. Pii (t) = 1 − (λi + µi )t + o(t), ∀i ≥ 0 khi t → 0 4. Pij (t) = o(t) v i |i − j | > 1 5. Pij (0) = δij 6. µi = 0, λ0 > 0, µi , λi > 0, i = 1, 2, ... Quá trình Xt đư c s d ng đ mô t s phát tri n c a m t qu n th A nào đó. M i cá th c a qu n th A t i m i th i đi m có th sinh ra m t cá th m i ho c b ch t đi. Ký hi u Xt là s lư ng cá th c a qu n th t i th i đi m t. Các đi u ki n trên có nghĩa là n u t i th i đi m t qu n th có i cá th thì trong m t kho ng th i gian bé (s, s + t) xác su t đ s lư ng qu n th tăng thêm m t cá th là λi t + o(t) và xác su t đ gi m đi m t cá th là µi t + o(t), xác su t đ tăng gi m ít nh t hai cá th là o(t). Các tham s λi , i = 0, 1, 2 đư c g i là cư ng đ sinh, các tham s µi , i = 1, 2, ... đư c g i là cư ng đ ch t. Ma tr n c c vi A = (aij ) có d ng ai,i+1 = λi ai,i−1 = µi , ai = λi + µi , aij = 0 n u |i − j | > 1
1.3. Quá trình Markov 47 t c là   −λ0 λ0 0 0 0...    µ1 −(λ1 + µ1 ) 0 0..  λ1   A= 0 −(λ2 + µ2 ) λ2 ...  µ2     . . . . . . . . . Phương trình thu n (1.14) trong trư ng h p này có d ng Pij (t) = Pi,j −1 (t)λj −1 + Pi,i+1 (t)µj +1 − (λj + µj )Pij (t) (1.22) Pi0 (t) = −λ0 Pi0 (t) + µ1 Pi1 (t). (1.23) Gi s quá trình sinh và ch t có phân b gi i h n π = (πi ). T đ nh lý 1.26 ta có λ0 π0 = µ 1 π1 (λk + µk )πk = λk−1 πk−1 + µk+1 πk+1 Đ t ak = µk πk − λk−1 πk−1 . T phương trình trên suy ra ak = ak+1 . Vì a1 = µ1 π1 − λ0 π0 = 0 nên suy ra ak = 0 ∀k hay µk πk = λk−1 πk−1 ∀k = 1, 2, ... (1.24) λ k −1 ⇒ πk = π k −1 (1.25) µk λk−1 λk−2 ...λ0 ⇒ πk = π0 . (1.26) µk µk−1 ...µ1 Vì πk = 1 nên t (1.24) suy ra k ∞ λk−1 λk−2 ...λ0 1 = π0 + π0 . µk µk−1 ...µ1 k =1 V y đi u ki n c n đ có phân b gi i h n là chu i ∞ λk−1 λk−2 ...λ0 (1.27) µk µk−1 ...µ1 k =1 h i t . Ngư c l i có th ch ng minh đư c đi u ki n chu i (1.27) h i t cũng là đi u ki n đ đ quá trình có phân b gi i h n.
48 Chương 1. Quá trình Markov Ta xét m t s ví d . Ví d 1.20. (M t mô hình đơn gi n trong lý thuy t x p hàng) Gi s c a hàng d ch v A ch có m t ngư i ph c v . Khách đ n x p hàng đ i đ n lư t mình đư c ph c v và c a hàng ch ph c v t ng khách m t. Khi c a hàng đang ph c khách thì các khách m i có th đ n và x p hàng ch . Khách đư c ph c v xong thì l p t c r i kh i c a hàng. Gi s xác su t đ trong kho ng th i gian (t, t + h) có m t khách m i vào hàng là λh + o(h) và cũng gi s r ng n u t i th i đi m t khách đang đư c ph c v thì xác su t đ s ph c v hoàn t t trong kho ng th i gian (t, t + h) là µh + o(h). G i Xt là s khách có m t t i c a hàng t i th i đi m t (t c là s khách đang x p hàng ch ph c v c ng v i khách đang đư c ph c v t i th i đi m t). D th y đây là m t quá trình sinh và ch t v i cưòng đ sinh và cưòng đ ch t đ u là h ng s λi = λ, µi = µ. Khi đó chu i (1.27) tr thành chu i ∞ λ ( )k . µ k =1 V y: Quá trình có phân b gi i h n (và đây cũng là phân b d ng) khi và ch khi λ < µ . Khi đó ta có λ λ ( )k . πk = 1− µ µ T s r = λ g i là cư ng đ gi i phóng hàng. N u r < 1 thì khi t khá l n, s µ khách có m t c a hàng Xt là m t ĐLNN có phân b hình h c P (Xt = k ) = (1 − r)rk . 1 Suy ra s khách có m t trung bình là EXt = 1−r . Trong m t thái c c khác, ta gi s c a hàng có r t nhi u nhân viên ph c v sao cho b t c ngư i khách nào đ n cũng đư c ph c v ngay. G i Xt là s khách có m t t i c a hàng t i th i đi m t (t c là s khách đang đư c ph c v t i th i đi m t). Ta có Pi,i+1 (h) = P {Xt+h = i + 1|Xt = i} = λh + o(h),
1.3. Quá trình Markov 49 Pi,i−1 (h) = P (có đúng m t khách trong i khách đư c ph c v xong) i [µh + o(h)][1 − µh + o(h)]i−1 = 1 = iµh + o(h). V y Xt là quá trình sinh và ch t v i λi = λ, µi = iµ. Khi đó công th c (1.24) cho ta 1λ πk = ( ) k π0 k! µ và chu i (1.27) tr thành chu i ∞ 1 λk ( ) = eλ/µ − 1. k! µ k =1 T đi u ki n ∞ πk = π0eλ/µ 1= k =0 rút ra rk πk = e−r . k! Như v y khi t đ l n Xt có phân b Poisson v i tham s r = λ . Giá tr trung µ bình c a Xt khi t đ l n là r, nó chính b ng t s gi a th i gian ph c v trung bình 1/µ v i kho ng th i gian trung bình xu t hi n m t khách m i 1/λ. M t k t lu n khá phù h p v i th c t !. Ví d 1.21. (Quá trình sinh thu n tuý) N u quá trình sinh và ch t mà không x y ra s ch t thì ta g i là quá trình sinh thu n tuý. Như v y đ i v i quá trình sinh thu n tuý ta có µj = 0 ∀j ≥ 1 và Pij (t) = 0 n u j < i.
50 Chương 1. Quá trình Markov Phương trình thu n (1.22) tr thành Pij (t) = λj −1 Pi,j −1 − λj Pij (t) (1.28) Pii (t) = −λi Pii (t). (1.29) Vì Pii (0) = 1 ta suy ra Pii (t) = e−λi t . (1.30) Đ gi i phương trình vi phân (1.28) ta có b d sau: B đ 1.5. Phương trình vi phân f (t) = −λf (t) + g (t) (1.31) có nghi m là t f (t) = f (0)e−λt + e−λ(t−s) g (s)ds. 0 Th t v y nhân hai v c a (1.36) v i eλt ta đư c eλtf (s) = eλsg (s). L y tích phân hai v t 0 t i t ta đư c t eλtf (t) − f (0) = e−λs g (s)ds. 0 −λt Nhân hai v v i e ta có k t lu n c a b đ . Vì Pij (0) = 0 i = j nên t b đ và phương trình (1.28) ta có t e−λj (t−s) Pi,j −1 (s)ds. Pij (t) = λj −1 (1.32) 0 Ta có th s d ng (1.30) và (1.32) như m t công th c truy h i đ tìm l n lư t Pij (t) v i j = i + 1, i + 2, .... Ch ng h n ta có t e−λi+1 (t−s) e−λis ds. Pi,i+1 (t) = λi 0 Suy ra   λi (e−λi t − e−λi+1 t n u λi+1 = λi λi+1 −λi Pi,i+1 (t) = (1.33) λi te−λit n u λi+1 = λi .
1.3. Quá trình Markov 51 Ví d 1.22. (Quá trình sinh tuy n tính) Xét s tăng trư ng cá th c a m t qu n th nào đó. Gi s r ng m i cá th c a qu n th đ c l p v i nhau trong kho ng th i gian (t, t + h) có xác su t sinh thêm m t cá th m i là λh + o(h) và xác su t đ không sinh thêm cá th nào trong kho ng th i gian (t, t + h) là 1 − λh + o(h). Go Xt là s lư ng cá th th i đi m t. Xt là m t quá trình sinh thu n tuý và Pii (h) = P {Xt+h = i|Xt = i} = [1 − λh + o(h)]i = 1 − λih + o(h), Pi,i+1 (h) = P {Xt+h = i + 1|Xt = i} i [λh + o(h)][1 − λh + o(h)]i−1 = 1 = iλh + o(h). Như v y cư ng đ sinh là λi = λi. T (1.33) ta có Pi,i+1 (t) = ie−iλt(1 − e−λt). Đ tính Pi,i+2 (t) ta đ t j = i + 2 trong (1.32) và thu đư c t e−(i+2)λ(t−s)e−iλs (1 − e−λs )ds Pi.i+2 (t) = (i + 1)iλ 0 t = (i + 1)iλe−(i+2)λt e2λi(1 − e−λs )ds 0 t = (i + 1)iλe−(i+2)λt eλt(eλs − 1)ds 0 (e − 1)2 λt = (i + 1)iλe−(i+2)λt 2λ i + 1 −iλt e (1 − e−λt )2. 2
52 Chương 1. Quá trình Markov Ti p t c như v y áp d ng công th c truy h i (1.32) và b ng quy n p ta thu đư c i + k − 1 −iλt (1 − e−λt)k . Pi,i+k (t) = e k Như v y s gia tăng dân s Xs+t − Xs trong kho ng th i gian t có phân b nh th c âm v i các tham s p = e−λt và r = i, đó i = Xs . Thành th E [Xs+t − Xs |Xs = i] = ieλt(1 − e−λt). N u t i th i đi m ban đ u s = 0 qu n th có s lư ng i cá th thì t i th i đi m t s cá th trung bình s là E [Xt ] = E [Xt − X0 ] + i = ieλt. Quá trình sinh tuy n tính này đôi khi còn đư c g i là quá trình Yule, do nhà toán sinh ngư i Anh Yule đưa ra năm 1924. Ví d 1.23. (Quá trình Poisson.) Xét quá trình sinh thu n tuý Xt v i cư ng đ sinh là h ng s λi = λ , i = 0, 1, ... Khi đó công th c (1.32) tr thành t e−λ(t−s) Pi,j −1 (s)ds. Pij (t) = λ (1.34) 0 T công th c (1.33) ta thu đư c Pi,i+1 (t) = λte−λt . Đ tính Pi,i+2 (t) ta đ t j = i + 2 trong (1.34) và thu đư c t e−λ(t−s) e−λs ds Pi,i+2 (t) = λ 0 t (λ)2 −λt = λ2 e−λt sds = e. 2 0
1.3. Quá trình Markov 53 Ti p t c như v y áp d ng công th c truy h i (1.34) và b ng quy n p ta thu đư c (λt)k −λt Pi,i+k (t) = e. k! Như v y s gia tăng dân s Xs+t − Xs trong kho ng th i gian t có phân b Poisson v i tham s λt. M t cách t ng quát ta s ch ng minh r ng v i 0 < s < t thì ĐLNN Xt − Xs s có phân b Poisson v i tham s λ(t − s). Th t v y ta có ∞ P (Xt − Xs = k ) = P (Xs = i)P (Xt = k + i|Xs = i) i=0 ∞ = P (Xs = i)Pi,i+k (t − s) i=0 ∞ (λ(t − s))k −λ(t−s) = P ( Xs = i ) e k! i=0 ∞ (λ(t − s))k −λ(t−s) = e P ( Xs = i ) k! i=0 (λ(t − s)k ) −λ(t−s) = e . k! Ti p theo ta ch ng minh r ng Xt là quá trình ng u nhiên có gia s đ c l p. Th t v y, v i 0 ≤ t1 < t2 < · · · < tn ta có P Xt2 − Xt1 = i1 , ..., Xtn − Xtn−1 = in−1 ∞ = P (Xt1 = i)P0i1 (t2 − t1)...P0in−1 (tn − tn−1 ) i=0 ∞ = P0i1 (t2 − t1)...P0in−1 (tn − tn−1 ) P (Xt1 = i) i=0 = P0i1 (t2 − t1)...P0in−1 (tn − tn−1 ) = P (Xt2 − Xt1 = i1)...P (Xtn − Xtn−1 = in−1 ). Thành th Xt2 − Xt1 , ..., Xtn − Xtn−1 là các ĐLNN đ c l p.
54 Chương 1. Quá trình Markov Quá trình Xt , t ≥ 0 đư c g i là quá trình Poisson v i cư ng đ λ > 0 n u nó tho mãn các đi u ki n sau 1. X0 = 0. 2. V i 0 ≤ s < t thì ĐLNN Xt − Xs s có phân b Poisson v i tham s λ(t − s). 3. Xt là quá trình ng u nhiên có gia s đ c l p. Như v y ta đã ch ng minh r ng quá trình sinh thu n tuý v i cư ng đ sinh là h ng s λ chính là m t quá trình Poisson v i cư ng đ λ > 0 . Quá trình Poisson có r t nhi u ng d ng trong th c t . Nó dùng đ mô t s l n xu t hi n c a m t s ki n ng u nhiên nào đó trong kho ng th i gian t, ch ng h n s l n g i đ n t ng đài, s khách hàng đ n m t c a hàng nào đó, s l n h ng hóc c a m t đư ng dây,... 1.3.3 Trư ng h p t ng quát M t vài khái ni m cơ b n v quá trình ng u nhiên. Xét quá trình Markov v i không gian tr ng thái E b t kỳ. Cho (E, A) là m t không gian đo. Quá trình ng u nhiên Xt đư c g i là quá trình Markov n u P (Xt+s ∈ A|F≤t) = P (Xt+s ∈ A|Ft). Nghĩa là : N u ta bi t tr ng thái c a h t i th i đi m hi n t i t thì m i thông tin v hành vi c a h trong quá kh không có nh hư ng đ n s bi n di n trong tương lai c a h . Nói cách khác: Quá kh và tương lai đ c l p v i nhau khi bi t hi n t i. Ký hi u P (s, x, t, A) = P (Xt ∈ A|Xs = x) P (s, x, t, A) là xác su t đ h t i th i đi m s đang tr ng thái x sang th i đi m t rơi vào t p A. Ta g i P (s, x, t, A) là xác su t chuy n. H các xác su t chuy n có các tính ch t sau:
1.3. Quá trình Markov 55 Đ nh lý 1.27. 1. V i m i s ≤ t, x ∈ E P (s, x, t, .) là m t đ đo xác su t trên E 2. V i m i s ≤ t, A ∈ A hàm P (s, ., t, A) là m t hàm đo đư c trên E 3. ( Phương trình C-K (Chapman- Kolmogorov) ) P (s, x, t, A) = P (s, x, u, dy )P (u, y, t, A). E Quá trình Markov Xt đư c g i là thu n nh t n u xác su t chuy n P (s, x, t, A) ch ph thu c vào hi u s t − s nghĩa là P (s + u, x, t + u, A) = P (s, x, t, A) ∀u Khi đó P (s, x, t, A) có d ng P (s, x, t, A) = P (t − s, x, A) đó P (t, x, A) = P (Xs+t ∈ A|Xs = x) là xác su t đ h t i th i đi m s tr ng thái x sau m t kho ng th i gian t ( t i th i đi m t + s) rơi vào A. Phương trình Chapman- Kolmogorov khi y tr thành P (t + s, x, A) = P (t, x, dy )P (s, y, A). E Trong giáo trình này ta ch xét quá trình Markov thu n nh t. Trong trư ng h p đ đo P (t, x, .) có m t đ f (t, x, u) thì phương trình C-K tương đương v i f (t + s, x, z ) = f (t, x, y )f (s, y, z )dy. E Ngư c l i cho trư c m t h các hàm P (t, x, A) tho mãn các đi u ki n nêu trong đ nh lý (1.27). V i m i đ đo xác su t µ trên (E, A) ta xác đ nh h
56 Chương 1. Quá trình Markov các phân b h u h n chi u (µt1 ,...,tn ) như sau µt1 ,...,tn (A1, ..., An) = ... µ(dx)P (t1, x, dy1 )P (t2 − t1, y1 , dy2)... yn ∈An y1 ∈A1 x∈E P (tn − tn−1 , yn−1 , dyn ). S d ng các tính ch t c a h xác su t chuy n ta ch ng minh đư c h các phân b xác su t này tho mãn đi u ki n tương thích Kolmogrov. Thành th t n t i m t quá trình ng u nhiên (Xt ) sao cho: • Phân b c a X0 ( phân b ban đ u) là µ. • V i m i 0 ≤ t1 < ... < tn phân b đ ng th i c a (Xt1 , ..., Xtn ) là µt1 ,...,tn . Hơn n a có th ch ng minh r ng Xt là m t quá trình Markov thu n nh t nh n P (t, x, A) làm xác su t chuy n. Ví d 1.24. (Chuy n đ ng Brown hay quá trình Wiener.) Xét hàm f (t, x, y ) cho b i công th c 1 − (u−x)2 f (t, x, u) = √ e 2t 2πt và P (t, x, .) là đ đo xác su t trên R nh n f (t, x, .) làm hàm m t đ P (t, x, A) = f (t, x, du). A Khi đó ta có th ch ng minh r ng h P (t, x, A) tho mãn các đi u ki n c a đ nh lý (1.27). Th t v y, g i φt (u) là hàm m t đ c a N (0, t) thì như ta bi t φt+s = φt ∗ φs hay φ t +s ( u ) = φs (v )φt(u − v )dv. Đ t u = x − z, v = y − z → dv = dy suy ra φ t +s ( x − z ) = φs (y − z )φt (x − y )dy
1.3. Quá trình Markov 57 hay f (t + s, x, z ) = f (t, x, y )f (s, y, z )dy. Do đó t n t i quá trình Markov v i h P (t, x, A) là h xác su t chuy n và phân b ban đ u µ = δ0. Quá trình Markov này đư c g i là chuy n đ ng Brown hay quá trình Wiener và đư c ký hi u là (Wt ). Các phân tích sâu s c hơn n a ch ng t (Wt ) có các tính ch t sau 1. W0 = 0 . 2. V i m i 0 ≤ s < t thì Wt − Ws là ĐLNN có phân b chu n v i kỳ v ng 0 và phương sai là t − s . 3. W (t) là m t quá trình gia s đ c l p t c là v i m i 0 ≤ t1 < t2 < ... < tn các ĐLNN Wt2 − Wt1 , Wt3 − Wt2 , ..., Wtn − Wtn−1 là đ c l p. 4. Wt có qu đ o liên t c. Bây gi chúng ta s trình bày phương pháp xây d ng các hàm xác su t chuy n. Như đã bi t m i đ đo µ trên R ta cho ng v i phi m hàm T trên Cb (R) b i Tµ ξ = ξ (u)dµ(u). R Tương ng này là m t-m t. N u bi t T ξ v i m i ξ thì có th xác đ nh đư c µ.Ta đ nh nghĩa φ(t, x) = ξ (u)P (t, x, du). (1.35) R N u v i m i ξ ta tìm đư c hàm φ(t, x) tương ng thì coi như tìm đư c P (t, x, .). Ta có k t qu sau: Đ nh lý 1.28. Ký hi u B (x, ) = [x − , x + ], B c(x, ) = R \ B (x, ). Gi
58 Chương 1. Quá trình Markov s r ng lim t−1 P (t.x, B c(x, )) = 0 ∀x, t→0+ lim t−1 (u − x)P (t, x, du) = a(x) t→0+ B (x, ) lim t−1 (u − x)2 P (t, x, du) = b(x) t→0+ B (x, ) Khi đó hàm φ(t, x) xác đ nh b i (1.35) tho mãn phương trình vi phân sau ∂φ b(x) ∂ 2φ ∂φ = a(x) + (1.36) 2 ∂x2 ∂t ∂x v i đi u ki n ban đ u lim φ(t, x) = ξ (x). (1.37) t→0+ Ngư c l i cho trư c hai hàm a(x), b(x). Khi đó v i m t s gi thi t v hai hàm a(x), b(x) v i m i hàm liên t c b ch n ξ phương trình (1.36) v i đi u ki n ban đ u (1.37) s có nghi m duy nh t φ(t, x) và do đó xác đ nh cho ta đ đo P (t, x, .). H đ đo này l p thành m t h xác su t chuy n. Hơn n a quá trình Markov tương ng v i h xác su t chuy n này có qu đ o liên t c. 1.4 Bài t p 1. Cho xích Markov Xn , n = 0, 1, 2, ... v i không gian tr ng thái E = {0, 1, 2} và ma tr n xác su t chuy n   0.1 0, 2 0, 7   P =  0.9 0, 0 0, 1 . 0, 1 0, 8 0.1 Bi t phân b ban đ u là p0 = 0, 3, p1 = 0, 4, p2 = 0, 3. Tính P (X0 = 0, X1 = 1, X2 = 2).
1.4. Bài t p 59 2. Ngư i ta truy n m t b c đi n g m các tín hi u 0, 1 thông qua kênh có nhi u tr m và m i tr m nh n đúng tín hi u v i xác su t a. Ký hi u X0 là tín hi u truy n đi và Xn là tín hi u nh n đư c tr m n. Bi t r ng (Xn ) l p thành xích Markov v i ma tr n xác su t chuy n a 1−a P= . 1−a a Gi s tín hi u truy n đi là tín hi u 0. i) Tính xác su t đ không nh n sai tín hi u cho t i tr m n = 2. ii) Tính xác su t đ nh n đúng tín hi u c a tr m n = 2. ii) Tính xác su t đ nh n đúng tín hi u c a tr m n = 5. 3. Cho xích Markov Xn , n = 0, 1, 2, ... v i không gian tr ng thái E = 0, 1, 2 và ma tr n xác su t chuy n   0.1 0, 2 0, 7   P =  0.2 0, 2 0, 6 0, 6 0, 1 0.3 Tính P 2 , P (X3 = 1|X1 = 0) và P (X3 = 1|X0 = 0). 4. Cho xích Markov Xn , n = 0, 1, 2, ... v i không gian tr ng thái E = 0, 1, 2 và ma tr n xác su t chuy n   0.0 0, 5 0, 5   P =  0.5 0, 0 0, 5 0, 5 0, 5 0.0 Tính P (X2 = 1|X0 = 0) và P (X3 = 0|X0 = 0). 5. Gi s Xn ch t lư ng c a chi ti t t i công đo n th n c a dây chuy n s n xu t v i Xn = 0 có nghĩa là t t còn Xn = 1 có nghĩa là x u. Bi t r ng (Xn )là xích Markov v i ma tr n xác su t chuy n 0.99 0.01 P= 0.12 0, 88
60 Chương 1. Quá trình Markov Tính P (X4 = 1|X1 = 1). 6. Cho xích Markov Xn , n = 0, 1, 2, ... v i không gian tr ng thái E = 1, 2, 3 và ma tr n xác su t chuy n   0.1 0, 5 0, 4   P =  0.6 0, 2 0, 2 0, 3 0, 4 0.3 Phân b ban đ u là (0, 7; 0, 2; 0, 1). i) L p b ng phân b xác su t c a X2 . ii) Tính P (X0 = 1, X1 = 3, X2 = 3, X3 = 2). iii) Tìm phân b d ng. 7. Cho xích Markov Xn , n = 0, 1, 2, ... v i không gian tr ng thái E = {1, 2, 3} và ma tr n xác su t chuy n   3/7 3/7 1/7   P = 1/11 2/11 8/11  1/11 4/11 6/11 Gi s P (X0 = 1) = 1. Đ t  1 n u Xn = 1 Yn = 2 n u Xn = 1 Ch ng minh r ng (Yn ) là m t xích Markov. Tìm ma tr n xác su t chuy n. 8. Cho (rn ) là dãy Rademakher P (rn = 1) = p, P (rn = −1) = q = 1 − p. Trong các dãy ĐLNN sau đây dãy nào l p thành xích Markov (a) Xn = rn rn+1 (b) Xn = r1r2 ...rn
1.4. Bài t p 61 (c) Xn = Φ(rn , rn+1 ) trong đó Φ(−1, −1) = 1, Φ(−1, 1) = 2, Φ(1, −1) = 3, Φ(1, 1) = 4 Đ i v i dãy l p thành xích Markov hãy tìm ma tr n xác su t chuy n. 9. M i ngư i dân c a th tr n N có m t trong ba ngh A, B, C . Con cái c a h n i ti p ngh c a cha mình v i xác su t tương ng cho các ngh A, B, C là 3/5; 2/3; 1/4. N u không theo ngh c a cha thì chúng ch n m t trong hai ngh còn l i v i xác su t như nhau. Gi s th h hi n t i 20% theo ngh A 30% theo ngh B và 50% theo ngh C . Hãy tìm (a) Tìm phân b ngh nghi p th h ti p theo. (b) Tìm phân b gi i h n theo ngh nghi p c a dân cư th tr n trong tương lai xa xôi. 10. Cho xích Markov (Xn ), n = 0, 1, 2, ... v i không gian tr ng thái E = {1, 2, 3} và ma tr n xác su t chuy n   0 0 1   P = 1 0 0 1/2 1/2 0 (a) Ch ng minh r ng xích t i gi n. (b) Tìm chu kỳ c a xích. (c) Tìm phân b d ng. 11. Cho xích Markov (Xn ), n = 0, 1, 2, ... v i không gian tr ng thái E = {1, 2, 3, 4, 5} và ma tr n xác su t chuy n   0 1/3 2/3 0 0   0 0 0 1/4 3/4   P = 0 0 0 1/4 3/4     1 0 0 0 0 10 0 0 0