Tóm tắt luận án Tiến sĩ Toán học: Ứng dụng mô hình xích Markov và chuỗi thời gian mờ trong dự báo

Chia sẻ: Lê Thị Hồng Nhung | Ngày: | Loại File: PDF | Số trang:26

Thêm vào BST

Báo xấu

48
lượt xem 2
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Luận án với mục tiêu tập trung nghiên cứu hai vấn đề chính. Thứ nhất là mô hình hóa chuỗi thời gian bởi những trạng thái mà trong đó mỗi trạng thái là một phân phối xác xuất tất định (phân phối chuẩn). Dựa vào kết quả thực nghiệm để đánh giá sự phù hợp của mô hình. Thứ hai, kết hợp xích Markov và chuỗi thời gian mờ thành mô hình mới nhằm cải thiện độ chính xác của dự báo. Mở rộng mô hình với xích Markov bậc cao nhằm tương thích với những dữ liệu có tính chất thời vụ.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Tóm tắt luận án Tiến sĩ Toán học: Ứng dụng mô hình xích Markov và chuỗi thời gian mờ trong dự báo

BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ ------------------------------- ĐÀO XUÂN KỲ ỨNG DỤNG MÔ HÌNH XÍCH MARKOV VÀ CHUỖI THỜI GIAN MỜ TRONG DỰ BÁO Chuyên ngành: Cơ sở Toán học cho Tin học Mã số: 62.46.01.10 TÓM TẮT LUẬN ÁN TIẾN SĨ TOÁN HỌC Hà Nội, 2017
Danh mục các công trình của tác giả [1] Dao Xuan Ky, Luc Tri Tuyen, Phạm Quoc Vuong, A combination of higher order markov model and fuzzy time series for stock market forecasting, Hội thảo lần thứ 19: Một số vấn đề chọn lọc của Công nghệ thông tin và truyền thông, Hà Nội, pages 1–6, 2016. [2] Đào Xuân Kỳ, Lục Trí Tuyen, Phạm Quốc Vương, Thạch Thị Ninh, Mô hình markov-chuỗi thời gian mờ trong dự báo chứng khoán, Hội thảo lần thứ 18: Một số vấn đề chọn lọc của Công nghệ thông tin và truyền thông, TP HCM, pages 119–124, 2015. [3] Dao Xuan Ky, Luc Tri Tuyen, A markov-fuzzy combination model for stock market forecasting, International Journal of Applied athematics and StatisticsTM, 55(3):109–121, 2016. [4] Dao Xuan Ky, Luc Tri Tuyen, A Higher order Markov model for time series forecasting, International Journal of Applied athematics and StatisticsTM, vol 57(3), 2018. [5] Lục Trí Tuyên, Nguyễn Văn Hùng, Thạch Thị Ninh, Phạm Quốc Vương, Nguyễn Minh Đức, Đào Xuân Kỳ, A normal-hidden markov model model in forecasting stock index, Journal of Computer Science and Cybernetics, 28(3):206–216, 2012.
MỞ ĐẦU Bài toán dự báo chuỗi thời gian với đối tượng dự báo là biến ngẫu nhiên X thay đổi theo thời gian nhằm đạt được độ chính xác dự báo cao luôn là thách thức đối với các nhà khoa học không chỉ trong nước mà còn đối với các nhà khoa học trên thế giới. Bởi lẽ, giá trị của biến ngẫu nhiên này tại thời điểm t sinh ra một cách ngẫu nhiên và việc tìm một phân phối xác xuất phù hợp cho nó không phải lúc nào cũng dễ dàng. Muốn làm được điều này dữ liệu lịch sử cần được thu thập và phân tích, từ đó tìm ra phân phối ướm khít với nó. Tuy nhiên, một phân phối tìm được có thể phù hợp với dữ liệu ở một giai đoạn này, nhưng có thể sai lệch lớn so với giai đoạn khác. Do đó, việc sử dụng một phân phối ổn định cho đối tượng dự đoán là không phù hợp với bài toán dự báo chuỗi thời gian. Chính vì lý do trên, để xây dựng mô hình dự báo chuỗi thời gian cần thiết phải có sự liên hệ, cập nhật dữ liệu tương lai với dữ liệu lịch sử, xây dựng mô hình phụ thuộc giữa giá trị dữ liệu có được tại thời điểm t với giá trị tại các thời điểm trước đó t  1, t  2... . Nếu xây dựng quan hệ X t  1 X t 1   2 X t 2  p X t  p   t  1 t 1  q t q cho ta mô hình hồi quy tuyến tính ARIMA[15]. Mô hình này đã được áp dụng rộng rãi bởi cơ sở lý thuyết dễ hiểu và dễ thực hành, hơn nữa mô hình này đã được tích hợp vào hầu hết các phần mềm thống kê hiện nay như Eviews, SPSS, Matlab, R,…. Tuy nhiên, nhiều chuỗi thời gian thực tế cho thấy nó không biến đổi tuyến tính. Do đó mô hình tuyến tính như ARIMA không phù hợp. R. Parrelli đã chỉ ra trong [28], các chuỗi thời gian về độ dao động của chỉ số kinh tế hay tài chính thường có quan hệ phi tuyến. Mô hình phổ biến cho dự báo chuỗi thời gian phi tuyến phải kể đến mô hình GARCH [25,28]. Hạn chế của mô hình GARCH lại nằm ở việc phải giả sử dữ liệu dao động tuân theo một phân phối cố định (thường là phân phối chuẩn) trong khi dữ liệu thực tế cho thấy phân phối thống kê lại là phân phối nặng đuôi [39] (trong khi phân phối chuẩn có độ lệch cân đối). Một lựa chọn khác cho dự báo chuỗi thời gian được phát triển gần đây hơn là mô hình mạng thần kinh nhân tạo (ANN). Các mô hình ANN không dựa trên phân phối tất định cho dữ liệu mà nó hoạt động tương tự bộ não con người, cố gắng tìm ra quy luật và đường đi của dữ liệu đào tạo, kiểm tra thực nghiệm và tổng quát hóa kết quả. Với cách hoạt động của nó, các mô hình ANN thường sử dụng cho mục đích phân lớp dữ liệu [23]. Gần đây hơn, lý thuyết mới về học máy thống kê đang được nhiều nhà khoa học chú ý là phương pháp vector học máy (SVM) cho bài toán phân lớp và dự báo [36,11,31]. SVM được áp dụng rộng rãi hơn trong nhiều lĩnh vực như xấp xỉ hàm, ước lượng hồi quy và dự báo [11,31]. Tuy nhiên, hạn chế lớn nhất của SVM là khi tập đào tạo lớn, nó đòi hỏi lượng tính toán khổng lồ cũng như độ phức tạp của bài toán hồi quy tuyến tính trong đó. Để khắc phục các hạn chế và phát huy các điểm mạnh của các phương pháp đã có, mộ xu thế nghiên cứu đang trở nên thịnh hành gần đây là hương tiếp cận kết hợp (CA), nghĩa là kết hợp một số phương pháp không giống nhau để tăng độ chính xác của dự báo. Rất nhiều nghiên cứu đã được thực hiện và theo hướng này và rất nhiều các mô hình kết hợp mới đã được công bố [43,5,6]. Một số phương pháp trong đó sử dụng xích Markov (MC) cũng như mô hình Markov ẩn (HMM). Refiul Hassan [19] đã phát triển một mô hình hợp nhất bằng cách kết hợp một HMM với một ANN và GA, để tạo ra các dự báo trong một ngày-trước của giá cổ phiếu. Mô hình này đã cố gắng để xác định các mẫu dữ liệu tương tự từ các dữ liệu lịch sử. Sau đó ANN và GA đã được sử dụng để nội suy các giá trị lân cận của mô hình dữ liệu được xác định. Yang [41] đã kết hợp mô hình HMM với kỹ thuật phân cụm đồng bộ nhằm tăng độ chính xác cho mô hình dự báo. Mô hình Markov với trọng số đã được Peng [27] áp dụng trong dự báo và phân tích tỷ lệ truyền nhiễm bệnh ở tỉnh Giang Tô, Trung Quốc. Các mô hình kết hợp này đã mang lại những kết quả có ý nghĩa trong thực tiễn cũng nhưng tăng đáng kể độ chính xác trong dự báo so với các mô hình truyền thống [27,41,19]. Các mô hình trên
tuy đã có những cải thiện đáng kể về độ chính xác trong dự báo nhưng vẫn gặp khó khăn đối với những dữ liệu mờ (có những phân tử mà không biết chắc). Để đối phó với những dữ liệu mờ, một hướng nghiên cứu mới trong dự báo chuỗi thời gian được mở ra gần đây là sử dụng mô hình chuỗi thời gian mờ (FTS). Kết quả đầu tiên cần được kể đến trong việc áp dụng lý thuyết này là Song and Chissom [34]. Những nghiên cứu tập trung theo hướng cải thiện các mô hình chuỗi thời gian mờ và tìm cách áp dụng vào bài toán dự báo. Jilani et al. and Nan et al.kết hợp mô hình Heuristic với chuỗi thời gian mờ để nâng cao độ chính xác của mô hình [24]. Chen và Hwang mở rộng thêm các chuỗi thời gian mờ vào mô hình Binary [14] và sau đó Hwang and Yu phát triển thành mô hình N bậc để dự báo chỉ số chứng khoán [21]. Trong một bài báo gần đây [35], BaiQing Sun et al. đã mở rộng mô hình mờ cho thời gian mờ đa cấp để dự báo giá tương lai của thị trường chứng khoán. Qisen Cai et al. [10] đã kết hợp mô hình dự báo chuỗi thời gian mờ với tối ưu hóa đàn kiến và tự động hồi quy để có được một kết quả tốt hơn. Ở Việt Nam, mô hình chuỗi thời gian mờ gần đây cũng đã được áp dụng trong một số lĩnh vực cụ thể. Có thể kể đến nghiên cứu của Nguyễn Duy Hiếu và cộng sự [2] trong phân tích ngữ nghĩa. Ngoài ra, các công trình của tác giả Nguyễn Công Điều [3,4] đã kết hợp mô hình chuỗi thời gian mờ với một số kỹ thuật điều chỉnh tham số trong thuật toán hay những đặc trưng riêng của dữ liệu để làm tăng độ chính xác của dự báo. Nghiên cứu của tác giả Nguyễn Cát Hồ [1] đã ứng dụng đại số gia tử vào dự báo chuỗi thời gian mờ cho thấy độ chính xác dự báo cao hơn một số mô hình hiện có. Cho đến nay, mặc dù đã có nhiều mô hình mới được xây dựng theo hướng kết hợp các mô hình sẵn có nhằm cải thiện độ chính xác của dự báo nhưng mặc dù mô hình rất phức tạp trong khi độ chính xác dự báo cải thiện không đáng kể. Do đó một số hướng có thể thực hiện nhằm đơn giản hóa mô hình và đảm bảo hoặc tăng độ chính xác dự báo có thể được phát triển. Mục tiêu của luận án tập trung nghiên cứu hai vấn đề chính. Thứ nhất là mô hình hóa chuỗi thời gian bởi những trạng thái mà trong đó mỗi trạng thái là một phân phối xác xuất tất định (phân phối chuẩn). Dựa vào kết quả thực nghiệm để đánh giá sự phù hợp của mô hình. Thứ hai, kết hợp xích Markov và chuỗi thời gian mờ thành mô hình mới nhằm cải thiện độ chính xác của dự báo. Hơn nữa, mở rộng mô hình với xích Markov bậc cao nhằm tương thích với những dữ liệu có tính chất thời vụ. Luận án gồm 3 chương. Chương I. trình bày nghiên cứu tổng quan xích Markov và mô hình Marko ẩn cũng như chuỗi thời gian mờ. Chương II. trình bày mô hình hóa chuỗi thời gian thành những trạng thái trong đó: (1) mỗi trạng thái là một phân phối chuẩn với trung bình i , phương sai  i2 , i  1, 2,..., m với m là số trạng thái; (2) các trạng thái theo thời gian tuân theo một xích Markov. Sau đó, mô hình được thực nghiệm trên dữ liệu chỉ số VN-Index để đánh giá hiệu quả dự báo của mô hình. Cuối chương luận văn phân tích những hạn chế và sự không phù hợp của mô hình dự báo với phân phối xác suất tất định làm động cơ cho mô hình kết hợp đề xuất ở Chương 3. Chương 3. trình bày mô hình kết hợp xích Markov và chuỗi thời gian mờ trong dự báo chuỗi thời gian. Chương này cũng trình bày mô hình mở rộng cho xích Markov bậc cao với hai khái niệm xích Markov bậc cao cổ điển (CMC) và xích Markov bậc cao cải tiến (IMC). Mô hình sau đó lập trình trên ngôn ngữ R và thực nghiệm với các tập dữ liệu tương ứng chính xác với tập dữ liệu của các mô hình so sánh.
Chương 1. BÀI TOÁN ĐỀ XUẤT VÀ KIẾN THỨC TỔNG QUAN 1.1. Xích Markov 1.1.1. Các định nghĩa Ta xét một hệ thống kinh tế hoặc một hệ thống vật chất S với m trạng thái có thể, ký hiệu bởi tập I : I  1, 2,..., m. hệ thống S tiến hóa ngẫu nhiên trong thời gian rời rạc ( t  0,1, 2,..., n,... ), và đặt Cn là biến ngẫu nhiên tương ứng với trạng thái của hệ thống S ở thời điểm n (C n  I ) . Định nghĩa 1.1.1. Dãy biến ngẫu nhiên ( Cn , n  ) là một xích Markov nếu và chỉ nếu với tất cả c0 ,c1 ,...,cn  I : Pr (Cn  cn | C0  c0 , C1  c1 ,..., Cn1  cn1 )  Pr (Cn  cn | Cn1  cn1 ) (1.1.1) (với điều kiện xác suất này có nghĩa) Định nghĩa 1.1.2. Một xích Markov được gọi là thuần nhất nếu chỉ nếu xác suất trong (1.1.1) không phụ thuộc vào n và không thuần nhất trong các trường hợp còn lại. Hiện tại, ta chỉ xét trường hợp thuần nhất mà với nó ta viết: Pr (Cn  cn | Cn1  cn1 )   ij , và ta đưa ra ma trận Γ được định nghĩa: Γ   ij  . Để định nghĩa đầy đủ sự tiến triển của một xích Markov, cần thiết phải cố định một phân phối ban đầu cho trạng thái C0 , chẳng hạn, một véc tơ: p  ( p1 , p2 ,..., pm ), Vấn đề ở chương này ta chỉ dừng lại ở việc xem xét xích Markov thuần nhất mà được đặc trưng bởi cặp (p, Γ) . Định nghĩa 1.2.3. Một ma trận Markov Γ được gọi là chính quy nếu tồn tại một số nguyên dương k sao cho tất cả các phần tử của ma trận Γ( k ) là thực sự dương. 1.1.2. Phân loại trạng thái xích Markov Lấy i  I và đặt d (i) là ước chung lớn nhất của tập các số nguyên n sao cho  ii( n )  0. Định nghĩa 1.2.4. Nếu d (i)  1 , trạng thái i được gọi là tuần hoàn chu kỳ d (i) . Nếu d (i)  1, thì trạng thái i không tuần hoàn. Dễ thấy, nếu  ii  0 thì i là không tuần hoàn. Tuy nhiên, điều ngượi lại chưa chắc đúng. Định nghĩa 1.2.5. Một xích Markov mà tất cả các trạng thái của nó không tuần hoàn được gọi là xích Markov không tuần hoàn. Định nghĩa 1.2.6. Một trạng thái i được gọi là vươn tới trạng thái j (viết là i j ) nếu tồn tại số nguyên dương n sao cho  ijn  0. iCj nghĩa là i không vươn tới được j . Định nghĩa 1.2.7. Trạng thái i và j được gọi là liên thông nếu i j và j i , hoặc nếu i  j. Ta viết i j. Định nghĩa 1.2.8. Trạng thái i được gọi là cốt yếu nếu nó liên thông với mọi trạng thái mà nó vươn tới; trường hợp ngược lại gọi là không cốt yếu. Quan hệ xác định một quan hệ tương đương trên không gian trạng thái I dẫn tới một sự chia lớp trên I . Lớp tương đương chứa i được ký hiệu bởi Cl (i) . Định nghĩa 1.2.9. Xích Markov được gọi là không khai triển được nếu chỉ tồn tại duy nhất một lớp tương đương trên nó. Định nghĩa 1.2.10. Tập con E của không gian trạng thái I được gọi là đóng nếu:
 jE ij  1, với mọi i  E. Định nghĩa 1.2.11. Trạng thái i  I của xích Markov (Ct ) được gọi là hồi quy nếu tồn trại trạng thái j  I và n  sao cho  nji  0 . Ngược lại, i được gọi là trạng thái chuyển tiếp (dịch chuyển). 1.1.3. Ước lượng ma trận Markov Xét xích Markov (Ct ), t  1, 2,... và giả sử quan sát được n các trạng thái xảy ra c1 , c2 ,..., cn . Ký hiệu cn  c1 , c2 ,..., cn sinh bởi các biến ngẫu nhiên C n thì hàm hợp lý của ma trận xác xuất chuyển được cho bởi Pr (C n  c n )  Pr (C1  c1 ) Pr  Ct  ct | C t 1  c t 1  n t 2 n  Pr (C1  c1 ) Pr  Ct  ct | Ct 1  ct 1  t 2 n  Pr (C1  c1 )  ct 1ct t 2 Định nghĩa số lần chuyển nij  số lần mà trạng thái i chuyển tiếp theo sau là trạng thái j trong dãy C n , khi đó hàm hợp lý (likelihood) có dạng k k L( p)  Pr (C1  c1 )  ij ij n i 1 j 1 Ta cần tìm cực đại hàm hợp lý L( p) với các ẩn là  ij . Để giải quyết bài toán này đơn giản, trước tiên ta lấy logarit của L( p) để thành hàm tổng nhằm mục đích lấy đạo hàm dễ dàng. ( p)  log L( p)  log Pr (C1  c1 )   nij log  ij i, j m Do ràng buộc  ij  1 , nên với mỗi i,  i1  1    ij , lấy đạo hàm theo tham số j j 2  nij n   i1  ij  ij  i1 Cho đạo hàm bằng 0 đạt được tại  ij ta có nij ni1  ˆij ˆi1 vậy nij ˆij  ni1 ˆi1 đúng với mọi j  1 nên nij ˆij  m n j 1 ij 1.2. Mô hình Markov ẩn Một mô hình HMM bao gồm hai thành phần cơ bản: chuỗi X t , t  1,..., T gồm các quan sát nhìn thấy và Ct  i, t  1,.., T , i {1, 2,..., m} là các thành phần sinh ra từ các quan sát đó. Thực chất, mô hình HMM là một trường hợp đặc biệt của mô hình trộn phụ thuộc [16] và các Ct là các thành phần trộn.
1.2.1. Định nghĩa và ký hiệu Ký hiệu X(t ) và C( t ) biểu diễn các dữ liệu lịch sử từ thời điểm 1 đến thời điểm t , ta có thể tóm tắt mô hình đơn giản nhất của HMM như sau: Pr (Ct | C(t 1) )  Pr (Ct | Ct 1 ), t  2,3,..., T . Pr ( X t | X(t 1) , C (t ) )  Pr ( X t | Ct ), t  Bây giờ ta giới thiệu một số ký hiệu sử dụng trong nghiên cứu. Trong trường hợp quan sát rời rạc, ta định nghĩa pi  x   Pr  X t  x | Ct  i  . Đối với trường hợp liên tục, pi ( x) là hàm mật độ xác suất của X t nếu xích Markov nhận trạng thái i tại thời điểm t . Ta ký hiệu ma trận xác suất chuyển của một xích Markov thuần nhất là Γ với các thành phần của nó là  ij được xác định bởi  ij  Pr (Ct  j | Ct 1  i). Từ bây giờ, m phân phối pi ( x) được gọi là các phân phối trạng thái phụ thuộc của mô hình. 1.2.2. Likelihood và ước lượng cực đại likelihood Đối với các quan sát rời rạc X t , định nghĩa ui  t   Pr  Ct  i  với i  1, 2,..., T , ta có m Pr ( X t  x)   Pr (Ct  i) Pr ( X t  x | Ct  i ) i 1 m   ui (t ) pi ( x). i 1 (1.2.1) Để thuận tiện trong tính toán, công thức (1.2.1) có thể được viết lại dưới dạng ma trận sau:  p1 ( x) 0 0 1    Pr(Xt =x)=(u1 (t),...,u (m) (t))   0 0    0 pm ( x)    0 1  u(t)P( x)1. trong đó P(x) là ma trận đường chéo với phần tử thứ i trên đường chéo là pi ( x) . Mặt khác, theo tính chất của xích Markov thuần nhất, u(t)  u(1)Γt1 với u(1) là phân phối trạng thái ban đầu của xích Markov, thường được ký hiệu chung với phân phối dừng là δ . Và do vậy, ta có Pr ( X t  x)  u(1)Γt 1P( x)1. (1.2.2) Bây giờ gọi LT là hàm hợp lý (likelihood) của mô hình với T quan sát x1 , x2 ,..., xT thì LT  Pr (X(T)  x( T) ) . Xuất phát từ công thức xác suất đồng thời T T Pr ( X( T) , C( T) )  Pr (C1 ) Pr (Ck | Ck 1 ) Pr ( X k | Ck ), (1.2.3) k 1 k 1 ta lấy tổng trên tất cả các trạng thái có thể có của Ck , sau đó sử dụng kỹ thuật như trong công thức (1.2.2), ta được LT   P( x1 )ΓP( x2 )...ΓP( xT )1. Nếu phân phối ban đầu δ là phân phối dừng của xích Markov, thì LT   ΓP( x1 )ΓP( x2 )...ΓP( xT )1. Để có thể tính toán dễ dàng likelihood bằng thuật toán đồng thời giảm thiểu số phép toán mà máy tính cần thực hiện, ta định nghĩa vector α t với t  1,..., T bởi
t t   P( x1 )ΓP( x2 )...ΓP( xt )   P( x1 ) ΓP( xs ), (1.2.4) s 2 thì lập tức ta có LT  T 1, và t  t 1ΓP( xt ), t  2. (1.2.5) Từ đây, ta dễ dàng tính được LT bằng thuật toán hồi quy. Để tìm bộ tham số thỏa mãn LT lớn nhất, ta có thể thực hiện theo hai phương pháp: Uớc lượng trực tiếp cực trị hàm LT (MLE): Trước tiên, từ phương trình (1.2.5) ta cần tính toán logarit của LT một cách hiệu quả nhằm thuận lợi trong việc tìm cực đại dựa vào các xác suất lũy tiến α t . Với t  0,1,..., T, định nghĩa vector t  t / wt , trong đó wt  t (i)  t 1 , và Bt  P( xt ) i ta có w0   0 1   1  1; 0   ; wtt  wt 1t 1Bt ; LT   t 1  wT (T 1)  wT . T Khi đó LT  wT   ( wt / wt 1 ) . Từ (1.4.13) thấy rằng wt  wt 1  Bt 1 , dẫn đến t 1 T T log LT   log  wt / wt 1    log t 1Bt 1  . t 1 t 1 Thuật toán EM: Thuật toán này còn được gọi là thuật toán Baum-Welch [9] áp dụng cho xích Markov thuần nhất (không nhất thiết là Markov dừng). Thuật toán sử dụng các xác suất lũy tiến (FWP) và xác suất lũy lùi (BWP) để tính LT (tính từ 2 phía). Theo phương trình (1.2.4), các xác suất FWP đã được định nghĩa bởi t t   P( x1 )ΓP( x2 )...ΓP( xt )   P( x1 ) ΓP( xs ), (1.2.6) s 2 Bây giờ, các vector BWP β t được định nghĩa bởi  T  βt  P( xt 1 )P( xt  2 ) P( xT )1    P( xs )  1. (1.2.7)  s t 1  1.2.3. Phân phối dự báo Đối với các quan sát có giá trị rời rặc, phân phối dự báo Pr ( X nh  x | X ( n)  x( n) ) thực chất là một tỷ lệ của LT dựa vào xác suất điều kiện: Pr ( X (T )  x(T ) , X T  h  x) Pr ( X T  h  x | X (T )  x (T ) )  Pr ( X (T )  x (T ) )  P(x1 )B 2B 3 ...BT Γh P(x)1   P(x1 )B 2B 3 ...BT 1 T Γh P(x)1  . T 1 Bằng cách viết T  T / T 1 $, ta có Pr ( X T h  x | X (T )  x(T ) )  T h P(x)1. Phân phối dự báo từ đây có thể được viết như một phân phối xác suất trộn của các biến ngẫu nhiên phụ thuộc: m Pr ( X T  h  x | X (T )  x (T ) )   i (h) pi ( x). i 1 trong đó trọng số i (h) là thành phần thứ i của vector T  h .
1.2.4. Thuật toán Viterbi Mục tiêu của thuật toán Viterbi là đi tìm dãy trạng thái tốt nhất i1 , i2 ,..., iT tương ứng với dãy quan sát x1 , x2 ,..., xT mà làm cực đại hàm LT . Đặt 1i  Pr (C1  i, X1  x1 )  i pi ( x1 ), và với t  2,3,..., T ti  max c ,c ,...,c Pr (C (t 1)  c(t 1) , Ct  i, X (T )  x(T ) ). 1 2 t 1 Khi đó có thể thấy xác suất tj thỏa mãn quá trình đệ quy sau đối với t  2,3,..., T và   i  1,2,..., m: tj  max i (t 1,i ij ) p j ( xt ). Dãy trạng thái tốt nhất i1 , i2 ,..., iT do đó được xác định bằng hồi quy từ iT  argmax Ti và, i 1,..,m với t  T  1, T  2,...,1, thì it  argmax(ti i ,i ). t 1 i 1,..., m 1.2.5. Dự báo trạng thái Đối với dự báo trạng thái, chỉ cần sử dụng công thức Bayes trong xác suất cổ điển. Với i  1,2,..., m, Pr (CT h  i | X (T )  x(T ) )  αT Γh (, i) / LT  T h (, i) Lưu ý rằng, khi h  , n Γh tiến tới phân phối dừng của xích Markov. 1.3. Chuỗi thời gian mờ 1.3.1. Một số khái niệm Giả sử U là không gian nền. không gian nền này xác định một tập hợp các đối tượng cần nghiên cứu. Nếu A là một tập con rõ của U thì ta có thể xác định chính xác một hàm đặc trưng: ( ) { Định nghĩa 1.3.1. [34]: Giả sử U là không gian nền và U  {u1 , u2 ,..., un } . Tập mờ A trên không gian nền U được viết như sau: A=f A (u1 )/u1 +f A (u2 )/u2 +...+f A (un )/un f A là hàm thuộc của tập mờ A và f A : U  [0;1], f A (ui ) là độ thuộc của ui vào tập A . Định nghĩa 1.3.2. [34]: Cho Y (t )(t  0,1, 2,...) là tập nền, là một tập con của R1 . Giả sử fi (t )(i  0,1, 2,...) được xác định trên Y  t  , và F (t ) chứa các tập f1 (t ), f 2 (t ),..., khi đó F (t ) được gọi là chuỗi thời gian mờ xác định trên tập Y  t  . Định nghĩa 1.3.3. [34]: Giả sử rằng F (t ) chỉ được suy ra từ F (t  1) , kí hiệu là F (t  1)  F (t ) , mối quan hệ này có thể được diễn đạt như sau F (t )  F (t 1)oR(t , t 1) , trong đó F (t )  F (t  1)oR(t , t 1) được gọi là mô hình bậc một của F (t ), R(t, t 1) là mối quan hệ mờ giữa F (t 1) và F (t ) , và "o" là toán tử thành phần Max–Min . Định nghĩa 1.3.4. [34]: Cho R(t , t  1) là mô hình bậc một của F (t ) . Nếu mọi t , R(t , t 1)  R(t 1, t  2) , thì F (t ) được gọi là chuỗi thời gian mờ dừng. Trái lại F (t ) được gọi là chuỗi thời gian mờ không dừng.
Chương 2. MÔ HÌNH MARKOV ẨN TRONG DỰ BÁO CHUỖI THỜI GIAN 2.1. Mô hình Markov ẩn trong dự báo chuỗi thời gian Theo Chương 1, mô hình HMM bao gồm hai thành phần cơ bản: chuỗi X t , t  1,..., T các quan sát và Ct  i, t  1,.., T , i {1, 2,..., m} thành phần trộn. Bây giờ, để dễ minh họa cho mô hình HMM trong dự báo chuỗi thời gian, xét chuỗi thời gian time.b.to.t ở trên và ký hiệu là X t , t  1,..., T . Bài toán thực tế đối với nhà đầu tư là dự đoán giá trị của X t trong tương lai để biết sau bao lâu chỉ số chứng khoán sẽ từ đáy lên đỉnh. Từ quan sát thực tế thấy rằng chỉ số chứng khoán khi đạt một đỉnh mới sẽ không thể ở giá trị đó (hoặc dao động nhẹ xung quanh giá trị đó) mãi mãi mà sẽ đi xuống sau một thời gian nào đó, tương tự đối với dao động từ đáy lên đỉnh. Vậy có thể quy định X max là thời gian lâu nhất mà giá trị cổ phiếu từ đáy lên đỉnh. Khi đó, 0  X t  X max (xem Hình 2.2.1). Nhà đầu tư muốn quy định các trạng thái xảy ra với X t , chẳng hạn "chờ nhanh", "chờ khá nhanh", "chờ lâu", "chờ rất lâu" nhưng không biết phải định nghĩa như thế nào. Để giải quyết bài toán này, ta coi mỗi trạng thái trên là một phân phối Poisson với trung bình (cũng là phương sai) i , i  1, 2,3, 4 và được "ẩn" trong chuỗi X t . Nếu giả thiết thêm các trạng thái này tuân theo một xích Markov, ta có mô hình Markov ẩn cho bài toán dự báo chuỗi thời gian. Hình 2.1 .1. Định nghĩa chuỗi thời gian cần dự báo 2.1.1. Mô hình HMM với phân phối Poisson Để áp dụng mô hình HMM cho dự báo chuỗi thời gian, luận án minh họa cả 2 phương pháp ước lượng tham số đã trình bày trong mục 1.3.2 Chương 1. Đối với ước lượng MLE, luận án thực hiện lập trình trên R cho mô hình HMM với trạng thái là các phân phối Poisson. Phân phối Poisson có tham số   0 vừa là trung bình vừa là phương sai.Việc thực hiện ước lượng tham số theo phương pháp MLE theo thuật toán sau: Thuận toán 2.1 Maximum hàm hợp lý Đầu vào: x,m, lambda0,gamma0 Đầu ra: m, lambda0, gamma0, BIC, AIC, mllk 1: procedure POIS.HMM.MLE (x,m, lambda0,gamma0, ... ) 2: parvect0← pois.HMM.pn2pw(m, lambda0,gamma0) {Đổi mô hình sang tham số tự do} 3: mod ←nlm(pois.HMM.mllk, parvect0,x = x,m = m) {Ước lượng tham số làm cực đại hàm hợp lý} 4: pn← pois.HMM.pw2pn(m,mod$estimate) {Đổi tham số tự do sang tham số mô hình pm} 5: mllk ←mod$minimum {Lấy giá trị cực đại gán cho mllk} 6: np←length(parvect0) {đếm số tham số mô hình} 7: AIC < −2 ∗ (mllk+np) {Tính tiêu chuẩn AIC} 8: n < −sum(!is.na(x)) {Tính số quan sát}
9: BIC < −2 ∗mllk+np ∗ log(n) {Tính tiêu chuẩn BIC} 10: return (lambda, gamma, mllk, AIC, BIC) 2.1.2. Mô hình HMM với phân phối chuẫn Trong mô hình với phân phối chuẩn, các tham số của xích Markov vẫn là gama nhưng tham số của phân phối trộn gồm trung bình mu và phương sai sigma trong khi m vẫn là số trạng thái của mô hình còn delta là phân phối dừng của xích Markov. Hàm tính các FWP va BWP được thực hiện bởi hàm norm.HMM.lalphabeta (logarit của FWP va BWP). Trong đó, lalpha, lbeta lần lượt la logarit của FWP va BWP. Thuận toán 2.3 Tính các xác suất lũy tiến và lùi của LT Đầu vào: x,m,mu, sigma,gamma,delta Đầu ra: lalpha, lb = lbeta 1: procedure NORM.HMM.LALPHABETA(x,m,mu, sigma,gamma,delta ) 2: if (is.null(delta)) then delta←solve(t(diag(m)−gamma+1), rep(1,m)) { Trong trường hợp không định trước được phân phối ban đầu của xích Markov} 3: Tính các xác suất FWP theo (1.2.6) cho lalpha 4: Tính các xác suất cho BWP theo (1.2.7) cho lbeta 5: return list(la = lalpha, lb = lbeta) Đến đây, theo thuật toán EM trong mục 1.3.2 của Chương 1 ta có thể thực hiện ngay ước lượng tham số bởi hàm norm.HMM.EM Thuận toán 2.4 Thuật toán EM cho Normal-HMM Đầu vào: x,m,mu(), sigma(),gamma(),delta(),maxiter, tol Đầu ra: mu, sigma, gamma, delta, mllk, AIC, BIC 1: procedure NORM.HMM.EM(x,m,mu, sigma,gamma,delta,maxiter, tol ) 2: mu.next ←mu(); sigma ←sigma();delta ←delta() {Gán tham số cho giá trị ban đầu} 3: for iter in 1 : maxiter do 4: f b←norm.HMM.lalphabeta(x,m,mu, sigma,gamma,delta= delta) {Tính FWP và BWP} 5: llk ← gia 1trị hàm hợp lý 6: for j in 1:m do 7: for k in 1:m do 8: Tính gamma[ j,k] 9: Tính mu[j] 10: Tính sigma [ j] 11: Tính delta 12: crit ← sum(abs(mu[j] – mu()[j])) + sum(abs(gamma[jk] – gamma()[jk])) + sum(abs(delta[j] –delta()[j]))+sum(abs(sigma[j] −sigma()[j])) {Tiêu chuẫn hội tụ} 13: if crit < tol then 14: AIC← -2 ∗ (llk−np) {Tiêu chuẩn AIC} 15: BIC← -2 ∗ llk+np ∗ log(n) {Tiêu chuẩn BIC} 16: return (mu, sigma, gamma, delta, mllk, AIC , BIC) 17: else {Nếu chưa hội tụ} mu0←mu; sigma0←sigma; gamma0←gamma; delta0←delta {Gán lại tham số ban đầu mới}
18: Không hội tụ sau, “maxiter”, vòng lặp 2.2. Kết quả thực nghiệm cho HMM với phân phối Poisson 2.2.1. Ước lượng tham số Bảng 2.2.1. Ước lượng tham số của mô hình Poisson-HMM cho time.b.to.t với các trạng thái m=2,3,4,5 1 11,46267 0,6914086  0,8 0,2  2 2 40,90969 0,3085914   216,8401  0,51 0,49  1 5,78732 0,3587816  0,46 0,47 0,07    3 2 21,75877 0,5121152  0,33 0,47 0,02  171,1243 3 57,17104 0,1291032  0,2 0,8 0    0,4 0,46 0,07 0,07  1 5,339722 0,3189824   4 2 16,943339 0,3159413  0,53 0,29 0,18 0  159,898 3 27,711948 0,2301279  0 0 0,51 0,49    0  4 58,394102 0,1349484  0,19 0,56 0,25  0,38 0,4 0,15 0,07 0  1 5,226109 0,31513881   2 15,679316 0,28158191  0,5 0,36 0 0,14 0  5 3 25,435562 0,22224329  0,13 0 0,33 0,19 0,35  154,6275 4 38,459987 0,10376304    0 0,53 0,47 0 0  5 67,708874 0,07727294  0,33 0   0 0,67 0 Bảng 2.2.2. Trung bình và phương sai mô hình so với mẫu. M Trung bình Phương sai 1 20,45238 20,45238 2 20,45238 205,5624 3 20,45238 272,6776 4 20,45238 303,7112 5 20,45238 303,4568 Mẫu 20,45238 307,083 Kết quả cho thấy, mô hình Poisson-HMM với 4 trạng thái có phương sai gần với phương sai mẫu nhất. Tuy nhiên, điều đó không đủ bằng chứng để khẳng định mô hình 4 trạng thái là tốt nhất. Để có những phương pháp lựa chọn tốt hơn, ta cần có những tiêu chuẩn chọn mô hình theo nhiều cơ sở hơn. 2.2.2. Lựa chọn mô hình Giả sử quan sát x1 ,..., xT được sinh ra bởi mô hình "thật" f nào đó không biết và ta ướm mô hình bởi hai họ xấp xỉ khác nhau {g1  G1} và {g2  G2 } . Mục đích của chọn mô hình là xác định mô hình mà tốt nhất theo nghĩa nào đó. Bây giờ, áp dụng hai tiêu chuẩn AIC và BIC đối với mô hình Poisson-HMM cho dữ liệu time.b.to.t, kết quả được liệt kê trong Bảng 2.3.3.
Bảng 2.2.3. Tiêu chuẩn AIC và BIC m 2 3 4 5 AIC 441,6803 360,2486 351,7961 359,2551 BIC 448,6309 375,8876 379,5988 402,6968 2.2.3. Phân phối dự báo Như đã đề cập ở trên, dữ liệu đào tạo đối với mô hình HMM được lấy từ 03/01/2006 đến 19/06/2013. Ta sẽ lấy dữ liệu tiếp theo từ 14/06/2013 đến 22/08/2013 để so sánh với kết quả dự báo của mô hình. Hình 2.1.2 mô tả diễn biến của chỉ số đóng của VN-Index trong khoảng thời gian này. Ta thấy rằng, số phiên dao dịch để chỉ số VN-Index từ đáy (26/06/2013) lên đỉnh (19/08/2013) là 35 ngày. Như vậy, giá trị này ứng với trạng thái 3 của mô hình (phân phối Poisson với trung bình 27.711948). Ta sẽ chờ xem kết quả dự báo của mô hình ra sao. Hình 2.2.1. Diễn biến chỉ số Vn-Index từ 14/06/2013 đến 22/08/2013 và thời gian chờ từ đáy lên đỉnh Bây giờ, ta cần tìm công thức xác định phân phối dự báo Pr ( X T h  x | X(T)  x( T) ) . Với các ký hiệu dạng ma trận như đã trình bày ở các mục trước, phân phối này có thể tính được như sau:  P X T   x T  , X T  h  x   P X T  h  x|X T  x T    P X T   x T   δP  x1  ΓP  x2  ΓP  x3 ΓP  xT  Γ h P  x 1'  δP  x1  ΓP  x2  ΓP  x3 ΓP  xT 1' T Γ h P  x 1'  T 1' Viết T  αT / αT 1' , ta có  P X T  h  x|X    x  T T    Γ P  x 1 . T h Các phân phối này được tóm tắt trong Bảng 2.3.4 Bảng 2.2.4. Thông tin phân phối dự báo và khoảng dự báo. 1 2 3 4 5 6 Mode dự báo 27 26 5 5 5 5 Trung bình dự 42,30338 30,16801 25,53973 23,68432 22,48149 21,91300 báo Khoảng ước lượng với xác suất trên 90% Khoảng dự báo [ ] [ ] [ ] [ ] [ ] [ ] Xác suất 0,9371394 0,9116366 0,9342868 0,9279009 0,9237957 0,9215904 Thực tế 35 - - - - -
2.2.4. Trạng thái dự báo Ở phần trước ta đã tìm ra phân phối điều kiện của trạng thái Ct cho trước quan sát X (T ) . Làm như vậy ta chỉ xét trạng thái hiện tại và các trạng thái quá khứ. Tuy nhiên, cũng có thể tính được phân phối điều kiện cho trạng thái tương lai CT  h , việc này gọi là dự báo trạng thái. α T Γh (, i) Pr (CT  h  i | X( T)  x( T) )   T Γh (, i) LT với t  αT / αT 1 .  Ta tiến hành dự báo trạng thái của mô hình Poisson-HMM 4 trạng thái của dữ liệu time.b.to.t với 6 lần tiếp theo, kết quả được chỉ ra ở Bảng 2.2.5. Bảng 2.2.5. Dự báo trạng thái 6 lần tiếp theo cho time.b.to.t. 1 2 3 4 5 6 State = 0,006577011 0,09686901 0,2316797 0,2688642 0,2934243 0,3060393 0,003744827 0,27624774 0,2658957 0,2931431 0,3048425 0,3098824 0,506712945 0,37858412 0,3104563 0,2698832 0,2508581 0,2407846 0,482965217 0,24829913 0,1919683 0,1681095 0,1508750 0,1432937 2.3. Kết quả thực nghiệm mô hình HMM với phân phối chuẩn 2.3.1. Ước lượng tham số Với phân phối ban đầu bất kỳ (ví dụ: (1/ 4,1/ 4,1/ 4,1/ 4) ), ước lượng bằng EM ta được:  0,9717 0, 0283 0, 0000 0, 0000     0, 0927 0,8106 0, 0804 0, 0163    0, 0000 0, 0748 0,8624 0, 0628     0, 0000 0, 0000 0, 0818 0,9182    (453,9839;484,6801;505,9007;530,8300)   (10,6857;7,1523;6, 4218;13,0746) Hình 2.3.1 mô tả giá trị của VNIndex cùng với dãy trạng thái tốt nhất tính theo thuật toán Viterbi. Các đường nét đứt biểu diễn 4 trạng thái trong khi các chấm đen đậm thể hiện trạng thái tốt nhất cho giá trị tại mỗi thời điểm. Hình 2.3.1. Dữ liệu VN-Index: dãy trạng thái tốt nhất 2.3.2. Lựa chọn mô hình Theo lý thuyết chọn mô hình HMM trên tiêu chuẩn BIC và AIC cho chuỗi chỉ số VN-index, AIC
và BIC đều chọn 4 trạng thái. Các giá trị của tiêu chuẩn cho trong Bàng 2.4.1. Bảng 2.3.1. Dữ liệu VN-Index: chọn số trạng thái Model -logL AIC BIC 2-state HM 1.597,832 3.205,664 3.225,312 3-state HM 1.510,989 3.043,978 3.087,204 4-state HM 1.439,179 2.916,358 2.991,02 5-state HM không hội tụ 2.3.3. Phân phối dự báo Như trình bày trong mục 1.3.3 trong Chương 1, Hình 2.3.2 biểu diễn 10 phân phối dự báo cho giá trị của VNIndex. Ta thấy phân phối dự báo tiến tới phân phối dừng khá nhanh. Hình 2.3.2. Dữ liệu VN-Index data: phân phối dự báo của 10 ngày tiếp theo. Như vậy, mô hình HMM với phân phối nhất định phù hợp với dự báo trong một số trường hợp, nhất là đối với dữ liệu mà nó thực sự khít với phân phối lựa chọn trong mô hình. Tuy nhiên, chuỗi thời gian sinh ra bởi một biến ngẫu nhiên có ướm khít với phân phối chuẩn (hoặc trộn các phân phối chuẩn) hay phân phối nào khác được chọn hay không là câu hỏi sẽ quyết định đến sự phù hợp cũng như độ chính xác của dự báo. 2.3.4. Trạng thái dự báo Bảng 2.3.2. Dự báo khả năng (xác suất) cao nhất đối với mỗi trạng thái cho 30 ngày tiếp theo kể từ ngày cuối cùng là 13/05/2011 Days [,1] [,2] [,3] [,4] [,5] [,6] State=[1,] 0,0975 0,1695 0,2261 0,2709 0,3065 0,3350 [2,] 0,8062 0,6622 0,5517 0,4665 0,4005 0,3492 [3,] 0,0799 0,1351 0,1724 0,1971 0,2128 0,2223 [4,] 0,0162 0,0330 0,0496 0,0653 0,0800 0,0933 [,7] [,8] [,9] [,10] [,11] [,12] [,13] [1,] 0,3579 0,3764 0,3915 0,4039 0,4141 0,4225 0,4296 [2,] 0,3092 0,2778 0,2530 0,2334 0,2177 0,2052 0,1951 [3,] 0,2274 0,2296 0,2298 0,2288 0,2270 0,2248 0,2224 [4,] 0,1053 0,1160 0,1255 0,1338 0,1410 0,1473 0,1527 [,14] [,15] [,16] [,17] [,18] [,19] [,20] [1,] 0,4355 0,4405 0,4448 0,4484 0,4515 0,4542 0,4565 [2,] 0,1870 0,1803 0,1749 0,1705 0,1669 0,1639 0,1614 [3,] 0,2200 0,2176 0,2154 0,2133 0,2113 0,2096 0,2080
[4,] 0,1573 0,1613 0,1647 0,1676 0,1701 0,1722 0,1739 [,21] [,22] [,23] [,24] [,25] [,26] [,27] [1,] 0,4586 0,4604 0,4619 0,4633 0,4646 0,4657 0,4667 [2,] 0,1593 0,1576 0,1561 0,1549 0,1539 0,1530 0,1523 [3,] 0,2066 0,2053 0,2041 0,2031 0,2022 0,2014 0,2007 [4,] 0,1754 0,1766 0,1776 0,1784 0,1791 0,1797 0,1801 [,28] [,29] [,30] [1,] 0,4676 0,4684 0,4692 [2,] 0,1517 0,1512 0,1507 [3,] 0,2000 0,1995 0,1990 [4,] 0,1805 0,1807 0,1809 Ta thấy khả năng cao nhất trong 7 ngày đầu rơi vào trạng thái 2 và các ngày sau rơi vào trạng thái. Do đó, mô hình không hiệu quả trong dài hạn nhưng tốt cho ngắn hạn. Tuy nhiên, ta có thể dự báo bằng cách cập nhật liên tục dữ liệu một cách tự động. Bây giờ luận án cập nhật tiếp dữ liệu từ 14/5/2011 đến 23/6/2011 với 30 giá đóng của của cổ phiếu nhằm so sánh giá trị dự báo với giá trị thực của dữ liệu. Hình 2.3.4 cho thấy rằng giá trị của 30 ngày này hầu hết ở trạng thái 1. Điều này chứng tỏ dự báo là đúng đắn. Hình 2.3.3. Dữ liệu VNIndex: So sánh trạng thái dự báo với trạng thái thực tế. 2.4. Kết quả so sánh Mục này luận án trình bày kết quả dự báo của mô hình HMM với một số mô hình đã có [19] trên một số dữ liệu là các chuỗi chỉ số chứng khoán. Do đặc điểm giá trị của chuỗi thời gian tăng trưởng nhận các giá trị thực nên mô hình HMM với phân phối chuẩn được lựa chọn. Mô hình luận án đề xuất và mô hình so sánh được thực hiện trên cùng một tập đào tạo và trên cùng một tập kiểm tra nhằm đảm bảo chính xác của phép so sánh. Độ đo độ chính xác được sử dụng là trung bình phần trăm sai số (MAPE) được tính bởi: 1 n ai  pi MAPE   *100% n i 1 ai Bảng 2.4.1. MAPE nhiều lần chạy HMM cho dữ liệu Apple 1,812 1,778 1,790 1,784 1,815 1,777 1,812 1,794 1,779 1,788 1,802 1,816 1,778 1,800 1,790 1,789 Trung bình: 1,795. Độ chính xác trung bình 1,795 và giá trị dự báo trung bình minh họa bởi Hình 2.4.1. Hình 2.4.1. Dự báo HMM cho giá cổ phiếu apple:actual-giá thật; predict-giá dự báo
Tương tự độ với các dữ liệu cổ phiếu Ryanair Airlines từ 06/01/2003 đến 17/01/2005; IBM Corporation. từ 10/01/2003 đến 21/01/2005 và Dell Inc. từ 10/01/2003 đến 21/01/2005. Kết quả so sánh độ đo độ chính xác MAPE với 400 quan sát đào tạo được chỉ ra trong Bảng 2.5.2. Bảng 2.4.2. So sánh độ chính xác của mô hình HMM với một số mô hình khác Dữ liệu Mô hình ARIMA Mô hình ANN Mô hình HMM Apple 1,801 1,801 1,795 Ryanair 1,504 1,504 1,306 IBM 0,660 0,660 0,660 Dell 0,972 0,972 0,863 Từ kết quả trong Bảng 2.4.2 ta thấy mô hình HMM với phân phối chuẩn cho độ chính xác dự báo cao hơn so với mô hình cổ điểm là ARIMA và mô hình ANN. Chương 3. MỞ RỘNG MÔ HÌNH XÍCH MARKOV BẬC CAO VÀ CHUỖI THỜI GIAN MỜ TRONG DỰ BÁO 3.1. Xích Markov bậc cao Giả sử rằng mỗi điểm dữ liệu Ct trong một dãy dữ liệu được phân loại lấy giá trị trong tập I  1, 2,..., m và m là hữu hạn, nghĩa là dãy có m loại hoặc trạng thái. Một xích Markov bậc k là một chuỗi biến ngẫu nhiên mà Pr (Cn  cn | Cn1  cn1 ,..., C1  c1 )  Pr (Cn  cn | Cn1  cn1,..., Cnk  cnk ) Trong [30], Raftery đã đề xuất một mô hình chuỗi Markov bậc cao (CMC). Mô hình này có thể được viết như sau: k P(Cn  cn | Cn1  cn1 ,..., Cnk  cnk )   i qcnci (3.1.1) i 1 k Trong đó  i 1 i  1 , và Q  [qij ] là ma trận chuyển với tổng cột bằng 1 , như vậy: k 0   i qcnci  1, cn , ci  I (3.1.2) i 1 3.1.1. Mô hình Markov bậc cao mới (IMC) Trong tiểu mục này, luận án trình bày việc mở rộng mô hình Raftery [30] thành một mô hình chuỗi Markov bậc cao tổng quát hơn bằng cách cho phép Q để thay đổi theo độ trễ khác nhau. Ở đây chúng ta giả định rằng trọng số i không âm thỏa mãn: k  i 0 i 1 (3.1.3) Ta có (3.1.1) có thể được viết lại như sau: k Cn  k 1   i QCn  k 1i (3.1.4) i 1 Trong đó Cn k 1i là phân phối xác suất của các trạng thái tại thời điểm (n  k  1  i) . Sử dụng (3.1.3) và Q là một ma trận xác suất chuyển, chúng ta có mỗi phần tử Cn k 1 nằm giữa 0 và 1 , và tổng tất cả phần tử bằng 1 . Trong mô hình Raftery, không giả sử  không âm nên các điều kiện (3.1.2) được bổ sung vào để đảm bảo rằng Cn k 1 là phân phối xác suất của các trạng thái. Mô hình Raftery trong (3.1.4) có thể được khái quát như sau:
k Cn  k 1   i Qi Cn k 1i (3.1.5) i 1 Tổng số lượng tham số độc lập trong mô hình mới là (k  km2 ) . 3.1.2. Ước lượng tham số Trong mục này, tác giả trình bày các phương pháp hiệu quả để ước lượng các tham số Qi và i với i  1, 2,..., k. Để ước lượng Qi , chúng ta có thể coi Qi như là một ma trận chuyển i bước của dãy dữ liệu phân loại Cn . Cho dãy dữ liệu phân loại Cn , ta có thể đếm tần số chuyển f jl(i ) trong dãy từ trạng thái l đến trạng thái j sau i bước. Hơn nữa, chúng ta có thể xây dựng ma trận chuyển i bước cho dãy Cn như sau:  f11(i ) f m(1i )   (i )  f m(i2)  f F (i )   12    (i ) (i )   f1m f mm  Từ F (i ) , chúng ta nhận được các ước tính cho Qi  [qlj(i ) ] như sau:  qˆ11(i ) qˆm(i1)   (i )  qˆ qˆm(i 2)  Qi   12 ˆ    (i ) (i )    qˆ1m qˆmm  Ở đó  flj(i ) m  m neu  flj(i )  0  qˆlj(i )    flj(i ) l 1  l 1 0 truong hop khác Chúng ta lưu ý rằng các tính toán phức tạp của việc xây dựng F (i ) là của phép tính O( L2 ) , trong đó L là chiều dài của dãy dữ liệu. Vì thế tổng số tính toán phức tạp của việc xây dựng F (i )ik1 là của phép tính O(kL2 ) . Ở đây k là số độ trễ. Bây giờ ta trình bày rõ các bước ước lượng các tham số i như sau [15] mà luận án sẽ dùng để nhúng vào mô hình kết hợp đề xuất. Giả sử Cn  C khi n tiến đến vô cùng, khi đó C có thể được ước lượng từ dãy Cn bằng cách tính tỷ lệ sự xuất hiện của mỗi trạng thái trong dãy và chúng ta đặt bằng Cˆ . k   Q Cˆ  Cˆ i 1 i i Điều này cho chúng ta một cách ước lượng các tham số   (1 ,..., k ) như sau. Chúng ta xét bài toán cực tiểu sau đây: k min  ||  i Qi Cˆ  Cˆ || i 1 k với điều kiện  i 1 i  1, và i  0, i Ở đây | . || là chuẩn Vector. Trường hợp đặc biệt, nếu chọn || . || , chúng ta có bài toán cực tiểu sau: k min  max l | [ i Qi Cˆ  Cˆ ]l | i 1
k với điều kiện  i 1 i  1, và i  0, i Ở đây [.]l xác định phần tử thứ l của Vector. Vấn đề khó khăn ở đây là việc tối ưu hóa để đảm bảo sự tồn tại của phân phối ổn định C . Tiếp theo, chúng ta xem bài toán cực tiểu ở trên được xây dựng như một bài toán tuyến tính: min   với điều kiện    1        ˆ ˆ ˆ ˆ ˆ ˆ ˆ  2   C  [Q1C | Q2C | ... | QnC ]            n     1          Cˆ  [Qˆ Cˆ | Qˆ Cˆ | ... | Qˆ Cˆ ]  2    1 2 n          n  k   0,  i  1, và i  0, i i 1 Chúng ta có thể giải bài toán tuyến tính ở trên và có được tham số i . Thay vì giải một bài toán min-max, chúng ta cũng có thể chọn || .||1 và xây dựng bài toán cực tiểu sau đây: m k min   |[ i Qˆ i Cˆ  Cˆ ]l | l 1 i 1 k với điều kiện  i 1 i  1, và i  0, i Bài toán tuyến tính tương ứng được đưa ra như sau: m min   l l 1 với điều kiện  1   1       2   Cˆ  [Qˆ Xˆ | Qˆ Cˆ | ... | Qˆ Cˆ ]  2    1 2 n        m   k   1   1       2   Cˆ  [Qˆ Cˆ | Qˆ Cˆ | ... | Qˆ Cˆ ]  2    1 2 n        m   k  k i  0, i,  i  1, và i  0, i i 1 Trong việc xây dựng các bài toán tuyến tính ở trên, số lượng các biến là bằng nhau đều bằng k và số lượng điều kiện bằng (2m  1) . Sự phức tạp của việc giải các bài toán tuyến tính là việc tính toán O(k 3 L) , ở đây n là số biến và L là số bit nhị phân cần thiết để lưu trữ tất cả các dữ liệu (các điều kiện và hàm mục tiêu) [18].
3.2. Lựa chọn chuỗi thời gian mờ trong mô hình kết hợp Xét chuỗi thời gian có các quan sát X1 , X 2 , , X T , với chuỗi tăng trưởng x1 , x2 , , xT , (được định nghĩa ngay ở ngay mục dưới đây). Ta muốn phân loại mức độ tăng trưởng thành những trạng thái khác nhau như "chậm", "bình thường", "nhanh" hay thậm chí nhiều mức độ hơn nữa. Tuy nhiên, mỗi xt tại thời điểm t sẽ không rõ ràng thuộc mức độ nào cho dù ta định nghĩa rõ các mức độ. Nghĩa là, xt có thể vừa thuộc mức độ này vừa thuộc mức độ khác với độ rõ ràng (membership) khác nhau. Chính vì vậy, lý thuyết chuỗi thời gian mờ ở mục 1.4 chương 1 có thể thực hiện điều này nhằm phân lớp tập nền của xt (định nghĩa ở mục sau) thành các trạng thái mà các xt là thành viên. Giả sử rằng các trạng thái này tuân theo một xích Markov thì mô hình Markov cho ta kết quả dự báo trạng thái tương lai. Từ trạng thái tương lai, giá trị dự báo của xt được tính ngược từ định nghĩa chuỗi thời giam mờ trước đó. 3.2.1 Định nghĩa và phân vùng tập nền Xét tập đào tạo của { yt }tN1 , ta có thể định nghĩa tập nền cho không gian tăng trưởng bởi U   min t{1,..., N } yt   ; max t{1,..., N } yt    với   0 là một số dương được lựa chọn sao cho mức tăng trưởng trong tương lai không vượt quá được maxt{1,..., N } yt   . Tùy từng dữ liệu có thể chọn  khác nhau. Tuy nhiên, chọn   1 thõa mãn cho mọi dãy tăng trưởng chứng khoán. Để mờ hóa tập U thành các nhãn tăng trưởng như "tăng nhanh", "tăng chậm", "tăng đều", hoặc thậm chí k mức độ, tập nền U được chia thành k khoảng (đơn giản nhất là chia thành các khoảng bằng nhau liên tiếp) u1 , u2 ,..., uk . Ví dụ, nếu phân vùng của chỉ số VN-Index (chỉ số chứng khoán Việt Nam) là: U  [0.0449, 0.0150]  [0.0150,0.0149] [0.0149,0.0448] thì các kết quả VN-Index được mã hóa như trong Bảng 3.3.1 Bảng 3.2.1. Mờ hóa chuỗi tăng trưởng Ngày xi chỉ số tăng trưởng ( yi ) mã hóa 04/11/2009 537,5 -0,015997 NA NA 05/11/2009 555,5 -0,031866 0,0334883 3 06/11/2009 554,9 -0,026580 -0,0010801 2 09/11/2009 534,1 0,054237 -0,0374842 1 10/11/2009 524,4 0,020036 -0,0181613 1 11/11/2009 537,6 0,002917 0,0251716 3 ... ... ... ... ... 3.2.2 Quy luật mờ của chuỗi thời gian Bây giờ ta xác định các tập mờ Ai , mỗi tập Ai gán cho một nhãn tăng trưởng và xác định trên các đoạn đã xác định u1 , u2 ,..., uk . Khi đó các tập mờ Ai có thể biểu diễn như sau: Ai   Ai (u1 ) / u1   Ai (u2 ) / u2  ...   Ai (uk ) / uk trong đó  Ai là hàm thành viên của mỗi u j , j  1,..., k trong Ai , i  1,..., k . Mỗi giá trị mờ của chuỗi thời gian yt được tính rõ lại dựa vào quy luật mờ hóa  Ai . Chẳng hạn như cách mờ hóa sau: A1  1/ u1  0.5 / u2  0 / u3  ...  0 / uk A2  0.5 / u1  1/ u2  0.5 / u3  ...  0 / uk ... Ak  0 / u1  0 / u2  0 / u3  ...  1/ uk . Khi đó với yt  A2 là một giá trị chưa rõ, thì giá trị rõ được tính ngược theo quy luật mờ này bởi: