zunia.vn

Tuyển sinh 2024 dành cho Gen-Z

zunia.vn

» Khoa Học Tự Nhiên

» Môi trường

Ứng dụng các biến thể của mô hình học sâu Transformer trong dự báo lưu lượng đến hồ Tả Trạch

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:3

Báo xấu

4
lượt xem 1
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Mục tiêu của nghiên cứu là so sánh và đánh giá hiệu suất của các biến thể Transformer như Reformer, Informer, Autoformer, và PatchTST, nhằm cải thiện độ chính xác và tính ứng dụng trong dự báo lưu lượng nước.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Ứng dụng các biến thể của mô hình học sâu Transformer trong dự báo lưu lượng đến hồ Tả Trạch

Tuyển tập Hội nghị Khoa học thường niên năm 2024. ISBN: 978-604-82-8175-5 ỨNG DỤNG CÁC BIẾN THỂ CỦA MÔ HÌNH HỌC SÂU TRANSFORMER TRONG DỰ BÁO LƯU LƯỢNG ĐẾN HỒ TẢ TRẠCH Nguyễn Đắc Hiếu1, Hoàng Hải Đăng1, Đoàn Anh Hoàng2, Nguyễn Đắc Phương Thảo1 1 Trường Đại học Thủy lợi, email: dachieu@tlu.edu.vn 2 Trung tâm Công nghệ Phần mềm Thuỷ lợi, email: doananhhoang@cwrs.vn Tả Trạch là một trong những hồ thủy lợi lớn 2.1. Reformer nhất Việt Nam, đóng vai trò quan trọng trong Các mô hình Transformer [1] thường đạt việc kiểm soát lũ lụt và cung cấp nước tưới được kết quả tiên tiến nhất trên một số nhiệm tiêu. Trong bối cảnh biến đổi khí hậu và nguy vụ, nhưng việc huấn luyện những mô hình cơ lũ lụt ngày càng gia tăng, việc áp dụng các này có thể rất tốn kém, đặc biệt là trên các phương pháp dự báo hiện đại trở nên cấp thiết chuỗi dài. Reformer [5] ra đời để cải thiện để bảo đảm an toàn cho người dân và tài sản. hiệu quả của Transformer. Mục tiêu của nghiên cứu là so sánh và đánh giá hiệu suất của các biến thể Transformer như Reformer, Informer, Autoformer, và PatchTST, nhằm cải thiện độ chính xác và tính ứng dụng trong dự báo lưu lượng nước. 1. GIỚI THIỆU CHUNG Hồ thủy lợi Tả Trạch tại thị xã Hương Hình 1. Kiến trúc Reformer Thủy (Thừa Thiên - Huế) là một trong 4 hồ thủy lợi lớn nhất cả nước, với dung tích 646 Hashing attention triệu m³, do Ban Quản lý đầu tư và Xây dựng Mỗi vector Query và Key được hash thành Thủy lợi 5 quản lý. Vào năm 2021, mức nước nhóm nhất định sử dụng LSH. Hàm băm này trong hồ chứa nước Tả Trạch, Thừa Thiên sẽ đảm bảo các vector gần nhau nhất trong Huế cao hơn mức bình thường cho phép, gây không gian vector và gom chúng thành 1 úng ngập hàng trăm héc-ta keo, tràm chuối nhóm. Việc sử dụng hàm băm này sẽ giúp của người dân đang trồng quanh hồ. Việc giảm đáng kể lượng data trong quá trình đảm bảo an toàn cho người dân và tài sản training từ đó tăng hiệu quả bởi các nhóm dữ thông qua dự báo lũ lụt là nhiệm vụ thiết yếu liệu gần nhau. hiện nay, vì lịch sử đã cho thấy lũ lụt gây ảnh Sau đó chúng sẽ được sắp xếp theo nhóm hưởng nghiêm trọng đến tài sản và tính mạng và thực hiện attention theo nhóm này từ đó con người. giúp giảm query từ O (L2)  O(L log L). 2. PHƯƠNG PHÁP NGHIÊN CỨU 2.2. Informer Về phương pháp nghiên cứu này áp dụng Dự đoán với chuỗi thời gian dài hạn là lý những biến thể hiện đại nhất của mạng học máy do mà Informer [3] ra đời nhằm mục đích Transformer: Reformer, Informer, Autoformer thay thế những phương pháp cũ. Được xây và PatchTST. dựng trên nền tảng nổi tiếng Transformer, 104
Tuyển tập Hội nghị Khoa học thường niên năm 2024. ISBN: 978-604-82-8175-5 phương pháp Informer sinh ra với mục đích Autoformer tính toán chúng trong miền chu giảm độ phức tạp thời gian cùng mức độ sử kỳ (sử dụng biến đổi phạm vi nhanh) và tổng dụng bộ nhớ cao hơn trong bài toán chuỗi hợp chúng theo độ trễ thời gian. thời gian. Điểm đặc biệt so với những phương pháp cũ là việc thiết lập số lượng các 2.4. PatchTST điểm dữ liệu thời gian trong quá khứ để dự Với ý tưởng bắt nguồn từ Vision Transformer đoán điểm thời gian tiếp theo việc thiết lập (ViT) trong xử lý ảnh. PatchTST [4] dựa trên này sẽ lấy rời rạc từng điểm data để thực hiện cơ chế chia dữ liệu thành các patch và thực cơ thế attention. hiện attention trên các miền dữ liệu đó để đảm bảo dữ liệu có tính liên kết với nhau cho từng patch với. Tiếp sau đó kết hợp những kết quả đã được attention lại với nhau. Độ phức tạp thuật toán là O(L log L). Hình 6. Kiến trúc PatchTST Hình 2. Kiến trúc Informer 3. KẾT QUẢ NGHIÊN CỨU 2.3. Autoformer Dữ liệu lịch sử về thông tin lưu lượng Autoformer [2] mang lại kiến trúc khác so nước đến của hồ Tả Trạch được thu thập liên với những phương pháp còn lại với cơ chế tục từ 01/01/2017 đến ngày 31/12/2022, với tổng số lượng dữ liệu là 52584 điểm dữ liệu, attention trên miền dữ liệu cụ thể với 2 cơ bao gồm các số liệu quan trắc là lưu lượng chế decomposition và auto-correalation với đến hồ, trạm đo mưa đầu mối, trạm đo mưa độ phức tạp thuật toán là O(L log L). đập thủy điện Thượng Nhật, trạm đo mưa lưu vực thủy điện Thượng Nhật và trạm đo mưa Khe Tre. Để đánh giá độ chính xác mô hình, thực nghiệm sử dụng thước đo MSE (Mean Squared Error), MAE (Mean Absolute Error) và R² (R-squared). Với MSE là trung bình bình phương sai số giữa giá trị thực và giá trị dự đoán, MAE đo sai số trung bình tuyệt đối Hình 3. Kiến trúc Autoformer và R² đánh giá tỷ lệ giải thích của mô hình Cơ chế Auto-Correlation trong Autoformer ước lượng, với giá trị từ 0 đến 1. MSE và là một phương pháp mới để xử lý các mối MAE càng thấp, ngược lại R² càng cao, thì mô hình càng chính xác. quan hệ phụ thuộc trong dữ liệu chuỗi thời Dữ liệu đầu vào của thực nghiệm bao gồm gian, mang lại những lợi thế so với các 24 mốc thời gian liên tiếp để dự đoán 4 mốc phương pháp attention truyền thống. Trong thời gian là 1 giờ, 3 giờ, 6 giờ, 9 giờ trong Transformer, trọng số chú ý được tính toán tương lai. Sau khi đào tạo dữ liệu trên 4 mô trong miền thời gian và tổng hợp theo điểm. hình PatchTST, Autoformer, Informer và Mặt khác, như có thể thấy trong hình trên, Reformer, thu được kết quả: 105
Tuyển tập Hội nghị Khoa học thường niên năm 2024. ISBN: 978-604-82-8175-5 4. KẾT LUẬN Trong bài báo này chúng tôi đã thử nghiệm thành công các biến thể tiên tiến của mô hình Hình 7. Kết quả thực nghiệm học sâu Transformer, bao gồm Reformer, Với mốc dự đoán lưu lượng nước tại mốc Informer, Autoformer và PatchTST, để dự thời gian gần 1 giờ và 3 giờ PatchTST đang báo lưu lượng nước đến hồ Tả Trạch. Thực mang lại kết quả ưu việt hơn so với phương nghiệm chỉ ra rằng PatchTST đạt kết quả tốt pháp còn lại. Tại mốc thời gian 6 giờ và 9 giờ nhất trên cả chỉ số độ đo sai số và dự báo đỉnh lũ. Trong thời gian tới, chúng tôi sẽ Informer đang mang lại kết quả ưu việt hơn nghiên cứu các biến thể của Transformer và so với phương pháp còn lại, nhưng dự báo các mô hình mạnh mạnh mẽ hơn trong việc giá trị đỉnh không chính xác bằng PatchTST. dự đoán mực nước. 5. TÀI LIỆU THAM KHẢO [1] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, and I. Polosukhin. 2017. Attention is All You Need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett (Eds.), Advances in Neural Information Processing Hình 8. So sánh giá trị thực tế và dự đoán Systems, vol. 30. Informer (dự đoán 9 giờ tiếp theo) [2] H. Wu, J. Xu, J. Wang, and M. Long. 2021. Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting. Advances in Neural Information Processing Systems (NeurIPS), vol. 27, pp. 22419-22430. [3] H. Zhou, S. Zhang, J. Peng, S. Zhang, J. Li, H. Xiong, and W. Zhang. 2021. Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting. The Thirty-Fifth AAAI Conference on Artificial Intelligence (AAAI 2021), Virtual Conference, Hình 9. So sánh giá trị thực tế và dự đoán vol. 35, pp. 11106-11115. PatchTST (dự đoán 9 giờ tiếp theo) [4] Y. Nie, N. H. Nguyen, P. Sinthong, Kết luận, sau khi thử nghiệp trên 4 phương and J. Kalagnanam. 2022. A Time Series is Worth 64 Words: Long-term pháp Reformer, Informer, Autoformer và Forecasting with Transformers. arXiv, PatchTST để dự đoán mốc thời gian dài hạn. https://doi.org/10.48550/arxiv.2211.14730. PatchTST mang lại hiệu quả ưu việt hơn các [5] N. Kitaev, Ł. Kaiser, and A. Levskaya. 2020. phương và tin cậy để thực nghiệm sử dụng Reformer: The Efficient Transformer. arXiv, vào thực tế. https://doi.org/10.48550/arxiv.2001.04451. 106

CÓ THỂ BẠN MUỐN DOWNLOAD

THÔNG TIN

TRỢ GIÚP

HỖ TRỢ KHÁCH HÀNG

Theo dõi chúng tôi

Chịu trách nhiệm nội dung:

Nguyễn Công Hà - Giám đốc Công ty TNHH TÀI LIỆU TRỰC TUYẾN VI NA

LIÊN HỆ

Địa chỉ: P402, 54A Nơ Trang Long, Phường 14, Q.Bình Thạnh, TP.HCM

Hotline: 093 303 0098

Email: support@tailieu.vn

Giấy phép Mạng Xã Hội số: 670/GP-BTTTT cấp ngày 30/11/2015 Copyright ©2025 TaiLieu.VN. All rights reserved.