Luận án Tiến sĩ Kỹ thuật: Nâng cao hiệu quả một số kỹ thuật đảm bảo tính nhất quán dữ liệu trong mạng P2P

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:118

Thêm vào BST

Báo xấu

36
lượt xem 6
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Mục tiêu chính của luận án nhằm nghiên cứu và đề xuất các giải pháp kỹ thuật đảm bảo tính nhất quán dữ liệu chia sẻ, nhằm làm cơ sở ứng dụng cho các hệ thống dữ liệu chia sẻ, từ đó để phát triển các ứng dụng phân tán trong tình hình hiện nay. Mời các bạn tham khảo nội dung chi tiết đề tài!

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Luận án Tiến sĩ Kỹ thuật: Nâng cao hiệu quả một số kỹ thuật đảm bảo tính nhất quán dữ liệu trong mạng P2P

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG NGUYỄN HỒNG MINH NÂNG CAO HIỆU QUẢ MỘT SỐ KỸ THUẬT ĐẢM BẢO TÍNH NHẤT QUÁN DỮ LIỆU TRONG MẠNG P2P LUẬN ÁN TIẾN SĨ KỸ THUẬT Đà Nẵng - Năm 2021
BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG NGUYỄN HỒNG MINH NÂNG CAO HIỆU QUẢ MỘT SỐ KỸ THUẬT ĐẢM BẢO TÍNH NHẤT QUÁN DỮ LIỆU TRONG MẠNG P2P Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số : 60.48.01.01 LUẬN ÁN TIẾN SĨ KỸ THUẬT Ngƣời hƣớng dẫn khoa học: 1. PGS.TSKH. Nguyễn Xuân Huy 2. PGS.TS. Lê Văn Sơn Đà Nẵng - Năm 2021
i LỜI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu do tôi thực hiện, dƣới sự hƣớng dẫn của PGS.TSKH Nguyễn Xuân Huy và cố PGS.TS Lê Văn Sơn. Các kết quả đƣợc viết chung với các tác giả khác đều đƣợc sự đồng ý của đồng tác giả trƣớc khi đƣa vào luận án. Các kết quả nêu trong luận án là trung thực và chƣa từng đƣợc ai công bố trong các công trình nào khác. Tác giả Nguyễn Hồng Minh
ii MỤC LỤC LỜI CAM ĐOAN ............................................................................................. i MỤC LỤC ........................................................................................................ ii DANH MỤC CÁC THUẬT NGỮ VÀ TỪ VIẾT TẮT ............................... v DANH MỤC CÁC KÝ HIỆU....................................................................... vii DANH MỤC BẢNG ....................................................................................... ix DANH MỤC HÌNH VẼ, ĐỒ THỊ .................................................................. x MỞ ĐẦU .......................................................................................................... 1 1. Tính cấp thiết của luận án ..................................................................... 1 2. Mục tiêu nghiên cứu của luận án .......................................................... 6 3. Đối tƣợng và phạm vi nghiên cứu của luận án ..................................... 6 4. Phƣơng pháp nghiên cứu ...................................................................... 8 5. Ý nghĩa khoa học và thực tiễn của luận án ........................................... 8 6. Cấu trúc luận án .................................................................................... 9 Chƣơng 1. TỔNG QUAN VỀ YÊU CẦU ĐẢM BẢO TÍNH NHẤT QUÁN DỮ LIỆU CHIA SẺ TRONG MẠNG P2P .................................... 11 1.1. HỆ THỐNG DỮ LIỆU CHIA SẺ PHÂN TÁN TRONG MẠNG P2P .. 11 1.1.1. Hệ phân tán ................................................................................... 11 1.1.2. Mạng ngang hàng.......................................................................... 15 1.1.3. Dữ liệu chia sẻ trong mạng P2P.................................................... 19 1.2. ĐẢM BẢO TÍNH NHẤT QUÁN DỮ LIỆU TRONG MẠNG P2P ...... 21 1.2.1. Khái niệm .................................................................................... 21 1.2.2. Mô hình nhất quán dữ liệu .......................................................... 22 1.2.3. Bài toán đảm bảo tính nhất quán dữ liệu trong mạng P2P ......... 25 1.3. GIẢI PHÁP ĐẢM BẢO TÍNH NHẤT QUÁN DỮ LIỆU TRONG MẠNG P2P VÀ TIẾP CẬN CỦA LUẬN ÁN ............................................... 27
iii 1.3.1. Giải pháp đảm bảo tính nhất quán dữ liệu .................................... 27 1.3.2. Tiếp cận của luận án ..................................................................... 34 1.4. KẾT LUẬN CHƢƠNG 1........................................................................ 34 Chƣơng 2. GIẢI PHÁP CẬP NHẬT NỘI DUNG ĐẢM BẢO TÍNH NHẤT QUÁN DỮ LIỆU TRONG MẠNG P2P ......................................... 35 2.1. CHƢƠNG TRÌNH PHÂN TÁN, KHÔNG THUẦN NHẤT ................. 35 2.1.1. Chƣơng trình phân tán .................................................................. 35 2.1.2. Biểu diễn các tham số của hệ thống dữ liệu chia sẻ ..................... 38 2.2. LƢỢC ĐỒ CẬP NHẬT NỘI DUNG ĐẢM BẢO TÍNH NHẤT QUÁN DỮ LIỆU CHIA SẺ TRONG MẠNG P2P ..................................................... 41 2.2.1. Giải pháp xây dựng và duy trì cấu trúc cập nhật .......................... 42 2.2.2. Mô hình lan truyền cập nhật ......................................................... 45 2.2.3. Biểu diễn các tham số đánh giá hiệu quả ...................................... 46 2.3. MÔ PHỎNG THỰC NGHIỆM .............................................................. 50 2.4. KẾT LUẬN CHƢƠNG 2........................................................................ 53 Chƣơng 3. MỘT SỐ GIẢI PHÁP ĐỀ XUẤT NÂNG CAO HIỆU QUẢ CẬP NHẬT NỘI DUNG ĐẢM BẢO TÍNH NHẤT QUÁN DỮ LIỆU.... 54 3.1. GIẢI PHÁP XÂY DỰNG CẤU TRÚC CẬP NHẬT HIỆU QUẢ ĐỐI VỚI CÁC HỆ THỐNG KÉM ỔN ĐỊNH ....................................................... 54 3.1.1. Bài toán ......................................................................................... 54 3.1.2. Giải pháp ....................................................................................... 55 3.1.3. Thực nghiệm và đánh giá hiệu quả ............................................... 61 3.1.4. Kết luận ......................................................................................... 63 3.2. GIẢI PHÁP LINH HOẠT TRONG CẬP NHẬT VÀ PHÒNG TRÁNH TẮC NGHẼN .................................................................................................. 64 3.2.1. Bài toán ......................................................................................... 64 3.2.2. Giải pháp ....................................................................................... 65
iv 3.2.3. Thực nghiệm và đánh giá hiệu quả ............................................... 73 3.2.4. Kết luận ......................................................................................... 79 3.3. GIẢI PHÁP NHÂN BẢN DỰA VÀO NGƢỠNG TỐC ĐỘ YÊU CẦU CẬP NHẬT TRONG TỐI ƢU CHI PHÍ ĐẢM BẢO TÍNH NHẤT QUÁN . 80 3.3.1. Bài toán ......................................................................................... 80 3.3.2. Giải pháp ....................................................................................... 80 3.3.3. Thực nghiệm và đánh giá hiệu quả ............................................... 83 3.3.4. Kết luận ......................................................................................... 87 3.4. GIẢI PHÁP NÂNG CAO HIỆU QUẢ SỬ DỤNG MÁY ẢO CẬP NHẬT .............................................................................................................. 88 3.4.1. Bài toán ......................................................................................... 88 3.4.2. Giải pháp ....................................................................................... 90 3.4.3. Thực nghiệm và đánh giá hiệu quả ............................................... 93 3.4.4. Kết luận ......................................................................................... 94 3.5. KẾT LUẬN CHƢƠNG 3........................................................................ 95 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN ................................................... 96 DANH MỤC CÁC CÔNG TRÌNH NGHIÊN CỨU CỦA TÁC GIẢ ...... 98 TÀI LIỆU THAM KHẢO ............................................................................ 99
v DANH MỤC CÁC THUẬT NGỮ VÀ TỪ VIẾT TẮT Tiếng Anh Ký hiệu Tiếng Việt Ad-hoc Mạng tùy biến Balancing load Cân bằng tải Blockchain Công nghệ chuỗi – khối Bottleneck Tắc nghẽn Central Processing Unit CPU Bộ xử lý trung tâm Churn Nút bị lỗi Cloud Computing Điện toán đám mây Consistency maintenance scheme Lƣợc đồ đảm bảo tính nhất quán Data Center Trung tâm dữ liệu Data Consistency Nhất quán dữ liệu Data Replication Nhân bản dữ liệu Data consistency model Mô hình nhất quán dữ liệu Deadlock Bế tắc Deadlock Avoidance DA Phòng tránh bế tắc Distributed file sharing Phân phối tập tin phân tán Distributed file systems Hệ thống tập tin phân tán Distributed hash table DHT Bảng băm phân tán Distributed System Hệ thống phân tán File sharing application Ứng dụng phân phối tập tin First In, First Out FIFO Cơ chế vào trƣớc, ra trƣớc Flooding Làm ngập Hard Disk Drive HDD Ổ đĩa cứng Hash function Hàm băm Hop Bƣớc Hybrid Lai Information Technology IT Công nghệ thông tin Infrastructure as a Service IaaS Hạ tầng dịch vụ Interface Definition Language IDL Ngôn ngữ đặc tả giao diện Internet Mạng Internet toàn cầu
vi Interroperability Liên tác Key Khóa – bảng băm của dữ liệu Large-scale distributed systems Hệ thống phân tán quy mô lớn Message Thông điệp Model consistency Mô hình nhất quán Overlay Network Mạng phủ P2P structured P2P có cấu trúc P2P unstructured P2P không có cấu trúc Peer Điểm Peer-To-Peer P2P Mạng ngang hàng Portability Chuyển mang Pull Kéo cập nhật Push Đẩy cập nhật Random Access Memory RAM Bộ nhớ RAM Random Walk Ngẫu nhiên Replica Bản sao Resilience Bền vững Resource allocation Cung cấp tài nguyên Robustness Khả năng chịu đựng Rumor Spreading Khai khoáng Scalability Khả năng mở rộng, co giãn Shared data Dữ liệu chia sẻ Shared Data System Hệ thống dữ liệu chia sẻ Time-To-Expire TTE Thời gian bản sao có hiệu lực Topology Hình thái Update Propagation Lan truyền cập nhật Update Tree Cây cập nhật Virtual Machine VM Máy ảo VM NOSR Không tạo đƣợc và tạm VM SR treo/chờ Không tạo phục hồiVM có sử dụng đƣợc Wait – For - Graph WFG tạm treo/chờ Đồ thị phục hồi tranh chấp
vii DANH MỤC CÁC KÝ HIỆU Ký hiệu Ý nghĩa Chi phí trung bình gửi yêu cầu cập nhật của nút Chi phí trung bình thực hiện cập nhật cho nút Khả năng tối đa tài nguyên CPU, HDD, RAM của nút j Tập các nút con của nút K , Số lƣợng nút trong cây con của nút K Chi phí truyền thông giữa nút và nút Chi phí nút liên kết vào cây cập nhật Chi phí lan truyền cập nhật cho các yêu cầu từ nút cho nút Chi phí trong trƣờng hợp nhân bản cho nút để cập nhật cho các nút yêu cầu Cây cập nhật, mỗi nút có tối đa d nút con Hàm mục tiêu tối ƣu Chiều cao của cây con với K là nút gốc Định danh của nút K Định danh của dữ liệu chia sẻ X Nút K tại mức l trong cây cập nhật L Chiều cao cây cập nhật Số lƣợng yêu cầu cập nhật gửi tới nút trong khoảng thời gian Γ Số lƣợng cập nhật gửi tới nút gốc trong khoảng thời gian Γ Tiến trình của nút i Xác suất một nút tại mức m có yêu cầu cập nhật Tiến trình đọc dữ liệu X và trả về kết quả là y Tài nguyên CPU, HDD, RAM cung cấp request_update(K) Yêu cầu cập nhật của nút K Nút j nhận đƣợc thông điệp gửi từ nút i ( ) Nút i gửi thông điệp tới nút j
viii Cây cập nhật của dữ liệu chia sẻ X Tiến trình ghi dữ liệu X là giá trị y Vùng không gian định danh của nút K chịu trách nhiệm Phân vùng thứ i trong không gian định danh do nút K chịu trách nhiệm X Dữ liệu chia sẻ Tài nguyên CPU, HDD, RAM yêu cầu để tạo máy ảo Γ Một khoảng thời gian Hàm trừu tƣợng xác định khoảng cách giữa hai khóa và Số Hilbert
ix DANH MỤC CÁC BẢNG Bảng 1.1. So sánh mạng P2P có cấu trúc và không có cấu trúc ...............................18 Bảng 1.2. So sánh độ phức tạp các phƣơng pháp truy vấn trong mạng P2P ............19 Bảng 1.3. So sánh một số kiến trúc mạng phủ P2P có cấu trúc ...............................19 Bảng 1.4. Các mô hình nhất quán lấy dữ liệu làm trung tâm [40] ...........................22 Bảng 3.1. Kết quả mô phỏng ảnh hƣởng bậc của nút đối với độ trễ cập nhật ..........61 Bảng 3.2. Kết quả mô phỏng ảnh hƣởng tốc độ nút vào/ra hệ thống đối với độ trễ cập nhật của thuật toán đề xuất và giải pháp của Nakashima .................62 Bảng 3.3. Kết quả mô phỏng ảnh hƣởng tốc độ nút vào/ra hệ thống đối với độ trễ cập nhật của giải pháp đề xuất và giải pháp của Nakashima...................74 Bảng 3.4. Kết quả mô phỏng ảnh hƣởng tốc độ nút thực hiện cập nhật đối với độ trễ cập nhật của giải pháp đề xuất và giải pháp của Nakashima...................75 Bảng 3.5. Kết quả mô phỏng ảnh hƣởng số lƣợng nút đối với độ trễ cập nhật của giải pháp đề xuất và giải pháp của Nakashima ........................................76 Bảng 3.6. Kết quả mô phỏng ảnh hƣởng tốc độ nút vào/ra hệ thống đối với tỷ lệ cập nhật thành công của giải pháp đề xuất và giải pháp của Nakashima ......77 Bảng 3.7. Kết quả mô phỏng ảnh hƣởng số lƣợng nút đối với tỷ lệ cập nhật thành công của giải pháp đề xuất và giải pháp của Nakashima ........................78 Bảng 3.8. Kết quả mô phỏng ảnh hƣởng tốc độ nút thực hiện cập nhật đối với tỷ lệ cập nhật thành công của giải pháp đề xuất và giải pháp của Nakashima 79 Bảng 3.9. Kết quả mô phỏng ảnh hƣởng của số lƣợng nút đối với độ trễ cập nhật của giải pháp đề xuất và giải pháp của Nakashima, Yi ............................84 Bảng 3.10. Kết quả mô phỏng ảnh hƣởng tốc độ nút vào/ra hệ thống đối với độ trễ cập nhật của giải pháp đề xuất và giải pháp của Nakashima, Yi .........................85 Bảng 3.11. Kết quả mô phỏng ảnh hƣởng tốc độ nút thực hiện cập nhật đối với tỷ lệ cập nhật thành công của giải pháp đề xuất và giải pháp của Nakashima, Yi ..............................................................................................................87 Bảng 3.12. Tổng hợp kết quả mô phỏng của thuật toán AllResVm và thuật toán tham lam với các khả năng khác nhau của bộ xử lý P .....................................94
x DANH MỤC CÁC HÌNH Hình 1. Số lƣợng ngƣời dùng Internet giai đoạn từ 2012 đến 2021 ..........................1 Hình 2. Dung lƣợng trên Internet mỗi tháng giai đoạn từ 2017 đến 2022 ................2 Hình 3. Thiết bị đầu cuối kết nối mạng Internet giai đoạn từ 2017 đến 2022 ..........2 Hình 4. Mạng không dây kết nối Internet giai đoạn từ 2018 đến 2023 ....................3 Hình 5. Các ứng dụng sử dụng nhiều nhất lƣu lƣợng trên mạng Internet giai đoạn từ 2017 đến 2021 ...........................................................................................4 Hình 1.1. Bốn thực thể tạo nên hệ phân tán .............................................................12 Hình 1.2. Minh họa mạng ngang hàng P2P ..............................................................15 Hình 1.3. Lƣu trữ phân tán trong mạng P2P có cấu trúc ..........................................16 Hình 1.4. Phân loại các kỹ thuật nhân bản dữ liệu trong mạng P2P ........................20 Hình 1.5. Hệ thống dữ liệu chia sẻ X ........................................................................21 Hình 1.1. Đảm bảo mô hình nhất quán tuần tự ........................................................23 Hình 1.7. Đảm bảo mô hình nhất quán nhân quả .....................................................24 Hình 1.8. Đảm bảo mô hình nhất quán PRAM ........................................................24 Hình 1.9. Đảm bảo mô hình nhất quán yếu ..............................................................25 Hình 1.10. Tiến trình thực thi độc lập trên dữ liệu chia sẻ X trong mạng P2P ........25 Hình 1.11. Truyền thông Unicast .............................................................................28 Hình 1.12. Truyền thông Broadcast .........................................................................29 Hình 1.13. Truyền thông Multicast ..........................................................................29 Hình 1.14. Nút liên kết trong chuỗi logic cập nhật...................................................30 Hình 1.15. Thông điệp khai khoáng q bƣớc về mỗi hƣớng ......................................31 Hình 2.1. Biểu diễn phân phối Pareto ......................................................................39 Hình 2.2. Biểu diễn phân phối Poisson ....................................................................40 Hình 2.3. Biểu diễn phân phối Zipf ..........................................................................41 Hình 2.4. Minh họa cây nhị phân cập nhật ...............................................................42 Hình 2.5. Xây dựng cây cập nhật sử dụng nút đại diện ...........................................44 Hình 2.6. Mô hình lan truyền cập nhật trong cấu trúc cây .......................................46 Hình 2.7. Mô hình tính toán rút gọn đối với độ trễ cập nhật ....................................46 Hình 2.8. Kiến trúc ứng dụng xây dựng trên mạng P2P ..........................................50 Hình 2.9. Sắp xếp các nút và khóa trong không gian định danh 128 bit ..................51
xi Hình 2.10. Bảng định tuyến của mỗi nút trong mạng Pastry ...................................52 Hình 2.11. Mô phỏng thuật toán trên mạng Pastry bằng công cụ OverSim ............52 Hình 3.1. Ký hiệu các nút con ..................................................................................55 Hình 3.2. Các nút tham gia hệ thống dữ liệu chia sẻ X và đƣợc sắp xếp trong không gian định danh [0,2128 -1].........................................................................57 Hình 3.3. Minh họa kết quả xây dựng cây cập nhật của thuật toán ID_LINK .........58 Hình 3.4. So sánh thuật toán đề xuất với giải pháp của Nakashima về ảnh hƣởng tốc độ nút vào/ra hệ thống đối với độ trễ cập nhật ........................................63 Hình 3.5. Minh họa cây cập nhật và vector V của nút Y ..........................................68 Hình 3.6. Bộ nhớ đệm của nút Y trƣớc và sau cập nhật ...........................................69 Hình 3.7. Giải phóng bộ nhớ đệm của nút Y đầy trong trƣờng hợp 1 ......................70 Hình 3.8. Hoán đổi liên kết các nút trong trƣờng hợp 1...........................................70 Hình 3.9. Cập nhật trong bộ nhớ đệm của nút K khi có nút con mới .......................71 Hình 3.10. Giải phóng bộ nhớ đệm của nút Y đầy trong trƣờng hợp 2 ....................72 Hình 3.11. Hoán đổi liên kết các nút trong trƣờng hợp 2.........................................72 Hình 3.12. So sánh giải pháp đề xuất với giải pháp của Nakashima về ảnh hƣởng tốc độ nút vào/ra hệ thống đối với độ trễ cập nhật ..................................74 Hình 3.13. So sánh giải pháp đề xuất với giải pháp của Nakashima về ảnh hƣởng tốc độ nút thực hiện cập nhật đối với độ trễ cập nhật ..............................75 Hình 3.14. So sánh giải pháp đề xuất với giải pháp của Nakashima về ảnh hƣởng số lƣợng nút đối với độ trễ cập nhật .............................................................76 Hình 3.15. So sánh giải pháp đề xuất với giải pháp của Nakashima về ảnh hƣởng tốc độ nút vào/ra hệ thống đối với tỷ lệ cập nhật thành công ..................78 Hình 3.16. So sánh giải pháp đề xuất với giải pháp của Nakashima về ảnh hƣởng của số lƣợng nút đối với tỷ lệ cập nhật thành công .................................78 Hình 3.17. So sánh giải pháp đề xuất với giải pháp của Nakashima về ảnh hƣởng tốc độ nút thực hiện cập nhật đối với tỷ lệ cập nhật thành công .......................79 Hình 3.18. So sánh giải pháp đề xuất với giải pháp của Nakashima, Yi về ảnh hƣởng số lƣợng nút đối với độ trễ cập nhật .............................................84 Hình 3.19. So sánh giải pháp đề xuất với giải pháp của Nakashima, Yi về ảnh hƣởng tốc độ nút vào/ra hệ thống đối với độ trễ cập nhật .......................86 Hình 3.20. So sánh giải pháp đề xuất với giải pháp của Nakashima, Yi về ảnh hƣởng tốc độ nút thực hiện cập nhật đối với tỷ lệ cập nhật thành công ..87
xii Hình 3.21. Mô hình phân tán M VM-out-of-N PM..................................................89 Hình 3.22. Giao diện thực nghiệm cấp phát tài nguyên CPU cho máy ảo ...............93 Hình 3.23. So sánh thuật toán AllResVm với thuật toán tham lam...........................94
1 MỞ ĐẦU 1. Tính cấp thiết của luận án Trong kỷ nguyên Internet, thế giới chứng kiến sự bùng nổ về số lƣợng ngƣời dùng và lƣu lƣợng trao đổi thông tin trên mạng. Điều này có đƣợc là do sự phát triển vƣợt bậc của công nghệ trên các lĩnh vực nhƣ phần cứng, phần mềm và kết nối (truyền thông). Ngày nay, ngƣời dùng cuối có thể sử dụng rất nhiều loại phƣơng tiện hay thiết bị nhƣ điện thoại thông minh, máy tính xách tay, tivi để kết nối mạng Internet bằng công nghệ truyền thông tốc độ cao (mạng cáp quang hoặc mạng wifi 4G, 5G), thông qua các ứng dụng hết sức đa dạng, thực hiện mọi hoạt động trên mạng (chia sẻ thông tin, làm việc tƣơng tác...). Qua các số liệu thống kê và dự báo đƣợc công bố bởi các tổ chức uy tín nhƣ tổ chức Liên minh viễn thông quốc tế ITU (International Telecommunication Union), tổ chức phi lợi nhuận hỗ trợ cơ sở hạ tầng của Internet toàn cầu ISC (Internet Systems Consortium) và công ty hàng đầu thế giới về công nghệ thông tin và kết nối mạng Cisco, cho thấy các thông tin liên quan đến hoạt động và phát triển của hệ phân tán nhƣ sau: 5 4.54 4.66 4.39 4.5 4.02 Số lƣợng ngƣời dùng Internet 4 3.77 3.42 3.5 3.01 (Đơn vị: Tỷ) 3 2.33 2.48 2.5 2.08 2 1.5 1 0.5 0 2012 2013 2014 2015 2016 2017 2018 2019 2020 2021 Hình 1. Số lƣợng ngƣời dùng Internet giai đoạn từ 2012 đến 2021 [1] Người dùng Internet: Thế giới hiện có 4,66 tỷ ngƣời dùng Internet, và từ năm 2012 đến nay, tốc độ ngƣời dùng luôn tăng rất nhanh qua từng năm, đƣợc trình
2 bày nhƣ trong Hình 1. Dung lượng trao đổi trên Internet: Dung lƣợng trao đổi trên mạng Internet mỗi tháng là rất lớn, năm 2021 là 267 exabytes và dự kiến năm 2022 sẽ lên đến 333 exabytes, đƣợc trình bày nhƣ trong Hình 2. 350 333 Internet (Đơn vị: Exabytes) 300 Dung lƣợng trao đổi trên 267 250 212 200 167 150 129 100 100 50 0 2017 2018 2019 2020 2021 2022 Hình 2. Dung lƣợng trên Internet mỗi tháng giai đoạn từ 2017 đến 2022 [2] Thiết bị đầu cuối kết nối Internet: Nhiều loại thiết bị đầu cuối có thể giúp ngƣời dùng kết nối mạng, trong đó thiết bị cầm tay nhƣ điện thoại thông minh luôn chiếm đa số và phát triển nhanh có tỷ lệ lớn, dự báo năm 2022 sẽ là 50%, đƣợc trình bày nhƣ trong Hình 3. Hình 3. Thiết bị đầu cuối kết nối mạng Internet giai đoạn từ 2017 đến 2022 [3]
3 Hình 4. Mạng không dây kết nối Internet giai đoạn từ 2018 đến 2023 [3] Công nghệ không dây kết nối mạng: Các mạng không dây tốc độ cao nhƣ 4G, 5G ngày càng đƣợc các thiết bị sử dụng rộng rãi, phổ biến để kết nối mạng. Chẳng hạn, dự báo đến nay 2023, mạng 4G sẽ chiếm 46,0% và mạng 5G sẽ chiếm 10,6% trên tổng số các kết nối, đƣợc trình bày nhƣ trong Hình 4. Cùng với những thành tựu của Công nghệ Thông tin (CNTT) nhƣ trình bày ở trên, các ứng dụng phân tán đã ra đời và phát triển nhanh chóng đƣợc xem nhƣ là sự tất yếu, luôn nhận đƣợc sự quan tâm rất lớn của giới chuyên gia trong lĩnh vực CNTT, các tập đoàn công nghệ phát triển sản phẩm CNTT. Những ứng dụng này cho phép sử dụng, kế thừa cơ sở hạ tầng sẵn có, đƣợc xây dựng trên nhiều nền tảng, công nghệ khác nhau; khai thác, vận hành tối đa và hiệu quả các tài nguyên từ mọi vị trí địa lý, để taọ ra môi trƣờng làm việc mở, chia sẻ và tƣơng tác [4] [5] [6]. Mạng ngang hàng (Peer – To – Peer, viết tắt P2P) [7] [8] có nhiều ƣu điểm, tính năng vƣợt trội về tính phân tán cố hữu, quản lý các điểm (sau đây gọi là nút) vào/ra hệ thống, các nút không thuần nhất về khả năng (tốc độ xử lý, bộ nhớ, băng thông sử dụng), phân chia tài nguyên một cách phù hợp và cho phép khả năng mở rộng hệ thống. Vì thế, hiện nay mạng P2P là công nghệ phổ biến, một phần không thể thiếu trong cách mạng Internet, nền tảng quan trọng để phát triển các ứng dụng phân tán nhƣ phân phối tập tin [9] [10], hệ thống lƣu trữ dữ liệu phân tán [11], điện toán đám mây [12], công nghệ chuỗi – khối [13] [14] (sau đây gọi chung là ứng
4 dụng trên mạng P2P). Trong giai đoạn từ 2017 đến 2021, các ứng dụng phân phối tập tin sử dụng 7 Exabytes dung lƣợng trao đổi và luôn là một trong số các ứng dụng sử dụng nhiều nhất trên mạng Internet, đƣợc trình bày nhƣ trong Hình 5. Những ứng dụng phân phối tập tin phổ biến nhất hiện nay nhƣ Utorrent [15], Bittorrent [16]... cho phép ngƣời dùng có thể phân phối dữ liệu nhanh chóng và hiệu quả; ngƣời dùng có thể tự do kết nối với những ngƣời khác mà không cần phải biết về các máy tính khác hoặc cách thức mạng hoạt động. 200 184 Internet video Dung lƣợng trao đổi trên Internet 180 Web, email, and data 160 Online gaming 140 (Đơn vị: Exabytes) 140 File sharing 120 105 100 77 80 60 42 40 27 19 23 15 11 7 20 9 7 1 37 47 77 0 2017 2018 2019 2020 2021 Hình 5. Các ứng dụng sử dụng nhiều nhất lƣu lƣợng trên mạng Internet giai đoạn từ 2017 đến 2021 [3] Các ứng dụng phân tán thƣờng có quy mô lớn về địa lý và số lƣợng lớn ngƣời dùng, cần đáp ứng các yêu cầu đa dạng, phức tạp về dữ liệu; đồng thời các ứng dụng này cũng phải triệt để phát huy ƣu thế của môi trƣờng phân tán và công nghệ nhằm mang lại hiệu quả tối đa. Chính vì vậy, chúng không thể sử dụng dữ liệu tập trung mà phải lƣu trữ phân tán. Nghĩa là, một đối tƣợng dữ liệu sẽ đƣợc lƣu trữ tại nhiều nút trong mạng P2P và đƣợc thực hiện bằng kỹ thuật nhân bản (trình bày ở phần sau), gọi là hệ thống dữ liệu chia sẻ, nhằm đáp ứng yêu cầu và hiệu quả nhất cho các ứng dụng phân tán nhƣ: sự tin cậy cao, khả năng mở rộng, chịu lỗi, khôi phục, sẵn sàng đáp ứng dữ liệu và cân bằng tải... Trong nghiên cứu của luận án là đối với hệ thống dữ liệu chia sẻ đƣợc xây dựng trên mạng P2P, vì thế khi trình bày,
5 hai thuật ngữ nhất quán dữ liệu chia sẻ và nhất quán dữ liệu trong mạng P2P có ý nghĩa tƣơng đƣơng nhau. Đối với kỹ thuật nhân bản, bên cạnh những ƣu điểm nhƣ trên, mỗi bản sao đƣợc thực thi, xử lý bởi các tiến trình hoàn toàn độc lập, tự trị và không thuần nhất, sẽ đặt ra những vấn đề khó khăn, phức tạp [17] [18] về an ninh an toàn, chi phí lƣu trữ, thao tác ghi dữ liệu chậm, thời gian ngừng hệ thống trong khi tạo bản sao mới, yêu cầu đảm bảo tính nhất quán dữ liệu... Tính nhất quán dữ liệu phụ thuộc vào mô hình nhất quán dữ liệu, trong đó quy định cơ chế thực thi của các tiến trình (các thao tác đọc/ghi) trên dữ liệu chia sẻ. Đảm bảo tính nhất quán dữ liệu để các tiến trình cục bộ (đọc/ghi) trả về kết quả chính xác, tin cậy, đáp ứng tốt các yêu cầu từ phía ngƣời dùng, do đó đây là yêu cầu vô cùng quan trọng và cần thiết [19] [20]. Ngay từ rất sớm, bài toán đảm bảo tính nhất quán dữ liệu chia sẻ đã đƣợc quan tâm nghiên cứu. Tuy nhiên, qua nghiên cứu nhận thấy rằng, các đề xuất có phạm vi giải quyết hiệu quả hẹp hoặc khó đáp ứng đƣợc cho các hệ thống dữ liệu chia sẻ ngày này, do môi trƣờng phân tán và yêu cầu ngày càng trở nên đa dạng, phức tạp [19] [20]. Cụ thể những vấn đề còn tồn tại hoặc cần xem xét trong nghiên cứu nhƣ sau: - Giải pháp chỉ đảm bảo tính nhất quán dữ liệu hạn chế, chẳng hạn nhƣ nhất quán theo thời gian, nhất quán xác suất, nhất quán ngẫu nhiên và nhất quán yếu...; chủ yếu triển khai thực hiện cho các hệ thống dữ liệu chia sẻ tƣơng đối nhỏ (ít nút) và tĩnh (tốc độ nút vào/ra hệ thống, tốc độ nút thực hiện cập nhật nhỏ) nhƣ hệ thống dữ liệu chia sẻ gồm có các nút là trung tâm dữ liệu (Data Center). - Giải pháp còn hạn chế, khó triển khai đƣợc cho các hệ thống dữ liệu chia sẻ nhƣ hiện này, do những vấn đề ngày càng phức tạp, khó khăn từ các nguyên nhân khách quan, chủ quan, cụ thể nhƣ sau: + Hệ thống dữ liệu chia sẻ có thể đƣợc xây dựng trên nhiều nền tảng hạ tầng khác nhau, có quy mô lớn về đia lý, số lƣợng nút tham gia và dữ liệu chia sẻ; các thiết bị kết nối đầu cuối trở nên đa dạng, phƣơng thức kết nối tốc độ cao và tùy biến. Đặc biệt trong bối cảnh phát triển nhanh chóng của khoa học công nghệ nhƣ hiện nay, thì điều này sẽ ngày càng trở nên phức tạp.
6 + Hệ thống dữ liệu chia sẻ bao gồm các nút có yêu cầu thực thi ở mức độ tự trị cao và không thuần nhất về khả năng của nút, tốc độ nút vào/ra hệ thống, tốc độ nút thực hiện cập nhật. + Hệ thống dữ liệu chia sẻ sẽ có yêu cầu đảm bảo tính nhất quán khác nhau và đa dạng, chẳng hạn nhƣ mô hình nhất quán, phƣơng thức đảm bảo tính nhất quán và yêu cầu về hiệu quả độ trễ cập nhật, số lƣợng thông điệp hay băng thông sử dụng... Do đó, đảm bảo tính nhất quán dữ liệu chia sẻ trong mạng P2P vẫn luôn là bài toán khó khăn, thách thức chủ yếu và còn rất cần thiết tiếp tục nghiên cứu và phát triển. Vì vậy, nghiên cứu sinh đã lựa chọn đề tài “Nâng cao hiệu quả một số kỹ thuật đảm bảo tính nhất quán dữ liệu trong mạng P2P”, để thực hiện nghiên cứu trong nội dung luận án. 2. Mục tiêu nghiên cứu của luận án Mục tiêu chính của luận án nhằm nghiên cứu và đề xuất các giải pháp kỹ thuật đảm bảo tính nhất quán dữ liệu chia sẻ, nhằm làm cơ sở ứng dụng cho các hệ thống dữ liệu chia sẻ, từ đó để phát triển các ứng dụng phân tán trong tình hình hiện nay. Một số mục tiêu cụ thể của luận án nhƣ sau: - Nghiên cứu và đƣa ra đƣợc những vấn đề về lý thuyết tƣơng đối hoàn chỉnh của bài toán đảm bảo tính nhất quán dữ liệu chia sẻ trong mạng P2P. - Nghiên cứu, đề xuất một số giải pháp có hiệu quả giải quyết bài toán đảm bảo tính nhất quán dữ liệu trong mạng P2P cụ thể (môi trƣờng phân tán và yêu cầu đảm bảo tính nhất quán dữ liệu). 3. Đối tƣợng và phạm vi nghiên cứu của luận án Đối tượng nghiên cứu: Xác định mục tiêu nghiên cứu và các giải pháp đối với bài toán đảm bảo tính nhất quán dữ liệu trong mạng P2P nhƣ trên, luận án tập trung vào những đối tƣợng nghiên cứu nhƣ sau: - Mạng P2P, trong đó nghiên cứu sâu về mạng Pastry và hệ phân tán xây dựng trên mạng P2P. - Nhân bản dữ liệu trong các hệ thống dữ liệu chia sẻ.