Luận văn Thạc sĩ Hệ thống thông tin: Nghiên cứu, phát triển kỹ thuật đánh giá chất lượng trải nghiệm dịch vụ mạng viễn thông
lượt xem 2
download
Luận án "Nghiên cứu, phát triển kỹ thuật đánh giá chất lượng trải nghiệm dịch vụ mạng viễn thông" được hoàn thành với mục tiêu nhằm tìm ra phương pháp đánh giá chất lượng dịch vụ, chất lượng trải nghiệm, theo hướng người dùng hay từ mạng lưới, dịch vụ nào đang được quan tâm nhiều nhất và ý nghĩa trong việc đánh giá chất lượng trải nghiệm, chất lượng dịch vụ đối với nó.
Bình luận(0) Đăng nhập để gửi bình luận!
Nội dung Text: Luận văn Thạc sĩ Hệ thống thông tin: Nghiên cứu, phát triển kỹ thuật đánh giá chất lượng trải nghiệm dịch vụ mạng viễn thông
- ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN HỮU HẢI NGHIÊN CỨU, PHÁT TRIỂN KỸ THUẬT ĐÁNH GIÁ CHẤT LƯỢNG TRẢI NGHIỆM DỊCH VỤ MẠNG VIỄN THÔNG LUẬN VĂN THẠC SỸ HỆ THỐNG THÔNG TIN Hà Nội - 2022
- ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN HỮU HẢI NGHIÊN CỨU, PHÁT TRIỂN KỸ THUẬT ĐÁNH GIÁ VÀ QUẢN LÝ CHẤT LƯỢNG TRẢI NGHIỆM DỊCH VỤ MẠNG VIỄN THÔNG LUẬN VĂN THẠC SỸ HỆ THỐNG THÔNG TIN Ngành: Công nghệ thông tin Chuyên ngành: Hệ thống thông tin Mã số: 8480104.01 Người hướng dẫn luận văn: PGS.TS. Hà Quang Thụy Hà Nội - 2022
- LỜI CẢM ƠN Em xin chân thành cảm ơn các thầy, cô giáo trường Đại học Công Nghệ, Đại Học Quốc Gia Hà Nội, đã tận tình hướng dẫn, giảng dạy trong suốt quá trình học tập, nghiên cứu tại trường. Em xin gửi lời cảm ơn sâu sắc đến giảng viên PGS.TS Hà Quang Thụy cùng toàn thể quý thầy cô thuộc bộ môn Hệ Thống Thông Tin. Thầy, cô đã tận tình hướng dẫn và định hướng cho em hoàn thành khóa luận này. Cám ơn tác giả A. V. Ivchenko về sự hỗ trợ nguồn chương trình (https://github.com/AleksandrIvchenko/QoE-assesment), cảm ơn các bạn trong nhóm cộng tác về sự tham gia triển khai thực nghiệm. Mặc dù có nhiều cố gắng thực hiện đề tài luận văn một cách hoàn chỉnh nhất. Song luận văn còn nhiều thiếu sót. Rất mong được sự góp ý của quý thầy, cô và các bạn để luận văn được hoàn chỉnh hơn. Em xin chân thành cảm ơn! Hà Nội, tháng 04 năm 2022 Nguyễn Hữu Hải i
- LỜI CAM ĐOAN Em xin cam đoan các kết quả báo cáo đạt được trong luận văn này do em thực hiện dưới sự hướng dẫn của PGS.TS Hà Quang Thụy. Tất cả các tham khảo từ những nghiên cứu liên quan đều được nêu nguồn gốc một cách rõ ràng từ danh mục tài liệu tham khảo trong luận văn. Luận văn không sao chép tài liệu, công trình nghiên cứu của người khác mà không chỉ rõ về mặt tài liệu tham khảo. Các kết quả thực nghiệm của luận văn đều được tiến hành thực nghiệm và thống kê từ kết quả thực tế. Tác giả Nguyễn Hữu Hải ii
- Mục lục MỞ ĐẦU Động lực nghiên cứu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Mục tiêu và nội dung nghiên cứu . . . . . . . . . . . . . . . . . . . . . . . . . . . Tổ chức của luận văn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 TỔNG QUAN VỀ QoS VÀ QoE 1 1.1 Chất lượng dịch vụ QoS và chất lượng trải nghiệm QoE, mối quan hệ giữa QoS, QoE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.1.1 Giới thiệu chung QoS . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.1.2 Giới thiệu chung QoE . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.1.3 Mối quan hệ giữa QoS và QoE . . . . . . . . . . . . . . . . . . . . . . 3 1.2 Giới thiệu về mạng 5G . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.3 QoS, QoE đối với mạng 5G . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 1.3.1 Khả năng QoS mức cao của mạng 5G . . . . . . . . . . . . . . . . . . 8 1.3.2 Yêu cầu chức năng chất lượng dịch vụ cho mạng 5G . . . . . . . . . . 9 1.3.3 Yêu cầu QoE cho mạng 5G . . . . . . . . . . . . . . . . . . . . . . . 11 1.4 Kết chương 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 2 BÀI TOÁN ĐÁNH GIÁ CHẤT LƯỢNG TRẢI NGHIỆM DỊCH VỤ VIDEO 13 2.1 Giới thiệu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 2.2 Tổng quan về mô hình đánh giá QoE theo P.1203 . . . . . . . . . . . . . . . 16 2.2.1 Cấu trúc và cơ sở tính toán đầu ra của P.1203 . . . . . . . . . . . . . 16 2.2.2 Các khía cạnh hoạt động thực tế của P.1203 . . . . . . . . . . . . . . 19 2.3 Phạm vi đánh giá, lĩnh vực áp dụng của mô hình dòng bit . . . . . . . . . . 27 2.3.1 Phạm vi đánh giá của mô hình dòng bit . . . . . . . . . . . . . . . . 27 2.3.2 Lĩnh vực áp dụng, phạm vi tham số của mô hình dòng bit . . . . . . 28 2.3.3 Dữ liệu phục vụ đánh giá mô hình . . . . . . . . . . . . . . . . . . . 29 2.3.4 Hiệu suất của mô hình . . . . . . . . . . . . . . . . . . . . . . . . . . 30 2.4 Kết chương 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 iii
- MỤC LỤC iv 3 THỰC NGHIỆM VÀ ĐÁNH GIÁ 32 3.1 Bài toán thực nghiệm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 3.2 Phần mềm và dữ liệu thực nghiệm . . . . . . . . . . . . . . . . . . . . . . . 33 3.2.1 Mô tả phần mềm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 3.2.2 Mô tả dữ liệu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 3.3 Môi trường thực nghiệm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 3.4 Kịch bản thực nghiệm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 3.4.1 Tìm hiểu dữ liệu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 3.4.2 Bổ sung các đặc trưng mới cho dữ liệu . . . . . . . . . . . . . . . . . 42 3.4.3 Làm sạch dữ liệu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 3.4.4 Xử lý dữ liệu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 3.4.5 Lựa chọn mô hình . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 3.5 Kết quả thực nghiệm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 3.6 Tối ưu khối lượng xử lý khi đào tạo . . . . . . . . . . . . . . . . . . . . . . . 55 3.7 Đánh giá, so sánh kết quả . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 3.8 Kết chương 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 58 Các kết quả chính . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 Hạn chế . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 Hướng phát triển . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 TÀI LIỆU THAM KHẢO 60
- Danh sách hình vẽ 1 QoE trong hệ thống sinh thái cho nhà cung cấp ứng dụng/dịch vụ [1] . . . . 1.1 Mối quan hệ giữa QoS, QoE [9] . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.2 Các kịch bản sử dụng của mạng 5G [13] . . . . . . . . . . . . . . . . . . . . 7 1.3 Khung làm việc của mạng mạng 5G [15] . . . . . . . . . . . . . . . . . . . . 8 1.4 Năng lực QoS mức cao của mạng 5G [13] . . . . . . . . . . . . . . . . . . . . 9 2.1 Mục đích của mô hình đánh giá chất lượng khách quan dịch vụ đa phương tiện [8]. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 2.2 Phương pháp đo đạc cho các tính huống khác nhau [8]. . . . . . . . . . . . . 14 2.3 Sơ đồ khối của mô hình P.1203 [20] . . . . . . . . . . . . . . . . . . . . . . . 16 2.4 Các mode khác nhau của P.1203 [22] . . . . . . . . . . . . . . . . . . . . . . 20 2.5 Cửa sổ đo đạc của mô-đun Pv, Pa [20] . . . . . . . . . . . . . . . . . . . . . 20 2.6 Cách thức tính toán của avgStallInterval [21] . . . . . . . . . . . . . . . . . . 26 2.7 Một ví dụ về cây quyết định [21] . . . . . . . . . . . . . . . . . . . . . . . . 26 3.1 Thiết lập thử nghiệm phát video trực tuyến [28] . . . . . . . . . . . . . . . . 36 3.2 Hình ảnh chụp màn hình nội dung video [28] . . . . . . . . . . . . . . . . . . 37 3.3 Tham số chất lượng tiêu chuẩn so với MOS [28] . . . . . . . . . . . . . . . . 39 3.4 Cấu hình biến đổi chất lượng của các video [28] . . . . . . . . . . . . . . . . 40 3.5 Phân bổ MOS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 3.6 Phân bổ sự kiện dừng hình . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 3.7 Phân bổ PSNR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 3.8 Sự phân bổ của tham số không gian, thời gian trong dữ liệu [26] . . . . . . . 43 3.9 Phân bổ SRCC, P-Value theo các mức tốc độ bit . . . . . . . . . . . . . . . 44 3.10 Biểu đồ tương quan giữa giá trị trung bình, trung vị của PSNR . . . . . . . 45 3.11 Biểu đồ tương quan thời gian dừng hình và thời gian trình chiếu video . . . 45 3.12 Biểu đồ tương quan thời gian dừng hình và khởi tạo bộ đệm . . . . . . . . . 46 3.13 Biểu đồ mật độ giữa tính chuyển động và MOS . . . . . . . . . . . . . . . . 48 3.14 Biểu đồ mật độ giữa nội dung và MOS . . . . . . . . . . . . . . . . . . . . . 48 3.15 Biểu đồ mật độ giữa nội dung và MOS . . . . . . . . . . . . . . . . . . . . . 49 3.16 Phân tầng áp dụng cho năm mô hình cơ bản với siêu tham số mặc định . . . 51 v
- DANH SÁCH HÌNH VẼ vi 3.17 Sơ đồ mô tả về công việc hồi quy tăng cường. . . . . . . . . . . . . . . . . . 52 3.18 Đường cong học máy trên các siêu tham số tốt nhất . . . . . . . . . . . . . . 52 3.19 Biểu đồ mật độ của đánh giá Gradient boost Regression QoE . . . . . . . . 54 3.20 Phân phối phần dư của đánh giá Gradient boost Regression QoE . . . . . . 54 3.21 Kết quả mô hình Gradient boost VQA. Dự đoán về mô tả dòng màu xanh lam trên tập kiểm thử và đường màu xanh lục hiển thị kết quả trên tập hợp xác thực. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 3.22 Kết quả cải tiến mô hình. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
- Danh sách bảng 1.1 Phân nhóm quá trình đo đạc QoS, QoE trong mạng 5G . . . . . . . . . . . . 4 2.1 Hệ số mô hình âm thanh cho các codec âm thanh khác nhau [23] . . . . . . . 17 2.2 Bộ hệ số cho O.46 [21] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 2.3 Thông tin mã hóa âm thanh . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 2.4 Thông tin mã hóa hình ảnh . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 2.5 Tham số và phạm vi ứng dụng của Pq . . . . . . . . . . . . . . . . . . . . . 27 2.6 Hiệu suất của mô hình đối với các chế độ khác nhau . . . . . . . . . . . . . . 30 3.1 Mô tả các video trong cơ sở dữ liệu . . . . . . . . . . . . . . . . . . . . . . . 35 3.2 Thang mã hóa của chuỗi video . . . . . . . . . . . . . . . . . . . . . . . . . . 37 3.3 SRCC của tham số chất lượng QoE tiêu chuẩn và MOS . . . . . . . . . . . . 38 3.4 Bảng dữ liệu hệ số tương quan giữa các đặc trưng so với MOS . . . . . . . . 46 3.5 Hiệu suất các mô hình khi sử dụng tham số mặc định . . . . . . . . . . . . . 50 3.6 So sánh hiệu suất Mô hình Hồi quy tăng cường và Rừng ngẫu nhiên . . . . . 51 3.7 Hiệu suất mô hình khi sử dụng RandomizedSearchCV thay cho GridSearchCV 56 vii
- Danh mục thuật ngữ viết tắt Viết tắt Tên tiếng Anh Tên tiếng Việt ABR Adaptive Bitrate Streaming Truyền trực tuyến thích ứng tốc độ Bit AN Access Network Mạng truy cập B5G Beyond 5G Networks Mạng sau thế hệ thứ 5 CN Core Networ Mạng lõi Dynamic Adaptive Streaming Truyền trực tuyến thích ứng động qua DASH over HTTP HTTP E2E End - to - End Đầu cuối đến đầu cuối eMBB Enhance Mobile Broadband Băng thông rộng di động tăng cường GBR Guaranteed Bit Rate Tốc độ bit đảm bảo IoT Internet of Things Internet vạn vật KPI Key Performance Indicator Chỉ số hiệu suất chính MOS Mean Opinion Score Điểm số ý kiến trung bình MSE Mean Squared Error Sai số bình phương trung bình MAE Mean absolute error Sai số trung bình tuyệt đối Massive Machine Type Commu- MTC Giao tiếp kiểu máy mật độ lớn nication PSNR Peak Signal to Noise Ratio Tỷ số tín hiệu cực đại trên nhiễu QoE Quality of Experience Chất lượng trải nghiệm QoS Quality of Service Chất lượng dịch vụ RAN Radio Access Network Mạng truy cập Vô tuyến RAT Radio Access Technology Công nghệ truy cập Vô tuyến SI Spatial information Thông tin không gian SLA Service Level Agreement Thỏa thuận mức dịch vụ TI Temporal information Thông tin thời gian UE User Equipment Thiết bị đầu cuối Ultra-reliable Low Latency Com- Giao tiếp có tính quan trọng trong giao URLLC munications tiếp có độ trễ thấp siêu tin cậy QCVN Quy chuẩn Việt Nam viii
- MỞ ĐẦU Động lực nghiên cứu Khi mạng 5G triển khai trên toàn cầu, các nhà nghiên cứu đã bắt đầu vạch ra kế hoạch cho các Mạng sau thế hệ 5 (Beyond 5G Networks (B5G)). Một số yêu cầu chính của mạng B5G bao gồm kết nối toàn cầu, độ trễ thấp, hiệu quả năng lượng, độ tin cậy và tốc độ dữ liệu lên đến 100 terabits mỗi giây [2]. Lưu lượng IP được dự đoán sẽ tăng lên 396 exabyte vào năm 2022, gấp ba lần so với năm 2017. Đến năm 2025, các thiết bị được kết nối dự kiến sẽ vượt qua 75,4 tỷ trên toàn cầu. Mạng B5G sẽ phải đối mặt với thách thức về sự tăng trưởng số lượng lớn các thiết bị IoT (Internet of Things) được kết nối và tăng lưu lượng truy cập đa dạng. Cung cấp các đảm bảo về Chất lượng Dịch vụ (Quality of Service - QoS) để đảm bảo chất lượng mạng ở mức nhất định sẽ rất quan trọng. Việc triển khai quy mô lớn của các thiết bị IoT đã cho phép sự can thiệp của công nghệ trong nhiều lĩnh vực tác động đến cuộc sống con người, từ nhà thông minh đến các ngành công nghiệp thông minh và điện lưới thông minh. Mục tiêu chính là thu thập và phân tích các mô hình sử dụng và cung cấp việc sử dụng tài nguyên hiệu quả. Các thiết bị này cũng có xu hướng truyền dữ liệu cảm biến thô cho nhà sản xuất để khai thác dữ liệu chi tiết bên trong trung tâm dữ liệu. Một số trường hợp đòi hỏi phải có yêu cầu pháp lý rõ ràng về việc truyền dữ liệu cảm biến qua mạng viễn thông, chẳng hạn như giám sát trẻ em, kiểm soát người đi bộ qua đường, hoặc điện lưới thông minh. Các mạng di động hiện tại không đủ để đáp ứng các mạng IoT khổng lồ. Khả năng kết nối liền mạch cho các thiết bị IoT trong mạng B5G sẽ đòi hỏi phải giải quyết nhiều thách thức khác nhau, bao gồm đảm bảo QoS, xử lý các chi phí chồng lần báo hiệu, các kỹ thuật đa truy cập không trực giao với hiệu suất phổ và băng thông tốt hơn, từ đó cải thiện về mặt năng lượng. Khi số lượng các nút IoT tăng lên, Kỹ thuật đa truy nhập trực giao được sử dụng trong các mạng hiện tại không hỗ trợ truy cập diện rộng và không có khả năng cung cấp hiệu quả phổ tần cao và độ trễ thấp. Kỹ thuật đa truy nhập không trực giao được sử dụng để cải thiện hiệu quả phổ tần và băng thông, đồng thời đưa ra một số mức độ nhiễu tại đầu thu. Mạng B5G sẽ bao gồm một loạt các thiết bị IoT, bao gồm cảm biến, thiết bị đeo được, máy giặt, máy theo dõi sức khỏe, máy điều hòa không khí, hệ thống giao thông, điện thoại
- MỞ ĐẦU thông minh và máy tính bảng [3]. Một số nút IoT sẽ thực hiện các nhiệm vụ điều khiển và giám sát, các nút khác có thể phải truyền nội dung. Sự thay đổi đó dẫn đến kỳ vọng về QoS cũng khác nhau. Các tham số QoS được sử dụng bởi các phương pháp tiếp cận dựa trên mạng lưới để lựa chọn thiết bị truy cập là độc lập với thiết bị đầu cuối và không tính đến các yêu cầu QoS dành riêng cho từng nút IoT, không biết về các yêu cầu cụ thể của thiết bị và ứng dụng tại nút. Phương pháp này sẽ dẫn đến một lượng lớn thông tin báo hiệu được truyền giữa các phần tử mạng và các nút IoT. Các phương pháp tiếp cận tập trung giúp các nhà khai thác mạng đạt được một số mục tiêu liên quan đến tối ưu hóa mạng lưới một cách tổng thể như tối đa hóa thông lượng, cân bằng tải và nâng cao tính công bằng của người dùng. Cách tiếp cận lấy mạng làm trung tâm, các thiết bị mạng có tổng quan đầy đủ về cấu trúc liên kết và thông tin về các điều kiện thay đổi liên tục của các liên kết kênh. Tuy nhiên, các thiết bị này không có cái nhìn chính xác về lớp truy cập mà máy khách hàng sử dụng. Hơn nữa, khi số lượng các nút IoT tăng lên trong các mạng B5G, khả năng mở rộng sẽ khó khăn hơn. Để lựa chọn được thiết bị truy cập trong mạng B5G với nhiều Công nghệ truy cập vô tuyến (Radio Access Technology - RAT), bao gồm WiFi, 4G / LTE, 5G và Bluetooth, v.v. Các thiết bị đầu cuối không chỉ cần chuyển đổi giữa các thiết bị truy cập từ cùng một công nghệ truy cập (Điểm truy cập WiFi - AP), mà còn giữa các thiết bị truy cập từ nhiều RAT. Để giải quyết những thách thức nêu trên, các nhà nghiên cứu đã đề xuất thuật toán lựa chọn thiết bị truy cập lấy khách hàng làm trung tâm để cung cấp QoS xem xét các yêu cầu không đồng nhất của các nút IoT, nhiều RAT và đa hệ thống. Các phương pháp tiếp cận dựa trên máy khách thì sử dụng các thông số QoS giống nhau cho tất cả các thiết bị đầu cuối, bỏ qua các yêu cầu QoS không đồng nhất tại các nút IoT khác nhau. Để giảm thiểu chồng lấn giao tiếp đáng kể khi trao đổi thông tin giữa các thực thể mạng khác nhau người ta sử dụng các phương pháp tiếp cận lựa chọn RAT dựa trên máy khách phân tán [4]. Tuy nhiên, đầu cuối khách hàng không có cái nhìn tổng quan đầy đủ về cấu trúc liên kết mạng và các tham số của nó, khiến cho phương pháp lấy máy khách làm trung tâm rất khó giải quyết hiệu quả các vấn đề cung cấp QoS. Phương pháp kết hợp để cung cấp QoS E2E (end – to – end), liên quan đến thiết bị đầu khách hàng và bộ điều khiển để giải quyết những thách thức lưu lượng truy cập video và đa phương tiện tăng, thiết kế mạng lưới ngày càng trở lên phức tạp. Với phương pháp này thiết bị đầu khách hàng cố gắng đáp ứng các yêu cầu QoS truy cập của nó bằng cách chọn các thiết bị truy cập tối ưu và đưa ra quyết định dựa trên góc nhìn cục bộ. Còn bộ điều khiển chịu trách nhiệm tìm các đường dẫn tối ưu trong mạng lõi để đáp ứng các yêu cầu QoS lõi của máy khách [5]. Hiện tại, ở Việt Nam, Bộ Thông tin và Truyền thông (TTTT) đang áp dụng các quy chuẩn để đánh giá chất lượng dịch vụ của các nhà mạng Viettel, Vinaphone, Mobifone. Các Quy Chuẩn này đánh giá các sản phẩm dịch vụ như internet di động (QCVN 81:2014/BTTTT), internet mạng cố định (QCVN 34:2014/BTTTT), chất lượng dịch vụ điện thoại cố định
- MỞ ĐẦU (QCVN 35:2011/BTTTT), chất lượng dịch vụ điện thoại di động (QCVN 36:2015/BTTTT). Các quy chuẩn này mới chỉ dừng lại ở đánh giá các chỉ số chất lượng dịch vụ cơ bản như tốc độ tải dữ liệu, chất lượng thoại, ghi cước sai, độ khả dụng, thời gian thiết lập dịch vụ, sự cố đường dây. Tuy nhiên, các quy chuẩn này đã cũ, phần lớn bám theo tiêu chuẩn ITSI 102.250 và không còn đáp ứng được yêu cầu ngày càng cao của chất lượng trải nghiệm dịch vụ từ phía người dùng. Các nhà mạng ở Việt Nam hiện tại đang sử dụng các phương pháp crowdsourcing (dựa trên dữ liệu/mẫu đo thu thập được từ đầu cuối người dùng và do người dùng cung cấp, sản phẩm của umlaut, Ookla/Speedtest, Opensignal, Tutela), phương pháp Driving test bằng đầu cuối điện thoại (sử dụng các phần mềm đo kiểm của Keysight, Rohde&Schwarz, InfoVista). Tuy nhiên chưa có nhà mạng nào sử dụng phương pháp đánh giá riêng chất lượng QoE (Quality of Experience - QoE) của video streaming. Các lĩnh vực, ứng dụng của QoS, QoE được minh hoạ như Hình 1 sau. Hình 1: QoE trong hệ thống sinh thái cho nhà cung cấp ứng dụng/dịch vụ [1] Hệ sinh thái cho nhà cung cấp ứng dụng/dịch vụ chia thành hai miền. Miền chất lượng trải nghiệm của người dùng phụ thuộc vào nhiều yếu tố như tập quán sử dụng, mô hình kinh doanh dịch vụ, nội dung dịch vụ, cách thức cung cấp dịch vụ và khả năng tương tác với dịch vụ. Miền nhà cung cấp dịch vụ/ứng dụng thông qua các thỏa thuận dịch vụ với các nhà cung cấp nội dung, ứng dụng, mạng lưới để cung cấp chất lượng theo hướng trải nghiệm người dùng.
- MỞ ĐẦU Chất lượng Trải nghiệm (QoE) phụ thuộc vào bối cảnh sử dụng, ở một mức độ nào đó, được xác định bởi miền ứng dụng [1]. Do đó, nên xem xét miền ứng dụng mục tiêu khi xác định QoE. Các miền ứng dụng thường có nhiều mặt khác nhau, từ các dịch vụ một chiều đến hai chiều/đa hướng thông qua các phương thức nội dung khác nhau như: • Phân phối(phát trực tuyến, phát quảng bá, theo tập tin, v.v.) các loại nội dung khác nhau (âm thanh, video, v.v.). • Các ứng dụng hội thoại, hợp tác bao gồm các khía cạnh xã hội và nghệ thuật; • Ứng dụng giáo dục và y tế; v.v Mỗi loại có một loạt các yêu cầu khác nhau liên quan đến tiêu dùng trực tuyến/ngoại tuyến, hành vi thời gian thực bao gồm các ràng buộc về bộ đệm và khả năng tương tác. Dựa trên bối cảnh của ứng dụng, có thể sử dụng đánh giá theo thời gian thực QoE để đưa ra quyết định sáng suốt về cách khai thác tốt nhất các tài nguyên (cơ sở hạ tầng và phương tiện). Có các mô hình cho QoE đơn giản hóa quy trình quy hoạch ứng dụng bằng cách mô hình hóa hiệu suất về mặt trải nghiệm người dùng thay vì chỉ sử dụng các chỉ số hiệu suất cấp thấp (ví dụ: độ trễ, tỷ lệ mất gói, mức sử dụng pin, CPU(Central Processing Unit) và bộ nhớ). Điều này được thực hiện rõ ràng trong hệ sinh thái thông qua các giao diện khác nhau chấp nhận các định nghĩa Thỏa thuận mức dịch vụ (SLA - Service Level Agreement). SLA phải được định nghĩa về mặt QoE bất cứ khi nào nhà cung cấp đối mặt với người dùng và về hiệu suất thành phần của dịch vụ bất cứ khi nào nhà cung cấp đối mặt với các nhà cung cấp thành phần. Ngày nay, SLA thường được định nghĩa dưới dạng QoS. Mục tiêu và nội dung nghiên cứu Từ thực trạng đó, bài toán nghiên cứu của học viên để thực hiện luận văn tốt nghiệp để tìm ra phương pháp đánh giá chất lượng dịch vụ, chất lượng trải nghiệm, theo hướng người dùng hay từ mạng lưới, dịch vụ nào đang được quan tâm nhiều nhất và ý nghĩa trong việc đánh giá chất lượng trải nghiệm, chất lượng dịch vụ đối với nó. Để giới hạn bài toán cho sát với thực tế, học viên tập trung vào việc nghiên cứu, phát triển, các kỹ thuật đánh giá chất lượng trải nghiệm dịch vụ video trên mạng viễn thông. Với mục tiêu đó, luận văn tập trung thực hiện những nội dung nghiên cứu chính sau: • Khảo sát, đánh giá một số tiêu chuẩn, phương pháp đánh giá chất lượng trải nghiệm người dùng QoE hiện đại. • Nghiên cứu, đề xuất giải pháp đánh giá chất lượng trải nghiệm người dùng QoE cho video Streaming. • Xây dựng dữ liệu và phần mềm thực nghiệm.
- MỞ ĐẦU Tổ chức của luận văn Luận văn có bố cục như sau: • Mở đầu: Giới thiệu chung, mục tiêu và các nội dung chính của luận văn. • Chương 1: Giới thiệu chung về QoS, QoE đối với mạng 5G. • Chương 2: Mô hình đánh giá chất lượng QoE của video dựa trên dòng bit. • Chương 3: Tổng hợp kết quả thực nghiệm đánh giá chất lượng QoE của video streaming và một số kết quả thực tế thu được. • Cuối cùng là phần Kết luận tóm lược lại các đóng góp chính của luận văn và một số hướng phát triển trong tương lai.
- Chương 1 TỔNG QUAN VỀ QoS VÀ QoE Chương này sẽ nói về mạng 5G và yêu cầu chất lượng dịch vụ đối với mạng 5G. 1.1 Chất lượng dịch vụ QoS và chất lượng trải nghiệm QoE, mối quan hệ giữa QoS, QoE 1.1.1 Giới thiệu chung QoS Thuật ngữ chất lượng dịch vụ (QoS) được sử dụng rộng rãi ngày nay, không chỉ trong thế giới viễn thông mà ngày càng liên quan đến các dịch vụ băng thông rộng, không dây và đa phương tiện dựa trên nền IP. Các mạng và hệ thống mạng đang được thiết kế dựa trên hiệu năng end-to-end theo yêu cầu của các ứng dụng người dùng. E.800 định nghĩa QoS là hiệu quả chung của hiệu năng dịch vụ xác định mức độ hài lòng của người sử dụng dịch vụ. Trong các hệ thống 3G-4G truyền thống, QoS để ước tính hiệu suất của mạng di động đối với một dịch vụ có mức dịch vụ đảm bảo. QoS về bản chất là một khái niệm kỹ thuật và nó cho phép các nhà khai thác mạng tách lưu lượng thành các luồng dịch vụ dựa trên các thuộc tính, chẳng hạn như các loại lưu lượng (thoại, video hoặc điều khiển) hoặc các yêu cầu ứng dụng (thông lượng, độ trễ và / hoặc jitter), sau đó vận chuyển từng luồng dịch vụ phù hợp, dẫn đến nhu cầu tối ưu hóa và bảo trì mạng ngày càng tăng. QoS được giới thiệu để tối ưu hóa hoạt động của mạng nhằm cung cấp dịch vụ với mức dịch vụ đảm bảo. Các thước đo mục tiêu được sử dụng để xác định QoS đầu cuối thường là mất gói, độ trễ, chập chờn và thông lượng. Người dùng không cảm nhận được phần tử mạng riêng lẻ mà cảm nhận được hiệu suất tổng thể của hệ thống. Do đó, nhà mạng cần áp dụng và thực hiện các chính sách quản lý QoS mới để đảm bảo sự hài lòng của người dùng và tránh tình trạng thuê bao bị gián đoạn. Nói chung, người dùng cuối chỉ quan tâm đến những vấn đề mà họ nhìn thấy. Sự tham gia của người dùng dẫn đến các kết luận theo quan điểm của người dùng cuối như: Chỉ QoS được nhận thức bởi vấn đề của người dùng cuối, số lượng thuộc tính do người dùng xác định 1
- TỔNG QUAN VỀ QoS VÀ QoE / kiểm soát phải càng nhỏ càng tốt, dẫn xuất / định nghĩa các thuộc tính QoS từ các yêu cầu ứng dụng phải đơn giản, các thuộc tính QoS sẽ có thể hỗ trợ tất cả các ứng dụng được sử dụng và QoS phải được cung cấp từ đầu đến cuối (end to end) [6]. Tất cả các thuộc tính của QoS phải có ý nghĩa rõ ràng, cho phép sử dụng hiệu quả tài nguyên và phát triển độc lập mạng Core và Access. 1.1.2 Giới thiệu chung QoE Trọng tâm trong 5G là nhu cầu của thiết bị người dùng (User Equipment - UE) bằng cách thay đổi khái niệm lấy cell làm trung tâm của mạng sang thiết kế lấy thiết bị làm trung tâm. Một mạng động bao gồm nhiều thiết bị hoặc cảm biến người dùng cuối được kết nối với nhau, trong bối cảnh IoT làm tăng mật độ mạng. Lưu lượng truy cập được tạo ra bởi các giao tiếp từ thiết bị đến thiết bị (Device to Device - D2D) khác nhau, như trong điện lưới thông minh, nhà và thành phố thông minh và các kịch bản sức khỏe điện tử với các đặc tính giao tiếp khác nhau, sẽ cần các yêu cầu quản lý thông minh [7]. Các mạng 5G trong tương lai cũng sẽ được đặc trưng bởi băng thông cao với tốc độ vượt quá 10 Gb / giây, mức độ di động khác nhau và tiết kiệm năng lượng và chi phí với sự tăng cường của trí thông minh của mạng không dây, nhưng vẫn phải đáp ứng sự hài lòng hay còn gọi là QoE của người dùng, hay chất lượng trải nghiệm. Người dùng không đánh giá yếu tố mạng riêng lẻ, nhưng họ xem xét hiệu suất tổng thể của hệ thống, giá cả của dịch vụ, chất lượng cảm nhận của nội dung và mức độ dễ sử dụng của một ứng dụng, tức là QoE. Theo Khuyến nghị ITU-T P.10 / G.1000 của Liên minh Viễn thông Quốc tế-Khu vực Tiêu chuẩn hóa Viễn thông, QoE có thể được định nghĩa là “khả năng chấp nhận tổng thể của một ứng dụng hoặc dịch vụ, theo nhận thức chủ quan của người dùng cuối” như nội dung, mạng, thiết bị, ứng dụng, kỳ vọng và mục tiêu của người dùng cũng như bối cảnh sử dụng. Nhận thức của khách hàng về các dịch vụ dữ liệu không chỉ phụ thuộc vào cơ sở hạ tầng mạng mà còn phụ thuộc vào loại UE (mà sự lựa chọn của người dùng và hiệu suất của thiết bị hoàn toàn nằm ngoài tầm kiểm soát của các nhà khai thác di động) và khả năng truy cập nội dung của các nhà cung cấp nội dung cũng hoàn toàn độc lập với chất lượng của mạng lưới. Khuyến nghị ITU-T G.1011 cung cấp cung cấp một cái nhìn tổng thể về các phương pháp đánh giá QoE [8], cụ thể như sau: • Khái niệm về đánh giá QoE như định nghĩa, cách tiếp cận chủ quan, khách quan (phương pháp thụ động monitoring, phương pháp quy hoạch và mô phỏng trong phòng thí nghiệm). • Phương pháp đo đạc theo các mô hình khác nhau như mô hình dòng bit, lớp đa phương tiện, mô hình lớp gói hoặc hỗn hợp. 2
- TỔNG QUAN VỀ QoS VÀ QoE • Cuối cùng là đề cập đến các tiêu chuẩn đánh giá QoE cho các dịch vụ khác nhau như audio, video, data, đa phương tiện theo cách khách quan, chủ quan. 1.1.3 Mối quan hệ giữa QoS và QoE Công nghệ 5G với tất cả các ưu điểm của nó cũng được kỳ vọng sẽ đáp ứng các giá trị về QoS, QoE, độ tin cậy và bảo mật cao. Mô hình hóa để có được các giá trị QoS từ các công nghệ trước đây có thể không phù hợp với công nghệ 5G. Điều này là do giá trị của QoE hiện diện trong kỷ nguyên 5G. Các thông số trong QoS như mất gói, tỷ lệ mất gói, độ trễ mạng, PSNR (Peak Signal to Noise Ratio) và thời gian di chuyển được coi là ít ảnh hưởng trong 5G. Mạng 5G chủ yếu dùng làm phương tiện giao tiếp cho video vì trong đánh giá chất lượng phương tiện video, có một giá trị hài lòng được thể hiện trong QoE. Vì vậy, mặc dù tham số QoS vẫn được coi là quan trọng, nhưng nó không đủ cho giá trị của sự hài lòng của người dùng [9]. Hình 1.1 cho thấy mối quan hệ giữa QoS và QoE. QoS là quan điểm kỹ thuật về chất lượng dịch vụ và QoE là quan điểm về sự hài lòng của người dùng đối với chất lượng dịch vụ. Các tham số QoS như bộ đệm, thời gian khởi động và tốc độ bit tốt không cho giá trị QoE cao vì có nhiều tham số khác nhau về mức độ hài lòng liên quan đến người dùng và không thể đoán trước. Giá trị của QoS và QoE, trong công nghệ 5G là một sự thách thức trong việc hài hòa hai giá trị. Mạng lưới tự tổ chức (Self Organizing Networks - SON) hoạt động dựa trên ba tính năng đọc trạng thái mạng, dự đoán hành vi của người dùng và các điều chỉnh động để đáp ứng điều kiện của mạng. SON sẽ giúp tăng QoS và QoE đồng thời. Ngoài ra để hài hòa đánh giá QoS và QoE người ta kết hợp các thông số khách quan (tỷ lệ mất gói và độ trễ) và chủ quan (Mean Opinion Score - MOS của người dùng qua lấy mẫu). Thông qua quá trình lượng tử hóa, ánh xạ QoS cho QoE thu được. Hình 1.1: Mối quan hệ giữa QoS, QoE [9] 3
- TỔNG QUAN VỀ QoS VÀ QoE Để thực hiện đo đạc các giá trị QoS và QoE trên công nghệ 5G, cần phải tiến hành phân nhóm dựa trên các đối tượng đo lường, phương pháp được sử dụng và phương tiện hoặc dữ liệu làm tư liệu đo lường [10]. Việc phân nhóm trong quá trình đo lường QoS và QoE được phân loại như Bảng 1.1. Bảng 1.1 phân nhóm đối tượng khi đánh giá QoS, kèm theo đó là phương pháp sử dụng để đánh giá và cách để thu thập được dữ liệu phục vụ việc đánh giá. Bảng 1.1: Phân nhóm quá trình đo đạc QoS, QoE trong mạng 5G Đối tượng Phương pháp Thu thập dữ liệu Lưu lượng Mô phỏng Mô hình dữ liệu 4G hiện tại Độ trễ Phương trình toán học Mô hình ảo của dữ liệu 5G Xác suất chuyển giao Hàng đợi ưu tiên Sự bất thường trong QoS Thử nghiệm với thiết bị Tình huống và vị trí Biểu hiện nhận dạng khuôn mặt Đối tượng: Có bảy đối tượng cần quan tâm khi đánh giá QoS, cụ thể như sau: • Lưu lượng trong mạng viễn thông là đối tượng được sử dụng rộng rãi nhất. Các thông số trong lưu lượng, chẳng hạn như tốc độ và độ tin cậy, tỷ lệ truy cập lưu lượng thành công được đo lường để lấy các giá trị từ QoS và QoE. Giá trị QoS cũng có thể thu được từ lưu lượng của một ứng dụng cụ thể như Facebook Messenger, Skype, Viber và các điều kiện, thông số kỹ thuật của thiết bị đầu cuối (Samsung galaxy S7, S4). • Giá trị độ trễ gây ra bởi nhiễu giữa các cell vô tuyến và kỳ vọng về độ trễ thấp từ 50% đến 97% đối với tốc độ dữ liệu cao đã trở thành một đánh giá QoS. • Xác suất thực hiện chuyển giao và sự bất thường xảy ra từ tham số QoS cũng là một số dữ liệu để có được giá trị QoS. Các đối tượng liên quan đến người dùng cũng được sử dụng để đánh giá QoE như kịch bản mạng 5G được sử dụng và vị trí diễn ra. Biểu cảm khuôn mặt của người dùng được lượng tử hóa thành những con số được đánh giá để thu được giá trị QoE. Phương pháp: Có hai phương pháp để lấy được giá trị QoS, QoE như bên dưới • Các phương pháp mô phỏng, đặc biệt với một số ứng dụng nhất định, là những phương pháp thường được sử dụng nhất để lấy các giá trị từ QoS và QoE. Mô phỏng này được thực hiện với nhiều loại khác nhau, từ thống kê, crowdsoucing, sử dụng công cụ, và mô phỏng ảo với học máy (Machine Learning), SDN (Software defined Networking), v.v. Việc sử dụng các phương trình toán học như Tối ưu hóa Lyapunov, Phân tích chuỗi 4
- TỔNG QUAN VỀ QoS VÀ QoE Markov, và Thuật toán mã giả là những cách tiếp cận để nhận các giá trị QoS. Phương pháp cũng gần với cách tiếp cận toán học là Hàng đợi ưu tiên và phương pháp này thường được sử dụng để tiếp cận đo lường giá trị của QoS đối với công nghệ trước 5G. • Phương pháp tiếp theo thường được sử dụng là thực nghiệm trong môi trường thực tế (Testbed) với thiết bị đo chất lượng mạng viễn thông. Testbest bắt đầu từ quá trình đo kiểm thực tế (driving test). Đây là phương pháp các nhà khai thác viễn thông thực hiện để kiểm tra mạng mà họ quản lý. Thử nghiệm để thu được giá trị QoS được thực hiện bằng cách sử dụng một hệ thống UXM Wireless Test Platform (Keysight). Hệ thống này cho phép điều chỉnh các tham số mạng lưới như Resource Block của đường xuống, đường lên, Subframe, công suất phát antena, tạp âm nhiệt trong điều kiện truyền fading đa đường. Cách thu thập dữ liệu: • Để có được dữ liệu đo lường cả QoS và QoE trên công nghệ 5G, cần phải sử dụng một chiến lược nhất định. Một số chiến lược được sử dụng trong một số nghiên cứu là sử dụng các thông số lý tưởng của mạng 5G, dữ liệu từ điều kiện công nghệ 4G, bao gồm một số giả định để hoàn thành việc tính toán, thông số kỹ thuật của ứng dụng hoặc thiết bị được sử dụng và phản hồi từ những người dùng được thống kê, xử lý. Như đã đề cập, dữ liệu có thể ở dạng dữ liệu từ các điều kiện có sẵn trong mạng lưới hoặc đầu vào từ mô phỏng ảo. • Các nguồn dữ liệu trong phép đo QoS và QoE này được chia thành dữ liệu từ các điều kiện hiện có và từ các đầu vào ảo. Dữ liệu từ các điều kiện hiện có có lợi thế về chi phí rẻ, dữ liệu có thể được sử dụng làm tài liệu tham khảo và dễ dàng lấy được. Đối với dữ liệu ảo, các ưu điểm của dữ liệu này được giả định dễ dàng, linh hoạt và cung cấp các điều kiện lý tưởng. • Nhược điểm là dữ liệu hiện có đôi khi không phù hợp với nhu cầu, không chi tiết và có khả năng không còn giá trị theo điều kiện và thời gian. Trong khi dữ liệu ảo vẫn cần xác thực thực tế và yêu cầu các quy trình bổ sung sau khi thu được dữ liệu. 1.2 Giới thiệu về mạng 5G Mạng 5G được kỳ vọng sẽ cung cấp hỗ trợ tối ưu cho nhiều trường hợp sử dụng, dịch vụ khác nhau, tải lưu lượng khác nhau và cộng đồng người dùng cuối khác nhau [11]. Hệ thống mạng 5G có khả năng hỗ trợ đồng thời nhiều sự kết hợp về độ tin cậy, độ trễ, thông lượng, định vị và tính khả dụng. Ngoài việc tăng tính linh hoạt và tối ưu hóa, hệ thống mạng 5G cần hỗ trợ các KPI nghiêm ngặt về độ trễ, độ tin cậy, thông lượng. Các cải tiến trong giao diện vô tuyến góp phần đáp ứng các KPI này cũng như các cải tiến trong mạng lõi, chẳng 5
CÓ THỂ BẠN MUỐN DOWNLOAD
-
Luận văn Thạc sĩ Hệ thống thông tin: Xây dựng hệ thống chấm điểm tự động, hỗ trợ luyện thi học sinh giỏi tin học THPT
80 p | 37 | 21
-
Tóm tắt luận văn Thạc sĩ Quản trị kinh doanh: Xây dựng hệ thống thông tin kế toán phục vụ quản trị cước viễn thông - công nghệ thông tin tại viễn thông Quảng Bình
13 p | 118 | 19
-
Luận văn Thạc sĩ Hệ thống thông tin: Xây dựng hệ thống trả lời tự động chatbot bằng tiếng Việt sử dựng phương pháp học sâu
72 p | 48 | 16
-
Luận văn Thạc sĩ Hệ thống thông tin: Nghiên cứu hệ thống tổng hợp tiếng nói theo phương pháp học sâu
49 p | 64 | 13
-
Luận văn Thạc sĩ Hệ thống thông tin: Phân tích ý kiến người dùng theo khía cạnh bằng phương pháp học sâu
76 p | 30 | 10
-
Luận văn Thạc sĩ Hệ thống thông tin: Hệ thống điểm danh học sinh tại trường phổ thông sử dụng công nghệ nhận dạng khuôn mặt
58 p | 21 | 8
-
Luận văn Thạc sĩ Hệ thống thông tin: Phát triển một ứng dụng quản lý bất động sản thông minh ở Bình Dương
92 p | 13 | 7
-
Luận văn Thạc sĩ Hệ thống thông tin: Hệ thống tư vấn và phân loại học sinh sử dụng kỹ thuật học máy
38 p | 33 | 7
-
Luận văn Thạc sĩ Hệ thống thông tin: Ứng dụng phương pháp nhúng đỉnh vào đồ thị hai phía để xây dựng hệ thống khuyến nghị
90 p | 23 | 6
-
Luận văn Thạc sĩ Hệ thống thông tin: Nghiên cứu ứng dụng kỹ thuật khai phá dữ liệu trong dự báo một số thông số khí quyển
57 p | 12 | 6
-
Luận văn Thạc sĩ Hệ thống thông tin: Nghiên cứu giải pháp đánh giá chất lượng dịch vụ đa phương tiện trên mạng không dây sử dụng mô phỏng
72 p | 23 | 6
-
Luận văn Thạc sĩ Hệ thống thông tin: Nghiên cứu xử lý các đoạn video để trợ giúp phát triển tư duy học sinh
81 p | 49 | 5
-
Luận văn Thạc sĩ Hệ thống thông tin: Phát triển hệ thống dự đoán điểm thi tốt nghiệp của học sinh trung học phổ thông sử dụng kỹ thuật rừng ngẫu nhiên hồi quy
38 p | 26 | 5
-
Luận văn Thạc sĩ Hệ thống thông tin: Xây dựng hệ thống hỏi đáp tự động hỗ trợ công tác tư vấn dịch vụ hành chính công tại Sở Thông tin và Truyền thông tỉnh Bình Dương
66 p | 57 | 5
-
Luận văn Thạc sĩ Hệ thống thông tin: Nghiên cứu các phương pháp lọc thư rác tại Việt Nam và trên thế giới, xây dựng và đề xuất phương án lọc thư rác tiếng Việt
73 p | 48 | 5
-
Luận văn Thạc sĩ Hệ thống thông tin: Nghiên cứu đánh giá một số phương pháp chú giải hệ gen lục lạp
68 p | 8 | 5
-
Luận văn Thạc sĩ Hệ thống thông tin: Nghiên cứu một số vấn đề ảnh hưởng đến hiệu suất của hệ thống phân loại hành vi bò
76 p | 11 | 5
-
Tóm tắt Luận văn Thạc sĩ Hệ thống thông tin: Nghiên cứu hệ thống truyền thông đa phương tiện thời gian thực trên cơ sở giải pháp kỹ thuật WEBRTC
26 p | 43 | 3
Chịu trách nhiệm nội dung:
Nguyễn Công Hà - Giám đốc Công ty TNHH TÀI LIỆU TRỰC TUYẾN VI NA
LIÊN HỆ
Địa chỉ: P402, 54A Nơ Trang Long, Phường 14, Q.Bình Thạnh, TP.HCM
Hotline: 093 303 0098
Email: support@tailieu.vn