Luận văn Thạc sĩ Hệ thống thông tin: Áp dụng độ đo entropy cho bài toán tự động phát hiện hành vi bất thường qua camera

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:51

Thêm vào BST

Báo xấu

11
lượt xem 6
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Luận văn "Áp dụng độ đo entropy cho bài toán tự động phát hiện hành vi bất thường qua camera" này được chia làm 3 chương: Chương 1 – Tổng quan; Chương 2 –Đề xuất ứng dụng độ đo entropy để tách đặc trưng ngã trên camera theo dõi; Chương 3 – Đề xuất áp dụng SVM cho bài toán phân lớp các vector đặc trưng ngã.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Luận văn Thạc sĩ Hệ thống thông tin: Áp dụng độ đo entropy cho bài toán tự động phát hiện hành vi bất thường qua camera

UBND TỈNH BÌNH DƢƠNG TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT VÕ QUỐC THÔNG ÁP DỤNG ĐỘ ĐO ENTROPY CHO BÀI TOÁN TỰ ĐỘNG PHÁT HIỆN HÀNH VI BẤT THƯỜNG QUA CAMERA CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN MÃ SỐ: 8480104 LUẬN VĂN THẠC SỸ BÌNH DƯƠNG - 2022
UBND TỈNH BÌNH DƢƠNG TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT VÕ QUỐC THÔNG ÁP DỤNG ĐỘ ĐO ENTROPY CHO BÀI TOÁN TỰ ĐỘNG PHÁT HIỆN HÀNH VI BẤT THƯỜNG QUA CAMERA CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN MÃ SỐ: 8480104 LUẬN VĂN THẠC SỸ NGƯỜI HƯỚNG DẪN KHOA HỌC: TS. NGUYỄN HÀ HUY CƯỜNG BÌNH DƯƠNG - 2022
LỜI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi. Các số liệu, kết quả nêu trong Luận văn là trung thực và chƣa từng đƣợc ai công bố trong bất kỳ công trình nào khác. Tôi xin cam đoan rằng mọi sự giúp đỡ cho việc thực hiện Luận văn này đã đƣợc cảm ơn và các thông tin trích dẫn trong Luận văn đã đƣợc chỉ rõ nguồn gốc. Học viên thực hiện đề tài i
LỜI CẢM ƠN Để có thể hoàn thành Luận văn này, tôi xin gửi lời cảm ơn chân thành tới TS. Nguyễn Hà Huy Cƣờng. Thầy đã tận tình giảng dạy, hƣớng dẫn giúp tôi tiếp cận việc nghiên cứu của mình. Thầy đã luôn tận tâm động viên, khuyến khích và chỉ dẫn giúp tôi hoàn thành đƣợc luận văn này. Tôi cũng xin đƣợc gửi lời cảm ơn tới TS. Hoàng Mạnh Hà đã giúp tôi định hƣớng luận văn này. Bên cạnh đó, tôi xin gửi lời cảm ơn tới quý Thầy/Cô, các bạn sinh viên ở Viện Sau đại học, Trƣờng Đại học Thủ Dầu Một đã hỗ trợ trong quá trình khảo sát dữ liệu. Học viên thực hiện đề tài ii
MỤC LỤC LỜI CAM ĐOAN ............................................................................................................... i LỜI CẢM ƠN .................................................................................................................... ii MỤC LỤC .........................................................................................................................iii DANH MỤC BẢNG .......................................................................................................... v DANH MỤC HÌNH, ĐỒ THỊ .......................................................................................... vi DANH MỤC CHỮ VIẾT TẮT......................................................................................viii MỞ ĐẦU ............................................................................................................................. 1 CHƢƠNG 1. TỔNG QUAN ................................................................................................. 2 1.1. Tổng quan về bài toán phát hiện té ngã ............................................................. 2 1.2. Entropy và bài toán đo độ bất định .................................................................... 4 1.2.1 Khái niệm entropy ....................................................................................... 4 1.2.2 Ứng dụng độ đo entropy .............................................................................. 7 1.3. Phân lớp Support Vector Machine ..................................................................... 9 1.3.1 Bài toán phân lớp ......................................................................................... 9 1.3.2 Bộ phân lớp SVM ...................................................................................... 12 1.3.3 Bộ phân lớp nhị phân bằng SVM .............................................................. 14 Kết luận chƣơng 1 ....................................................................................................... 15 CHƢƠNG 2.ĐỀ XUẤT ỨNG DỤNG ĐỘ ĐO ENTROPY ĐỂ TÁCH ĐẶC TRƢNG NGÃ TRÊN CAMERA THEO DÕI ................................................................................. 19 2.1. Tổng quan bài toán tách đặc trƣng ngã ............................................................ 19 2.2. Áp dụng độ đo entropy để tách đặc trƣng ngã qua camera theo dõi ................ 20 2.3. Một số kết quả thực nghiệm ............................................................................. 20 Kết luận chƣơng 2 ....................................................................................................... 23 CHƢƠNG 3.ĐỀ XUẤT ÁP DỤNG SVM CHO BÀI TOÁN PHÂN LỚP CÁC VECTOR ĐẶC TRƢNG NGÃ.......................................................................................... 24 3.1. Bài toán phát hiện ngã dựa trên phân lớp SVM ............................................... 24 3.2. Một số thực nghiệm ......................................................................................... 25 3.2.1 Mô tả phƣơng pháp thực nghiệm ............................................................... 25 3.2.2 Mô tả dữ liệu .............................................................................................. 27 3.2.3 Kết quả thực nghiệm .................................................................................. 28 Kết luận chƣơng 3 ....................................................................................................... 30 KẾT LUẬN ...................................................................................................................... 32 iii
TÀI LIỆU THAM KHẢO............................................................................................... 33 iv
DANH MỤC BẢNG Bảng 3.1 Số lƣợng hình ảnh trong tập dữ liệu................................................................... 27 Bảng 3.2 Kết quả thực nghiệm mô hình trên các clip ....................................................... 30 Bảng 3.3 Các mô hình phát hiện hành vi té ngã ................................................................ 31 v
DANH MỤC HÌNH, ĐỒ THỊ Hình 1.1 Các pha của té ngã...................................................................................... 3 Hình 1.2 Đƣờng phân tách trong hệ trục tọa độ ...................................................... 12 Hình 1.3 Ví dụ đƣơng phân tách ............................................................................. 15 Hình 1.4 Dữ liệu phân tách tuyến tính .................................................................... 16 Hình 1.5 Đƣờng phân tách và vector hỗ trợ ............................................................ 17 Hình 2.1 Ƣớc lƣợng entropy mức pixel cho 24 khung hình ............................................ 20 Hình 2.2 Frame 1 đến frame 24 .............................................................................. 21 Hình 2.3 Entropy từ frame 1 đến frame 24 ....................................................................... 22 Hình 2.4 Frame 34 đến frame 57 ....................................................................................... 22 Hình 2.5 Entropy từ frame 34 đến frame 57 ..................................................................... 23 Hình 3.1 Quy trình xây dựng mô hình phát hiện té ngã .................................................... 24 Hình 3.2 Code sao chép file nén .zip vào môi trƣờng thực thi .......................................... 25 Hình 3.3 Code thực thi giải nén file .zip trong môi trƣờng thực thi.................................. 25 Hình 3.4 Support Vector Classifier ................................................................................... 26 Hình 3.5Đánh giá confusion matrix .................................................................................. 26 Hình 3.6 Hình ảnh của tập dữ liệu chuẩn bị cho huấn luyện ............................................ 28 vi
Hình 3.7 Đánh giá mô hình huấn luyện với 50 epoch ....................................................... 29 Hình 3.8 Kết quả ban đầu của mô hình ............................................................................. 29 Hình 3.9 Confusion matrix của mô hình ........................................................................... 29 vii
DANH MỤC CHỮ VIẾT TẮT TỪ VIẾT TẮT TIẾNG ANH TIẾNG VIỆT SVM Support Vector Machine Máy vector hỗ trợ ANN Artificial Neural Network Mạng neural nhân tạo SRM Structural Risk Minimisation ERM Empirical Risk Minimisation SVC Support Vector Classifier SVR Support Vector Regression viii
MỞ ĐẦU Phát hiện hành vi bất thƣờng có nhiều ứng dụng trong thực tiễn, là cơ sở để tiến hành các hành động, phản ứng kịp thời với các biến cố không mong đợi. Các lĩnh vực áp dụng phổ biến phát hiện hành vi bất thƣờng bao gồm nhƣng không giới hạn các lĩnh vực an ninh, y tế, điều hành sản xuất… Trong các hành vi bất thƣờng, té ngã là một trong những hành vi bất thƣờng ẩn chứa nhiều rủi ro, nguy hiểm đối với chủ thể. Ngƣời lớn tuổi thƣờng xuyên phải ở một mình hoặc thiếu sự trợ giúp của ngƣời thân nên việc khắc phục khi xảy ra sự cố té ngã rất khó khăn. Tự động phát hiện hành vi bất thƣờng (té ngã) đƣợc xem là nền tảng quan trọng để xây dựng nên các ứng dụng thực tế trong chăm sóc sức khỏe, trợ giúp, cảnh báo ngƣời có bệnh liên quan đến vận động và thần kinh; cũng nhƣ các trợ giúp kịp thời đối với ngƣời cao tuổi. Có nhiều cách tiếp cận để phát hiện sự cố té ngã ở ngƣời lớn tuổi dựa trên thiết bị đeo, môi trƣờng và thị giác. Nhiều nghiên cứu đã phát triển các hệ thống phát hiện hành vi bất thƣờng trong hỗ trợ, chăm sóc ngƣời cao tuổi, bệnh nhân Parkinson, bệnh tim mạch, huyết áp… Trong luận văn này, chúng tôi đề xuất một cách tiếp cận phát hiện sự cố té ngã ở ngƣời lớn tuổi dựa trên hình ảnh từ camera. Luận văn này đƣợc chia làm 3 chƣơng: Chƣơng 1 – Tổng quan; Chƣơng 2 –Đề xuất ứng dụng độ đo entropy để tách đặc trƣng ngã trên camera theo dõi; Chƣơng 3 – Đề xuất áp dụng SVM cho bài toán phân lớp các vector đặc trƣng ngã. 1
CHƯƠNG 1. TỔNG QUAN 1.1. Tổng quan về bài toán phát hiện té ngã Té ngã là một trong những rủi ro rất dễ xảy ra đối với ngƣời cao tuổi. Té ngã có thể để lại những hậu quả nghiêm trọng nếu không đƣợc xử lý kịp thời. Khi chúng ta già đi, cơ thể của chúng ta trải qua nhiều thay đổi về thể chất và trở nên mỏng manh hơn dễ bị ngã. Ví dụ, thời gian phản ứng của chúng ta chậm hơn, có liên quan đến nguy cơ ngã nhiều hơn. Tầm nhìn của chúng ta kém hơn, khiến chúng ta khó phát hiện chƣớng ngại vật hơn. Thuốc cũng có thể ảnh hƣởng đến chúng ta bằng cách làm cho chúng ta buồn ngủ hoặc chóng mặt, từ đó ảnh hƣởng đến sự cân bằng của chúng ta. Tổ chức Y tế Thế giới [1] báo cáo rằng 30% ngƣời cao tuổi trải qua ít nhất một lần ngã mỗi năm và tần suất ngã tăng theo cấp số nhân khi tuổi càng cao. Trong khi đó, tình trạng thiếu hụt nhân lực chăm sóc đang trở thành một vấn đề ngày càng gia tăng trên toàn thế giới. Do đó, ngành y tế đang quan tâm đến việc có một hệ thống có thể hỗ trợ phát hiện ngƣời cao tuổi trong trƣờng hợp bị ngã. Noury [2] đã đƣa ra định nghĩa về sự té ngã. Nó bao gồm bốn giai đoạn:trƣớc khi ngã, nguy kịch, sau ngã và phục hồi (Hình 1.1). Hình 1.1 mô tả độ cao của nạn nhân trong các pha của té ngã theo thời gian. Trong pha trƣớc té ngã, nạn nhân thƣờng đang thực hiện các hành vi bình thƣờng trong cuộc sống hằng ngày. Trong pha nguy kịch, có sự di chuyển đột ngột của nạn nhân về mặt đất dẫn đến độ cao của nạn nhân so với mặt đất giảm nhanh. Trong pha sau té ngã, nạn nhân thƣờng nằm bất động trên mặt đất trong một khoảng thời gian không quá dài nên độ cao của nạn nhân so với mặt đất đƣợc duy trì. Cuối cùng, trong pha phục hồi, nạn nhân tự đứng dậy hoặc đứng dậy với sự giúp đỡ của ngƣời khác nên độ cao của nạn nhân so với mặt đất đƣợc tăng dần đến khi đạt độ cao bình thƣờng của nạn nhân. 2
Hình 1.1 Các pha của té ngã Có nhiều nghiên cứu đƣợc thực hiện trong mảng phát triển các hệ thống phát hiện té ngã. Các hệ thống này có thể đƣợc chia thành 03 nhóm chính: nhóm dựa trên thiết bị đeo, nhóm dựa trên môi trƣờng, nhóm dựa trên thị giác máy tính [3]. Trong đó, cách tiếp cận dựa trên thị giác máy tính là một trong những hƣớng tiếp cận mới với khả năng áp dụng rộng rãi, dễ dàng. Wu và các cộng sự thu thập dữ liệu gia tốc bằng cách sử dụng gia tốc kế ba trục đƣợc đeo vào ngƣời. Dữ liệu này sau đó đƣợc phân tích và so sánh với các giá trị ngƣỡng. Vallejo và Leauhatong đề xuất cung cấp dữ liệu gia tốc vào mạng nhiều tầng truyền thẳng thay vì sử dụng các giá trị ngƣỡng. OjeTola và các cộng sự đã mở rộng việc sử dụng các thiết bị dựa trên gia tốc kế bằng cách đƣa vào con quay hồi chuyển ba trục. Hệ thống đã sử dụng cây quyết định để phát hiện. Tabar và các cộng sự đã phát triển một hệ thống nhà thông minh trong đó ngƣời dùng đƣợc trang bị một thẻ có thể giao tiếp không dây với các nút mạng. Thẻ cũng cung cấp một kênh liên lạc bằng giọng nói đến trung tâm chỉ huy trong trƣờng hợp bị rơi. Hệ thống cũng có thể ƣớc tính vị trí của một ngƣời, đƣợc sử dụng để phát hiện không hoạt động. Cuối cùng, hình ảnh từ camera đã đƣợc sử dụng để xác nhận trực quan dự đoán của các cảm biến. Xiaodan và các cộng sự đã đề xuất một hệ thống sử dụng tín hiệu âm thanh từ microphone. Các đoạn âm thanh sau đó đƣợc phân loại bằng cách sử dụng máy máy vector hỗ trợ (Support Vector Machine - SVM). Trong nghiên cứu của Zigel và các 3
cộng sự, dữ liệu âm thanh và dao động đƣợc sử dụng làm đầu vào cho một thuật toán nhận dạng mẫu để phân biệt giữa ngã và các sự kiện khác. Toreyin và các cộng sự hợp nhất cảm biến âm thanh, rung động và hồng ngoại thụ động. Các tính năng của Wavelet đƣợc sử dụng để trích xuất các đặc trƣng ngã từ đầu ra cảm biến thô và sau đó đƣợc phân tích để phát hiện sự cố rơi. Các tính năng này sau đó đƣợc sử dụng đồng thời để huấn luyện mô hình Markov ẩn nhằm phân biệt các hoạt động thƣờng xuyên và không thƣờng xuyên của một ngƣời cao tuổi. Ji Tao và các cộng sự sử dụng tỷ lệ co của chiều rộng và chiều cao để phát hiện một sự cố té ngã. Miaou và các cộng sự cải thiện điều này bằng cách sử dụng bộ chuẩn tỷ lệ chiều cao và chiều rộng của các đối tƣợng, và do đó có thể có một hệ thống đáng tin cậy hơn. Mirmahboub và các cộng sự trích xuất hình bóng của một ngƣời bằng cách sử dụng phép trừ nền và trích xuất một số đặc điểm từ vùng hình bóng. Sau đó, SVM đã đƣợc áp dụng để phân loại các đặc điểm liên quan đến hình bóng này. Zerrouki và Houacine cũng sử dụng và SVM để phân loại tƣ thế của một bóng, nhƣng sau đó cũng sử dụng những dự đoán này làm đầu vào cho mô hình Markov ẩn để phân loại chuỗi video. Cách tiếp cận sử dụng cách tiếp cận cảm biến đeo trên ngƣời cho phép phát hiện hành vi bất thƣờng ở ngƣời đeo mọi lúc, mọi nơi trong khi giảm thiểu tính xâm phạm riêng tƣ nhƣng có thể có khó khăn trong việc phát hiện các vận động không có tính lặp lại hoặc đòi hỏi nhận dạng ngữ cảnh để nâng cao độ chính xác phát hiện. Cách tiếp cận sử dụng thị giác máy tính thƣờng giới hạn ngƣời dùng trong một khu vực không gian nhất định tuy nhiên lại phù hợp trong ngữ cảnh sử dụng camera phổ biến hiện nay và chi phí cũng tiết kiệm hơn rất nhiều. 1.2. Entropy và bài toán đo độ bất định 1.2.1 Khái niệm entropy Entropy lần đầu tiên xuất hiện trong nhiệt động lực học vào những năm 1850 với công thức của Rudolf Clausius về Định luật thứ hai về nhiệt động lực học, nhƣ một phép đo chất lƣợng của nhiệt năng trong mối quan hệ với nhiệt độ và một đặc 4
điểm của tính không thuận nghịch. Kể từ đó, công thức nhiệt động lực học đã đƣợc chứng minh là tƣơng đƣơng với công thức thống kê phân tử của entropy của Ludwig Boltzmann và Josiah Gibbs. Vào những năm 1940, Claude Shannon đã đƣa ra một phép đo thống kê về nội dung thông tin, do sự tƣơng đồng rõ ràng của nó với các công thức Boltzmann và Gibbs, nên nó cũng đƣợc đặt tên là entropy. Nguyên tắc của entropy cực đại, công thức đầu tiên đƣợc xây dựng bởi E.T. Jaynes, phát biểu rằng, thƣớc đo thống kê này, khi đƣợc tối đa hóa tùy thuộc vào bất kỳ ràng buộc nào đã biết, sẽ dẫn đến phân phối có khả năng xảy ra nhất [4, 5]. Công thức thống kê này, khi áp dụng ở cấp độ vi mô, tƣơng đƣơng với công thức Boltzmann và Gibbs. Tuy nhiên, nó có thể đƣợc áp dụng một cách tổng quát hơn, đặc biệt là trong những trƣờng hợp chi tiết không rõ hoặc không đƣợc xác định rõ ràng, chẳng hạn nhƣ trong các hệ thống đô thị hoặc thành phố. Việc định lƣợng nội dung thông tin là tƣơng đối và theo ngữ cảnh cụ thể, tùy thuộc vào lƣợng thông tin mà ngƣời quan sát sở hữu. Trong công trình của mình vào năm 1948, Shannon [6] đề xuất độ đo nội dung thông tin dựa trên việc truyền tải thông điệp từ ngƣời này sang ngƣời khác với tên gọi là entropy. Xét thông điệp đƣợc hình thành nhƣ một chuỗi các biến ngẫu nhiên, có thể có một số trạng thái , với xác suất xuất hiện cho trƣớc bởi . Nếu không quan sát, ngƣời nhận không có thông tin và nhận thấy độ không chắc chắn là tối đa. Thông tin đƣợc cung cấp bởi việc quan sát trạng thái là thƣớc đo mức độ không chắc chắn của thông tin. Xác suất của càng thấp, thì thông tin thu đƣợc qua việc quan sát càng nhiều. Ví dụ: nếu X là tổng của hai lần tung xúc xắc không chệch, quan sát thấy xác suất thấp X = 2 (2 xúc xắc có giá trị 1), trong khi X = 7 mơ hồ hơn về thông tin giá trị của xúc tuy nhiên xác suất xuất hiện X = 7 là cao hơn. Từ đó, X = 2 cung cấp nhiều thông tin hơn về các giá trị xúc xắc riêng lẻ so với quan sát xác suất cao X = 7. Shannon phát biểu công thức độ đo cho nội dung thông tin nhƣ công thức (1). ∑ (1) trong đó là hằng số dƣơng là xác suất của dự kiện và tổng là trên tất cả các quan sát có thể có và cơ số của logarit chuyển tiếp các đơn vị thông tin. Công thức 5
này theo trực quan là một quan sát xảy ra một cách chắc chắn, tức là, , không chứa thông tin, . Ngoài ra, thông tin thu đƣợc từ hai quan sát độc lập là cộng tính trong khi xác suất chung là phép nhân: . Shannon định nghĩa H là entropy của tập xác suất quan sát . Đại lƣợng này đƣợc Shannon mô tả là thƣớc đo mức độ lựa chọn có liên quan đến việc lựa chọn sự kiện hoặc mức độ không chắc chắn của chúng ta về kết quả. Nhƣ đã trình bày bởi Cesario, một con bạc lý trí sẽ đặt cƣợc vào một kết quả mà theo hiểu biết của họ, có xác suất xảy ra cao nhất [7]. Đối với ví dụ về xúc xắc, kết quả có thể xảy ra với xác suất cao nhất X = 7, vì nó có số lƣợng trƣờng hợp cao nhất, tức là sáu cách xảy ra khác nhau, giả sử là xúc xắc không chệch và các điều kiện là đồng nhất. Điều này tƣơng đƣơng với việc chọn trạng thái vĩ mô với entropy cực đại. Nguyên tắc của entropy cực đại phát biểu rằng phân phối xác suất với entropy lớn nhất, tuân theo các ràng buộc đã biết, sẽ biểu diễn tốt nhất trạng thái kiến thức hiện tại của chúng ta về hệ thống. Đối với ngƣời chơi cờ bạc, điều này đại diện cho phân phối xác suất có nhiều khả năng là ―đúng‖. Nếu ngƣời đánh bạc có đƣợc thông tin bổ sung, ví dụ: rằng một trong những viên xúc xắc bị sai lệch, thì phân phối xác suất nhận biết và trạng thái vĩ mô có thể xảy ra nhất có thể thay đổi. Phân phối mới này có thể đƣợc xác định bằng cách cực đại phƣơng trình (1) tuân theo bất kỳ ràng buộc nào do thông tin mới này đƣa ra. Nếu thông tin hoàn hảo, tức là, một phân phối xác suất hoàn chỉnh cung cấp xác suất của từng trạng thái vi mô, đƣợc đƣa ra, thì trạng thái vĩ mô mới có khả năng xảy ra nhất sẽ dễ dàng đƣợc xác định. Tuy nhiên, nếu thông tin này không hoàn hảo, làm thế nào để ngƣời chơi xác định cách tốt nhất để đặt cƣợc? Nếu không có thông tin nào về phân phối xác suất đƣợc biết, thì hàm entropy đạt cực đại khi tất cả các kết quả có cùng xác suất, tức là tất cả đều bằng . Nếu không, ngƣời chơi phải sử dụng phân phối xác suất tối đa hóa entropy tuân theo các ràng buộc đã biết dựa trên tất cả thông tin có sẵn. Điều này có thể đƣợc thực hiện một cách chính thức bằng cách đƣa vào các số nhân Lagrangian, ví dụ, và cho hai ràng buộc của ∑ và giá trị kỳ vọng của X, dẫn đến phân phối xác suất tổng quát . Dạng xác suất này có thể đƣợc sử dụng để xác định 6
hằng số chuẩn hóa, dẫn đến hàm phân vùng. Phƣơng pháp này có thể đƣợc tổng quát hóa cho bất kỳ số lƣợng ràng buộc nào và đƣợc Jaynes trình bày chi tiết. 1.2.2 Ứng dụng độ đo entropy Entropy đƣợc ứng dụng trong nhiều lĩnh vực bao gồm nhƣng không giới hạn các lĩnh vực phân tích hình ảnh, hệ thống đô thị, quản lý năng lƣợng… Một thách thức của phân tích hình ảnh là thu thập đƣợc thông tin có ý nghĩa bằng cách trích xuất các đặc trƣng cụ thể từ hình ảnh có trong cơ sở dữ liệu lớn hoặc trong quá trình thu thập thời gian thực. Trong số các vấn đề yêu cầu trích xuất tính năng, có thể kể tên một số vấn đề, nhận dạng và nhận diện khuôn mặt, nhận dạng ký tự và xác định tham số cho thực tế tăng cƣờng và các công nghệ khác. Một thách thức khác là mã hóa an toàn và giải mã dữ liệu đa phƣơng tiện. Những công việc này đòi hỏi các phƣơng pháp phân tích và số học rất phức tạp. Trong nhiều công bố thuộc lĩnh vực này, entropy đóng một vai trò quan trọng. Lu và cộng sự [8] xem xét một phƣơng pháp thiết lập hệ thống truy xuất hình ảnh tự động và hiệu quả. Giải pháp đƣợc đề xuất là một phƣơng pháp trọng số thích ứng dựa trên phản hồi về entropy và mức độ liên quan. Trong số các ƣu điểm của giải pháp đƣợc đề xuất, khả năng truy xuất đƣợc cải thiện và độ chính xác của việc trích xuất tính năng đƣợc đặc trƣng. Zhu và cộng sự [9] kiểm tra bảo mật dữ liệu hình ảnh. Mã hóa hình ảnh là cần thiết để bảo vệ việc truyền hình ảnh kỹ thuật số. Phƣơng pháp đƣợc đề xuất trong bài viết dựa trên sự hỗn loạn và thuật toán băm SHA-256. Kết quả thử nghiệm đƣợc sử dụng để kiểm tra thuật toán, cho thấy rằng nó an toàn và đáng tin cậy. Li và các cộng sự [10] đề xuất một cách tiếp cận mới để đăng ký hình ảnh đƣợc mô tả. Phƣơng pháp này dựa trên entropy Arimoto với các phân bố gradient. Cách tiếp cận đƣợc đề xuất cung cấp một sự liên kết không phức tạp, dựa trên một giải pháp tối ƣu của một hàm chi phí. Miao và cộng sự [11] đề xuất một phƣơng pháp đánh giá tính năng chống trƣợt của bề mặt mặt đƣờng nhựa. Các kết cấu vi mô và vĩ mô ba chiều của bề mặt nhựa đƣờng đƣợc phát hiện. Phƣơng pháp dựa trên entropy đƣợc so sánh với thông số về mặt vĩ mô truyền thống. Nagy và cộng sự [12] trong bài báo của họ liên quan đến hình ảnh của nội soi đại tràng, đề xuất một nghiên cứu với khuôn khổ của nó trong các phƣơng pháp dựa trên entropy Rényi. Công bố đóng 7
góp vào các chẩn đoán có sự hỗ trợ của máy tính trong việc tìm ra các polyp đại trực tràng. Các tác giả nghiên cứu các đƣờng cong đặc trƣng có thể đƣợc sử dụng để phân biệt các polyp và các cấu trúc khác trong hình ảnh nội soi đại tràng. Entropy đã đƣợc áp dụng cho các hệ thống đô thị cho một loạt các ứng dụng đa dạng. Có rất nhiều ứng dụng của định nghĩa thống kê thông tin của entropy cho các hệ thống đô thị. Một nhóm nổi bật trong số này khai thác đặc tính rằng entropy là cực đại khi xác suất đƣợc phân bố đồng đều và bằng không khi tập trung ở một vị trí duy nhất. Do đó, entropy có thể đƣợc sử dụng để đại diện cho phép đo nồng độ hoặc độ phân tán trong không gian. Cách giải thích nhƣ vậy có thể mang lại nhiều chỉ số đo lƣờng các hiện tƣợng nhƣ vậy trong hệ thống đô thị nhƣ đa dạng sắc tộc, sự lan rộng của đô thị, phân biệt chủng tộc, sự đa dạng của việc sử dụng đất đô thị, và sự phân bố địa lý của các loài để suy ra đa dạng sinh học. Các ứng dụng này thƣờng đƣợc kết hợp với GIS và các kỹ thuật viễn thám để phân tích dữ liệu địa lý thực, cũng nhƣ đối sánh ví dụ của các điểm ƣa thích tƣơng tự thông qua dữ liệu vị trí địa lý. Medvedkov cũng đề xuất một phƣơng pháp entropy có thể so sánh trong nỗ lực tìm kiếm trật tự trong phân bố không gian của các khu định cƣ bằng cách so sánh các phân bố ngẫu nhiên và phân cụm. Các ứng dụng của nguyên lý nhiệt động lực học cho hệ thống đô thị rất đa dạng. Một số đánh giá trong nhóm này đƣợc trình bày bởi Filchakova và cộng sự. Ví dụ, trong nhiệt động lực học kỹ thuật, exergy đƣợc định nghĩa là lƣợng công lớn nhất có thể đạt đƣợc từ một hệ thống bằng cách đƣa nó về trạng thái cân bằng với môi trƣờng của nó. Trong lịch sử, phân tích exergy đã đƣợc sử dụng để cải thiện hiệu quả nhiệt động lực học của các quy trình công nghiệp khác nhau, bằng cách xác định và giảm thiểu sự phá hủy exergy. Điều này đã dẫn đến các ứng dụng cho các hệ thống lớn hơn đánh giá hiệu quả năng lƣợng ở quy mô quốc gia, khu vực và đô thị. Ví dụ, Nielsen và Jørgensen phát triển một khung kế toán dị ứng, lập bản đồ các vị trí tiêu thụ nhiều dị ứng trên sáu lĩnh vực xã hội cho một khu vực nhỏ, cho phép xác định các lĩnh vực cần chú ý cho một kế hoạch chuyển đổi 'năng lƣợng bền vững' đƣợc đề xuất. 8
1.3. Phân lớp Support Vector Machine 1.3.1 Bài toán phân lớp Lĩnh vực học máy là một trong những khía cạnh nghiên cứu quan trọng nhất trong thế giới hiện đại. Học máy đang ngày càng phổ biến hơn và nó là một trong những xu hƣớng mới nổi hấp dẫn nhất của thế hệ hiện tại. Nó nêu bật những tiến bộ và tiến bộ nhanh chóng của con ngƣời trong vài thập kỷ qua. Trí tuệ nhân tạo, khoa học dữ liệu và học máy đang đóng góp rất nhiều vào sự phát triển và công nghệ trong kỷ nguyên hiện đại. Học máy đặc biệt đóng góp rất nhiều cho hầu hết các ngành và công ty của thế giới ngày nay. Để xem xét một vài ví dụ về máy học trong việc sử dụng hàng ngày, chúng ta có thể bắt đầu bằng một thứ đơn giản nhƣ trình duyệt web hoặc YouTube. Trong khi duyệt qua internet, một số lƣợng lớn các trƣờng hợp sử dụng nhƣ tự động sửa và tự động hoàn thành trở nên rõ ràng hơn đối với bộ não con ngƣời. Nếu bạn đang tìm kiếm video YouTube hoặc phim trên Netflix, có những hệ thống đề xuất cấp cao đƣợc sử dụng trong các thiết bị này. Phân lớp là một chủ đề trọng tâm trong học máy có liên quan đến việc dạy máy cách nhóm dữ liệu lại với nhau theo các tiêu chí cụ thể. Phân lớp là quá trình máy tính nhóm dữ liệu lại với nhau dựa trên các đặc điểm định trƣớc - đây đƣợc gọi là học có giám sát. Có một phiên bản phân loại không đƣợc giám sát, đƣợc gọi là phân cụm trong đó các máy tính tìm thấy các đặc điểm dùng chung để nhóm dữ liệu khi các danh mục các lớp không đƣợc chỉ định trƣớc. Một ví dụ phổ biến về phân lớp đi kèm với việc phát hiện email spam. Để viết một chƣơng trình lọc ra các email spam, một lập trình viên máy tính có thể đào tạo một thuật toán học máy với một tập hợp các email giống nhƣ spam đƣợc gắn nhãn là spam và các email thông thƣờng đƣợc gắn nhãn là không phải spam. Ý tƣởng là tạo ra một thuật toán có thể tìm hiểu các đặc điểm của email spam từ bộ đào tạo này để nó có thể lọc ra các email spam khi gặp các email mới. 9
Phân lớp là một công cụ quan trọng trong thế giới ngày nay, nơi dữ liệu lớn đƣợc sử dụng để đƣa ra tất cả các loại quyết định trong chính phủ, kinh tế, y tế... Các nhà nghiên cứu có quyền truy cập vào lƣợng dữ liệu khổng lồ và phân loại là một công cụ giúp họ hiểu dữ liệu và tìm ra các mẫu. Trong khi phân lớp trong học máy yêu cầu sử dụng các thuật toán phức tạp, thì phân lớp là điều mà con ngƣời thực hiện hàng ngày một cách tự nhiên. Phân lớp chỉ đơn giản là nhóm các sự vật lại với nhau theo các đặc điểm và thuộc tính tƣơng tự. Khi đến một cửa hàng tạp hóa, bạn có thể phân loại khá chính xác các loại thực phẩm theo nhóm thực phẩm. Trong máy học, phân lớp là việc dạy cho máy tính làm nhƣ vậy. Một số loại thuật toán phân lớp phổ biến nhƣ:  Logistic Regression: Hồi quy logistic là một thuật toán học máy để phân loại. Trong thuật toán này, các xác suất mô tả các kết quả có thể có của một thử nghiệm đơn lẻ đƣợc mô hình hóa bằng cách sử dụng một hàm logistic. Hồi quy logistic đƣợc thiết kế cho mục đích phân lớp và hữu ích nhất để hiểu ảnh hƣởng của một số biến độc lập lên một biến kết quả duy nhất. Hồi quy logistic chỉ hoạt động khi biến đƣợc dự đoán là nhị phân, giả sử tất cả các yếu tố dự đoán là độc lập với nhau và giả sử dữ liệu không có giá trị bị thiếu.  Naïve Bayes: Thuật toán Naive Bayes dựa trên định lý Bayes với giả định về sự độc lập giữa mọi cặp đặc trƣng. Bộ phân lớp Naive Bayes hoạt động tốt trong nhiều tình huống thực tế nhƣ phân loại tài liệu và lọc thƣ rác. Thuật toán này yêu cầu một lƣợng nhỏ dữ liệu huấn luyện để ƣớc tính các tham số cần thiết. Bộ phân lớp Naive Bayes cực kỳ nhanh so với các phƣơng pháp phức tạp hơn. Naive Bayes có hiệu quả chƣa cao.  K-Nearest Neighbours: Phân lớp dựa trên phần tử lân cận là một kiểu học ―lazy‖ vì nó không cố gắng xây dựng một mô hình tổng quan mà chỉ lƣu trữ các phiên bản của dữ liệu huấn luyện. Phân lớp đƣợc tính toán từ việc kiểm chứng khoảng cách của phần tử đang xét đến các phần tử lân cận. Thuật toán này hiệu quả với các bộ dữ liệu nhiều nhiễu và có kích thƣớc 10