Phát hiện rối loạn dáng đi hỗ trợ giám sát chăm sóc sức khỏe trên nền video

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:9

Thêm vào BST

Báo xấu

32
lượt xem 1
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Phát hiện rối loạn dáng đi là một nhánh nghiên cứu nhận được nhiều quan tâm trong lĩnh vực chăm sóc sức khỏe, do sự liên quan mật thiết giữa dáng đi và tình trạng sức khỏe của bệnh nhân. Bài viết đề xuất một cách tiếp cận mới trên nền video để phát hiện các bất thường trong dáng đi do ảnh hưởng của bệnh tật, bằng cách phân tích các đoạn video quay cảnh người đi bộ theo phương ngang.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Phát hiện rối loạn dáng đi hỗ trợ giám sát chăm sóc sức khỏe trên nền video

Kỷ yếu Hội nghị KHCN Quốc gia lần thứ XI về Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin (FAIR); Hà Nội, ngày 09-10/8/2018 DOI: 10.15625/vap.2018.00057 PHÁT HIỆN RỐI LOẠN DÁNG ĐI HỖ TRỢ GIÁM SÁT CHĂM SÓC SỨC KHỎE TRÊN NỀN VIDEO Hoàng Lê Uyên Thục 1, Ngô Thị Kim Xuyến2, Nguyễn Thị Thu Thảo3, Lê Thị Mỹ Hạnh4, Hoàng Thị Mỹ Lệ5 14 Trường Đại học Bách khoa, Đại học Đà Nẵng 2 Công ty Quản lý bay Miền Trung 3 Atspid Inc. Chi nhánh Đà Nẵng 5 Trường Đại học Sư phạm Kỹ thuật, Đại học Đà Nẵng hluthuc@dut.udn.vn, ngoxuyen710@gmail.com, nthuthao0610@gmail.com, ltmhanh@dut.udn.vn, htmle@ute.udn.vn TÓM TẮT: Phát hiện rối loạn dáng đi là một nhánh nghiên cứu nhận được nhiều quan tâm trong lĩnh vực chăm sóc sức khỏe, do sự liên quan mật thiết giữa dáng đi và tình trạng sức khỏe của bệnh nhân. Trong bài báo này, chúng tôi đề xuất một cách tiếp cận mới trên nền video để phát hiện các bất thường trong dáng đi do ảnh hưởng của bệnh tật, bằng cách phân tích các đoạn video quay cảnh người đi bộ theo phương ngang. Trước tiên, mô hình Markov ẩn tuần hoàn CHMM được huấn luyện để mô hình hóa dáng đi bình thường, dựa trên chuỗi véctơ đặc trưng trích từ chuỗi khung hình trong các đoạn video ghi hình dáng đi bình thường; ở đây véctơ đặc trưng sử dụng moment Hu để mô tả thống kê hình dạng đối tượng và đối tượng được trích từ trong khung hình bằng phép trừ nền dựa trên mô hình hợp Gauss GMM. Để kiểm tra tình trạng dáng đi, ta chuyển chuỗi khung video trong các đoạn video kiểm tra thành chuỗi véctơ đặc trưng theo cách tương tự như trên, rồi tính khả năng mà mô hình dáng đi bình thường có thể sinh ra chuỗi véctơ này, sau cùng so sánh với một mức ngưỡng đã định để xác định sự bất thường trong dáng đi. Kết quả thực nghiệm với cơ sở dữ liệu video dáng đi bệnh lý giả lập cho thấy hiệu quả hứa hẹn của hệ thống đề xuất, thể hiện ở tỷ lệ nhận dạng chính xác cao và thời gian quan sát dáng đi ngắn. Từ khóa: Phát hiện rối loạn dáng đi, moment Hu, mô hình Markov ẩn tuần hoàn CHMM, cách tiếp cận trên nền video, hệ thống giám sát chăm sóc sức khỏe. I. GIỚI THIỆU Trong những năm qua, Việt Nam đã đạt được nhiều thành tựu quan trọng về kinh tế, an sinh xã hội, chăm sóc sức khỏe, nhờ đó tuổi thọ của người dân cũng được nâng cao. Theo Quỹ Dân số i n hợp quốc UNFPA, từ năm 2011 Việt Nam chính thức bước vào giai đoạn già hóa dân số và dự báo đến năm 2049 th t lệ người cao tuổi ở Việt Nam s chiếm đến 26,10 tổng dân số, cao hơn nhiều so với t lệ người cao tuổi trung b nh tr n toàn c u [1]. B n cạnh những tác động tích cực, già hóa dân số đặt ra nhiều thách thức đối với mọi mặt của đời sống kinh tế - xã hội nước ta, nhất là vấn đề giám sát chăm sóc sức khỏe người cao tuổi, phát hiện sớm các chứng bệnh li n quan đến tuổi tác nhằm có biện pháp hỗ trợ y tế kịp thời [1]. Từ bối cảnh tr n, chúng tôi đặt mục ti u lâu dài là nghi n cứu phát triển hệ thống hỗ trợ giám sát chăm sóc sức khỏe người cao tuổi một cách tự động, trong đó giai đoạn đ u ti n dành cho nghi n cứu phát hiện rối loạn dáng đi. Các nghi n cứu y khoa đã kết luận rằng việc một người mất khả năng đi bộ b nh thường có thể là hậu quả của một vấn đề sức khỏe nào đó như rối loạn, tổn thương hoặc suy giảm chức năng của một hoặc nhiều cơ quan gồm hệ thống tiểu não, tiền đ nh, cơ xương khớp, cơ quan thị giác, thính giác [2]. Ngoài ra, dáng đi bất thường cũng được chứng minh là một yếu tố rủi ro làm gia tăng nguy cơ té ngã ở người cao tuổi [3]. Như vậy, phát hiện sớm rối loạn dáng đi đóng vai trò quan trọng giúp giảm thiểu hậu quả của bệnh tật nhờ can thiệp y khoa kịp thời và giúp phòng tránh té ngã hiệu quả hơn nhờ dự đoán được nguy cơ té ngã. Theo phương pháp y khoa truyền thống, các chuy n gia về dáng đi thường tiến hành đánh giá dáng đi bằng cách quan sát bệnh nhân đi bộ trong bệnh viện/phòng khám kết hợp với phỏng vấn bệnh nhân/người chăm sóc [4]. Ưu điểm nổi trội của phương pháp dựa vào chuy n gia như thế này là độ chính xác rất cao, tuy nhi n kết quả có thể mang tính chủ quan do phụ thuộc vào sự khai bệnh và sự hợp tác của bệnh nhân. Ngoài ra, việc thăm khám thường theo từng đợt chứ không thường xuy n, cho n n có thể bỏ sót giai đoạn mới phát bệnh. Ngày nay, với sự hỗ trợ của công nghệ hiện đại, dáng đi có thể được giám sát, phân tích và đánh giá thường xuy n và tự động tại mọi nơi. Phương pháp mới được tiến hành dựa vào cảm biến các loại khác nhau [4]. Cảm biến đeo trong người thường được gắn vào đ u gối, chân, đùi, v.v. để thu giữ các dữ liệu về dáng đi. oại này khiến người bệnh không cảm thấy thoải mái khi di chuyển. Cảm biến không đeo trong người, chẳng hạn như cảm biến đo phản lực nền, thường được dùng trong các phòng thí nghiệm phân tích dáng đi chuy n dụng rất tốn kém và c n chuy n gia phân tích dữ liệu thu thập. So với các phương pháp tr n, phương pháp phân tích dáng đi dựa vào xử lý h nh ảnh quay từ camera có khá nhiều ưu điểm như lắp đặt, vận hành và bảo dưỡng đơn giản, tạo sự thoải mái cho người bệnh do không phải mang thiết bị theo người và có thể thực hiện thường xuy n. Từ những phân tích tr n đây, bài báo đề xuất hệ thống tự động phát hiện dáng đi bất thường với cách tiếp cận dựa vào camera như tr n H nh 1. Trước ti n, khối thu nhận dữ liệu thu thập thông tin về t nh trạng sức khỏe của bệnh
438 PHÁT HIỆN RỐI OẠN DÁNG ĐI HỖ TRỢ GIÁM SÁT CHĂM SÓC SỨC KHỎE TRÊN NỀN VIDEO nhân nhờ một camera ghi hình đối tượng đi bộ. Tiếp đến, tín hiệu video dáng đi được truyền đến khối xử lý dữ liệu. Việc xử lý dữ liệu được thực hiện bằng ph n mềm, dựa tr n nguyên lý so sánh thống k tín hiệu video thu được từ bệnh nhân (là dữ liệu kiểm tra) với các mẫu video đã lưu sẵn (là dữ liệu huấn luyện đã được gán nhãn) để đưa ra kết luận về t nh trạng dáng đi. Cuối cùng, kết quả nhận dạng được gởi đến khối lưu trữ/cảnh báo là trạm cấp cứu, nhân vi n y tế và/hoặc người nhà bệnh nhân tùy theo cài đặt của hệ thống, nhằm cảnh báo bất thường để t m kiếm sự can thiệp y khoa kịp thời hoặc lưu lại để chuy n gia y tế phân tích sâu hơn sau này khi c n thiết. Thu nhận dữ liệu Xử lý dữ liệu Lưu trữ/cảnh báo Hình 1. Sơ đồ khái niệm hệ thống phát hiện rối loạn dáng đi tr n nền video Ph n tiếp theo của bài báo được tổ chức như sau: Ph n II t m hiểu các nghi n cứu g n đây li n quan đến phát hiện dáng đi bất thường, ph n III mô tả chi tiết các khâu xử lý và các bước tính toán trong hệ thống đề xuất - chính là khâu “Xử lý dữ liệu” trong H nh 1, ph n IV là thí nghiệm đánh giá hệ thống và cuối cùng là kết luận ở ph n V. II. CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN Hiện nay, lĩnh vực phân tích dáng đi tr n nền video nói chung đang thu hút rất nhiều sự quan tâm nghi n cứu tr n toàn thế giới. Các nghi n cứu h u hết tập trung vào mục ti u là t m cách trích xuất các tham số và đặc trưng dáng đi. Sau đây là một số công tr nh nghiên cứu li n quan trong những năm g n đây chỉ sử dụng camera 2 chiều thông thường (tức là không có thông tin độ sâu): Hệ thống [5] sử dụng hai camera đặt vuông góc nhau để ghi h nh đối tượng với góc quay trực diẹn và bên hông. Các đặc trưng trích từ ảnh đối tượng gồm có đường nối trọng tâm có thể với một điểm ở giữa cổ, đường nối điểm giữa đ u với điểm giữa cổ và góc tạo bởi hai đường này được dùng để đánh giá tư thế của ph n thân trên. Các đặc trưng gồm trọng tâm và bề rộng cơ thể được sử dụng để đánh giá tư thế của ph n thân dưới. Trong phương pháp [6], đối tượng quan sát có thể đi theo hướng tùy ý và chỉ y u c u hai camera lắp vuông góc với nhau. Phương pháp này đã trích được các đặc trưng quan trọng của dáng đi như trọng tâm và chiều dài bước chân. Không dùng nhiều camera như tr n, hệ thống [7] chỉ dùng một camera kết hợp với gắn 5 vật đánh dấu phát sáng vào 5 vị trí đã định tr n chân của đối tượng. Hệ thống thực hiện phân tích dáng đi bằng cách phân tích dòng video dựa vào việc theo vết các vật đánh dấu phát sáng. à một nhánh nghi n cứu con của phân tích dáng đi, các hệ thống phát hiện dáng đi bất thường do bệnh lý trước hết cũng tập trung vào việc trích xuất các tham số và đặc trưng dáng đi như vừa tr nh bày ở tr n. Th m vào đó, hệ thống c n phải có cơ chế phân biệt dáng đi khỏe mạnh và dáng đi bệnh lý. Điều này thường được thực hiện dựa vào so sánh dáng đi kiểm tra với một mô h nh dáng đi b nh thường hoặc sử dụng kỹ thuật học máy, như một số công tr nh nghi n cứu sau đây: Phương pháp [8] thực hiện đo độ tương tự giữa sự chuyển động của khung xương trích ra từ mô h nh của đối tượng c n kiểm tra và trích từ một mô h nh dáng đi khỏe mạnh. Phương pháp đạt độ chính xác tuyệt đối trong trường hợp phát hiện dáng đi bệnh Parkinson. Phương pháp [9] nhận dạng 4 loại dáng đi bệnh lý khác nhau gồm diplegic, hemiplegic, neuropathic và Parkinson dựa vào dữ liệu video với góc quay b n hông, sử dụng kỹ thuật học máy véctơ hỗ trợ SVM (Support Véctơ Machine). Kết quả thực nghiệm đạt được độ chính xác khá tốt, đến 80 , tuy nhi n số lượng mẫu trong cơ sở dữ liệu còn khá khi m tốn, chỉ 75 mẫu gồm đi bộ b nh thường và 4 loại dáng đi bệnh lý trên. Chỉ sử dụng duy nhất một camera 2D thông thường như phương pháp [9], phương pháp [10] trích đặc trưng h nh dạng của dáng đi dựa tr n moment Hu và sử dụng mô h nh Markov ẩn tu n hoàn CHMM (Cyclic Hidden Markov Model) để mô h nh hóa dáng đi, trong đó mỗi loại bệnh lý được mô h nh hóa bằng một mô h nh CHMM tương ứng. Bản chất tu n hoàn của mô h nh CHMM giúp cho việc trích đặc trưng dáng đi trở n n đơn
Hoàng Uy n Thục, Ngô Thị Kim Xuyến, Nguyễn Thị Thu Thảo, Thị Mỹ Hạnh, Hoàng Thị Mỹ ệ 439 giản hơn, do không c n quan tâm trích chính xác chu kỳ của dáng đi như phương pháp [9]. Đồng thời mô h nh HMM cũng đã được chứng minh thực nghiệm là đối phó rất tốt với sự thay đổi thang không gian-thời gian như chuỗi véctơ đặc trưng trích từ đoạn video hành động con người [11]. So với phương pháp [8], [9], phương pháp [10] cho hiệu quả nhận dạng ngang bằng với số lượng mẫu trong cơ sở dữ liệu lớn hơn nhiều mà chưa c n dùng đến các bộ mô tả đặc trưng dáng đi phức tạp. Từ các phân tích tr n đây, trong nghi n cứu này, chúng tôi chọn cách tiếp cận tương tự như phương pháp [10]. Tuy nhiên, theo phương pháp [10] th trong pha huấn luyện ta phải huấn luyện một mô h nh CHMM cho mỗi loại dáng đi bệnh lý tương ứng. Điều này khó thực hiện trong thực tế do chúng ta không đủ kiến thức và thiếu dữ liệu video cho nhiều loại dáng đi bệnh lý. Hơn nữa, như tr nh bày tr n H nh 1, mục ti u nghi n cứu đặt ra ở đây không nhằm nhận dạng các loại dáng đi bệnh lý khác nhau, mà là phát hiện dáng đi bất thường nhằm cảnh báo kịp thời cho chuy n gia y tế. V vậy, để phù hợp với mục ti u nghi n cứu và tăng tính khả thi, chúng tôi cải tiến phương pháp [10] bằng cách: trong pha huấn luyện chỉ tiến hành huấn luyện mô h nh dáng đi khỏe mạnh từ các đoạn video ghi h nh dáng đi khỏe mạnh, rồi dùng mô h nh này như một mô hình tham chiếu để xác định t nh trạng b nh thường hay bất thường của dáng đi trong các đoạn video kiểm tra. Như vậy, trong hệ thống đề xuất, tải công việc huấn luyện s giảm đi nhiều do không c n huấn luyện các mô h nh dáng đi bệnh lý các loại như trong phương pháp [10]. III. PHÁT HIỆN DÁNG ĐI BẤT THƯỜNG Tương tự như các phương pháp [9], [10], kịch bản đặt ra ở đây là đối tượng đi bộ dọc theo hành lang b n trong nhà và được quan sát bởi một camera gắn cố định với góc quay b n hông (side-view). Hệ thống đề xuất cải tiến từ hệ thống [10] nên có cấu trúc cơ bản tương tự như hệ thống [10]. H nh 2 cho thấy ba khối xử lý dữ liệu chính trong hệ thống đề xuất gồm phân vùng đối tượng, trích đặc trưng và nhận dạng. Véctơ đặc trưng Hình 2. Sơ đồ khối chức năng hệ thống phát hiện rối loạn dáng đi đề xuất 3.1. Phân vùng đối tượng Từ mỗi khung h nh trong chuỗi khung video vào, bằng thuật toán phân vùng đối tượng, đối tượng đi bộ được trích ra khỏi ph n ảnh nền không chứa đối tượng như H nh 3a để tạo thành ảnh mặt nạ đối tượng. Ảnh mặt nạ là ảnh nhị phân có vùng trắng là vùng thuộc đối tượng và vùng đen là vùng thuộc nền như H nh 3c. (a) (b) (c) Hình 3. Phân vùng đối tượng bằng phương pháp trừ nền GMM (a) Khung ảnh nền, (b) Chuỗi khung video dáng đi, (c) Chuỗi ảnh mặt nạ kết quả
440 PHÁT HIỆN RỐI OẠN DÁNG ĐI HỖ TRỢ GIÁM SÁT CHĂM SÓC SỨC KHỎE TRÊN NỀN VIDEO Trong hệ thống đề xuất, việc phân vùng đối tượng được thực hiện bằng phương pháp trừ nền, với nguy n lý cơ bản là so sánh khung h nh gốc (H nh 3b) với ảnh nền (H nh 3a) để t m ra sai khác. Nếu độ sai khác vượt quá một mức ngưỡng đã định th ph n sai khác s được xem là ảnh mặt nạ đối tượng. Để có thể đối phó với sự thay đổi điều kiện chiếu sáng, sự rung nhẹ của cảm biến, v.v., thay v chọn một khung h nh nền th ban đ u ta sử dụng nhiều khung h nh nền li n tiếp để xây dựng mô h nh hợp Gauss GMM (Gaussian Mixture Model) cho từng điểm ảnh. Sau đó thực hiện tu n tự trừ nền rồi cập nhật mô h nh GMM cho từng điểm ảnh qua từng khung h nh [12]. Trong bài báo, số lượng khung h nh nền được chọn để xây dựng mô h nh GMM ban đ u là 25 và số lượng phân bố Gauss trong mô h nh GMM là 5. Sau đó, ảnh mặt nạ đối tượng được xử lý qua các phép h nh thái toán học và trích vùng quan tâm ROI (Region Of Interest). Vùng ROI là vùng được bao bởi h nh chữ nhật xung quanh đối tượng như ph n b n trái của H nh 4. Việc xử lý ở các bước tiếp theo chỉ thực hiện với ph n ảnh b n trong vùng ROI này. Hình 4. Vùng ROI và giá trị các thành ph n của véctơ đặc trưng tương ứng 3.2. Trích đặc trưng Như đã tr nh bày, mục ti u chính của hệ thống là phân biệt dáng đi b nh thường và bất thường. Bằng trực giác và kinh nghiệm, con người có thể nhận biết điều này thông qua quan sát biểu hiện b n ngoài của dáng đi mà không c n số liệu chính xác về các tham số dáng đi. Từ đây có thể suy ra rằng một bộ mô tả đặc trưng h nh dạng tốt là hy vọng có thể cung cấp khá đ y đủ thông tin về sự sai khác h nh dạng bề ngoài giữa dáng đi b nh thường và bất thường. Qua xem xét các bộ mô tả đặc trưng h nh dạng phổ biến hiện nay, bài báo chọn sử dụng bộ mô tả đặc trưng h nh dạng dựa vào moment Hu, bởi v hai lý do chính sau đây [13]: Moment Hu được chứng minh là có thể mô tả thống k h nh dạng h nh học của ảnh mặt nạ đối tượng bất kể vị trí, kích thước cũng như hướng của đối tượng trong ảnh. Việc tính toán các moment khá đơn giản do chỉ sử dụng các phép toán số học thông thường như liệt k ở chuỗi các công thức từ (1) đến (3). Quá tr nh tính toán moment Hu bao gồm ba bước chính như sau [13]: Tính moment trung tâm từ hàm ảnh mặt nạ nhị phân s(x, y) : _ _ mpq (x x ) p ( y y )q s(x, y) p,q 0,1,2,3 (1) x y _ _ ở đây (x, y) là tọa độ điểm ảnh, (x, y ) là trọng tâm ảnh mặt nạ nhị phân, hàm ảnh mặt nạ nhị phân s(x, y) nhận các giá trị là 1 hoặc 0 tương ứng với điểm ảnh thuộc vùng trắng hoặc đen. Chuẩn hóa moment trung tâm: m pq M pq p q (2) 1 m 00 2 Tính 7 giá trị moment Hu từ S1 đến S7: S1 M 20 M 02 S2 (M 20 M 02 )(M 20 M 02 ) 4M 11M 11 S3 (M 30 3M 12 ) 2 (M 30 3M 21 ) 2 S4 (M 30 M 12 ) 2 (M 03 M 21 ) 2 S5 (M 30 3M 12 )(M 30 M 12 )[(M 30 M 12 ) 2 3(M 03 M 21 )2 ] (3M 21 M 03 )(M 03 M 21 )[3(M 30 M 12 )2 (M 03 M 21 )2 ] S6 (M 20 M 02 )[(M 30 M 12 ) 2 (M 03 M 21 ) 2 ] 4M 11 (M 30 M 12 )(M 03 M 21 ) S7 (3M 21 M 03 )(M 30 M 12 )[(M 30 M 12 ) 2 3(M 03 M 21 ) 2 ] (M 30 3M 12 )(M 21 M 02 )[3(M 30 M 12 )2 (M 03 M 21 )2 ] (3)
Hoàng Uy n Thục, Ngô Thị Kim Xuyến, Nguyễn Thị Thu Thảo, Thị Mỹ Hạnh, Hoàng Thị Mỹ ệ 441 Các giá trị moment Hu tính được rất nhỏ n n đã gây sai số về sau do làm tròn các giá trị quá nhỏ về 0. Để khắc phục vấn đề này, chúng tôi tiến hành lấy logarit của trị tuyệt đối của các moment. Cách làm này đã ánh xạ các điểm véctơ đặc trưng gốc rất g n nhau sang một không gian mới, ở đó chúng cách nhau đủ xa để tiện xử lý hơn. Tóm lại, đặc trưng mô tả dáng đi sử dụng trong hệ thống là đặc trưng dựa tr n logarit của moment Hu của ảnh mặt nạ nhị phân đối tượng, do đó có thể được gọi ngắn gọn là đặc trưng logHu. Như vậy, bước trích đặc trưng đã chuyển đổi mỗi khung h nh thành một véctơ đặc trưng logHu 7 chiều như thể hiện qua ví dụ tr n H nh 4. 3.3. Nhận dạng dáng đi bất thường Để phát hiện dáng đi bất thường, trước ti n ta huấn luyện mô h nh dáng đi b nh thường, rồi dùng mô h nh này như là một chuẩn tham chiếu để dựa vào đấy đánh giá t nh trạng của dáng đi kiểm tra là b nh thường hay bất thường. Mô hình hóa dáng đi bình thường Theo định nghĩa [14], đi bộ là một chuỗi li n tục theo chu kỳ gồm các giai đoạn hai bàn chân luân phi n nhau nhấc l n khỏi mặt đất (swing) và chạm xuống đất (stance). Một chu kỳ đi bộ là một khoảng thời gian từ một tư thế nào đó đến khi tư thế đó được lặp lại, ví dụ từ tư thế số 1 đến lại tư thế số 1 như tr n H nh 5. Như vậy, hành động đi bộ là một chuỗi các tư thế li n tiếp nhau và có lặp lại. Tuy nhi n, cử động của cơ thể không thể giống nhau hoàn toàn giữa các chu kỳ n n sự lặp lại này là g n tu n hoàn (quasi-periodic). Ngoài ra, hành động đi bộ có thể xem là tín hiệu biến thiên động theo thời gian (time-varying) vì tốc độ đi bộ biến thi n nhanh chậm khác nhau tùy nhiều yếu tố. Hình 5. Chuỗi tư thế của cơ thể đánh số từ 1 đến 5 trong một chu kỳ đi bộ Qua xem xét các mô h nh toán học phổ biến, ta nhận thấy mô hình CHMM [11] tỏ ra phù hợp để mô h nh hóa hành động đi bộ. Một mô h nh CHMM hoàn toàn được đặc trưng bởi ma trận chuyển tiếp trạng thái A {aij }, ma trận quan sát B {b j (k)} và phân bố xác suất khởi đ u { i } ứng với số trạng thái ẩn N và số ký hiệu quan sát M. Để mô h nh hóa hành động đi bộ, mô h nh CHMM {A, B, } được đề xuất với các đặc điểm như sau: N trạng thái ẩn qi thể hiện N tư thế khác nhau của cơ thể, M ký hiệu quan sát phân biệt vk thể hiện M véctơ đặc trưng logHu phân biệt trích từ chuỗi khung video, Ma trận A có đặc điểm (4), gồm 3 điều kiện l n lượt tương ứng với 3 đặc điểm của hành động đi bộ là biến thiên động theo thời gian, g n tu n hoàn và là chuỗi các tư thế li n tiếp nhau: aii 0 aN 1 0 (4) aij 0 i j Ma trận B có các xác suất thỏa điều kiện (5). Điều này nhằm đối phó với vấn đề thiếu dữ liệu huấn luyện, nghĩa là giả sử véctơ trạng thái vk không bao giờ xuất hiện từ trạng thái qj trong dữ liệu huấn luyện th vẫn có thể có khả năng rất nhỏ (là ε) là vk xuất hiện trong dữ liệu kiểm tra chưa biết: b j (k) k, j (5) Xác định tình trạng dáng đi Trước ti n, ta huấn luyện mô h nh CHMM có các đặc điểm đã n u trên từ các véctơ huấn luyện. Các véctơ logHu được trích từ các khung video dáng đi khỏe mạnh, rồi ghép li n tiếp với nhau thành một chuỗi, sau đó được rời rạc hóa bằng phép lượng tử hóa véctơ để phân cụm cho các véctơ thành M cụm. Mỗi cụm gồm các véctơ g n nhau nhất tính theo khoảng cách Euclid. Kết quả là mỗi véctơ chuyển thành một ký hiệu huấn luyện trong số M ký hiệu (mỗi ký hiệu là một chỉ số cụm). M trọng tâm của cụm tạo thành M từ mã trong một bảng mã. Trong pha kiểm tra, việc rời rạc hóa chuỗi các véctơ đặc trưng kiểm tra O được thực hiện bằng phép mã hóa véctơ. Ta tính khoảng cách Euclid từ mỗi véctơ kiểm tra đến tất cả M từ mã trong bảng mã, rồi gán véctơ kiểm tra bằng
442 PHÁT HIỆN RỐI OẠN DÁNG ĐI HỖ TRỢ GIÁM SÁT CHĂM SÓC SỨC KHỎE TRÊN NỀN VIDEO một ký hiệu là chỉ số của từ mã g n nó nhất. Sau đó tính likelihood mà mô h nh dáng đi b nh thường có thể sinh ra chuỗi ký hiệu này p(O | ) , rồi so sánh với ngưỡng để quyết định về t nh trạng của dáng đi: If p(O | ) then "normal" (6) If p(O | ) then "abnormal" Ở đây là ngưỡng dáng di b nh thường và được xác định như sau: giả sử trong cơ sở dữ liệu có L đoạn video dáng đi b nh thường, ta chọn (L-1) đoạn để huấn luyện mô h nh dáng đi b nh thường và tính likelihood mà mô h nh này sinh ra chuỗi véctơ đặc trưng trích từ đoạn video còn lại (gọi là video định ngưỡng); tiếp tục xoay vòng như thế ta tính được L giá trị likelihood i ,1 i L . Dựa vào tập { i } ta xác định một mức ngưỡng dựa theo một ti u chí mong muốn nào đó. ưu ý là chuỗi véctơ định ngưỡng cũng được chuyển thành chuỗi ký hiệu định ngưỡng bằng cách mã hóa véctơ tương tự như thực hiện với chuỗi véctơ kiểm tra. Toàn bộ quá tr nh này được thể hiện tóm tắt tr n H nh 6, với đường nét đỏ, lục và lam l n lượt thể hiện quá tr nh diễn ra trong pha huấn luyện, pha xác định ngưỡng và pha kiểm tra tương ứng. Véctơ huấn luyện Véctơ định ngưỡng Véctơ kiểm tra Hình 6. Quá tr nh nhận dạng dáng đi bất thường IV. ĐÁNH GIÁ HỆ THỐNG ĐỀ XUẤT Việc đánh giá hệ thống được thực hiện trên cơ sở dữ liệu dáng đi bệnh lý giả lập [10] và tuân theo quy trình thí nghiệm đã trình bày chi tiết ở mục III. 4.1. Cơ sở dữ liệu và tiêu chí đánh giá hệ thống Cơ sở dữ liệu dùng để đánh giá hệ thống có tổng cộng 438 đoạn video ghi h nh dáng đi với góc quay bên hông, gồm 100 đoạn video dáng đi b nh thường và 338 đoạn video dáng đi bệnh lý giả lập gồm 56 đoạn dáng đi ataxic, 85 đoạn dáng đi hemiplegic, 97 đoạn dáng đi neuropathic và 100 đoạn dáng đi bệnh Parkinson [3]. Các bệnh lý này đều có dáng đi thể hiện qua sự mất thăng bằng, độ dài bước đi không đều, khớp bị co cứng, tư thế chúi về trước bất thường, tay chân giật rung, tốc độ di chuyển chậm, v.v. Tất cả các đoạn video trong cơ sở dữ liệu đều tuân theo định dạng avi, độ phân giải là 180x144, được ghi h nh bởi camera RGB thông thường và được quay tại một hành lang trong nhà vào buổi sáng dưới ánh sáng tự nhi n [3]. Để đánh giá hệ thống, chúng tôi đặt ưu ti n cao nhất cho ti u chí t lệ phát hiện bệnh cao (nghĩa là t lệ bỏ sót bệnh thấp) và chấp nhận t lệ cảnh báo nh m cao. Điều này là do mục ti u chính của hệ thống là phát hiện dáng đi bệnh lý bất thường để gửi thông tin cảnh báo đến chuy n gia y tế nhằm có các can thiệp y khoa sâu hơn về sau. 4.2. Tiến hành thí nghiệm Trong pha huấn luyện, ta chọn các tham số của mô h nh CHMM là N = 7, M = 64, 10 3 , {1,0,0,0,0,0,0}, ma trận A và B khởi đ u chọn ngẫu nhi n thỏa các điều kiện (4) và (5) và được tối ưu hóa bằng thuật toán huấn luyện Baum-Welch với 10000 vòng lặp [10]. L n lượt từng đoạn video dáng đi b nh thường được chọn làm video định ngưỡng để tính likelihood định ngưỡng. V các giá trị likelihood rất nhỏ n n áp dụng phép logarit để thuận tiện hơn cho tính toán về sau. Kết quả tính 100 giá trị log-likelihood { i } được dùng làm ứng vi n cho việc xác định mức ngưỡng. Trong pha kiểm tra, sau khi chuyển đổi chuỗi khung video kiểm tra thành chuỗi ký hiệu kiểm tra rời rạc, ta tính likelihood mà mô h nh dáng đi b nh thường sinh ra chuỗi ký hiệu này rồi thực hiện so sánh với ngưỡng theo phương tr nh (6) để xác định dáng đi bất thường. Việc xác định ngưỡng có thể thực hiện theo các cách như sau: Cách chọn ngưỡng đơn giản nhất là dùng chính giá trị trung b nh của tập { i } là: round( mean( i )) . Việc 1 i 100 làm tròn các giá trị log-likelihood là để tiện tính toán.
Hoàng Uy n Thục, Ngô Thị Kim Xuyến, Nguyễn Thị Thu Thảo, Thị Mỹ Hạnh, Hoàng Thị Mỹ ệ 443 Nếu quan tâm đến sự phân tán của dữ liệu ứng vi n, có thể chọn ngưỡng với một độ ch nh lệch nhất định so với trị trung bình là: round ( . ) , trong đó là một hằng số chọn tùy ý, và l n lượt là giá trị 1 i 100 trung b nh và lệch chuẩn của tập { i } . Nếu mục ti u đặt ra là t lệ phát hiện dáng đi bất thường cao nhất, ngưỡng s được đặt là giá trị cực đại của tập { i } . Trường hợp này phải chấp nhận t lệ cảnh báo nh m là cao nhất. Nếu mục ti u đặt ra là t lệ cảnh báo nh m thấp nhất, ngưỡng được chọn s là giá trị cực tiểu của tập { i } . Cách này thường không được khuyến khích v s trả giá bằng t lệ bỏ sót bệnh cao nhất. 4.3. Kết quả thí nghiệm Thực hiện thí nghiệm với 4 cách chọn ngưỡng như tr n và kiểm tra tr n toàn bộ cơ sở dữ liệu, ta thu được kết quả như trong Bảng 1. Ở đây t n dáng đi được viết tắt bằng 3 chữ cái đ u ti n trong t n tiếng Anh, TPR (True Positive Rate) là t lệ phát hiện bệnh đúng, FAR (False Alarm Rate) là t lệ cảnh báo nh m và Acc là t lệ nhận dạng đúng cả dáng đi b nh thường và dáng đi bệnh lý. Các kết quả TPR, FAR và Acc được tính theo t lệ ph n trăm, với số lượng video dáng đi bệnh lý tất cả các loại và số lượng video dáng đi khỏe mạnh đều được chuẩn hóa bằng nhau (là 100). Bảng 1. Kết quả phát hiện dáng đi bất thường ứng với các giá trị ngưỡng khác nhau Tỷ lệ nhận dạng đúng Kết quả (%) Chọn ngưỡng Ngưỡng Wal Ata Hem Neu Par TPR FAR Acc Trung bình -457 62/100 56/56 85/85 97/97 100/100 100,00 38,00 81,00 =-1 -593 83/100 56/56 85/85 95/97 100/100 99,41 17,00 91,21 =-0,7 -552 77/100 56/56 85/85 97/97 100/100 100,00 23,00 88,50 ệch =-1,2 -620 85/100 56/56 85/85 92/97 100/100 98,52 15,00 91,76 chuẩn =-1,5 -661 87/100 56/56 85/85 85/97 100/100 96,45 13,00 91,73 =-2 -729 100/100 56/56 85/85 70/97 100/100 92,01 0,00 96,01 Cực đại -232 2/100 56/56 85/85 97/97 100/100 100,00 98,00 51,00 Cực tiểu -748 100/100 54/56 85/85 68/97 100/100 90,83 0,00 95,42 4.4. Đánh giá hệ thống Qua kết quả ở Bảng 1 ta rút ra một số nhận xét về t lệ phát hiện dáng đi bệnh lý của hệ thống như sau: Chọn ngưỡng dựa vào giá trị trung b nh giúp mang lại t lệ phát hiện bệnh đạt tuyệt đối (100 ) nhưng t lệ cảnh báo nh m khá cao (38 %). Chọn ngưỡng dựa vào giá trị cực đại giúp đạt mục ti u đặt ra là t lệ phát hiện bệnh đạt cao nhất (100 %) nhưng trả giá bằng t lệ cảnh báo nh m cao nhất (98 %). Chọn ngưỡng dựa vào giá trị cực tiểu giúp đạt t lệ cảnh báo nh m thấp nhất (0 ), nhưng t lệ phát hiện bệnh cũng thấp nhất (90,83 ), nghĩa là có tr n 9 % trường hợp bệnh bị bỏ sót. Chọn ngưỡng dựa vào độ lệch chuẩn cho kết quả tốt nhất xét tr n cả 2 ti u chí về t lệ phát hiện bệnh và t lệ cảnh báo nh m. Hướng nghi n cứu tiếp theo c n kết hợp với bài toán tối ưu để t m ra giá trị hằng số tối ưu. T lệ phát hiện dáng đi bệnh lý phân bố không đều. Cụ thể là t lệ phát hiện dáng đi bệnh Parkinson và hemiplegic là tốt nhất (100 ) và neuropathic là thấp nhất. Như vậy bộ mô tả đặc trưng h nh dạng logHu hiện tại là chưa đủ tổng quát để mô tả nhiều loại dáng đi bệnh lý khác nhau. Bảng 2. So sánh các hệ thống phát hiện dáng đi bất thường. Hệ thống Hoạt động Tỷ lệ phát hiện dáng đi bệnh lý Huấn luyện Chọn Nhận Ata Hem Neu Par TPR ngưỡng dạng [10] Huấn luyện 5 mô h nh khác nhau Không Maximum 49/56 80/85 92/97 99/100 94,67 % ứng với 5 loại dáng đi likelihood Đề xuất Chỉ huấn luyện 1 mô h nh dáng đi Có So khớp 56/56 85/85 92/97 100/100 98,52 % 620 b nh thường ngưỡng
444 PHÁT HIỆN RỐI OẠN DÁNG ĐI HỖ TRỢ GIÁM SÁT CHĂM SÓC SỨC KHỎE TRÊN NỀN VIDEO Qua xem xét độ dài các đoạn video trong cơ sở dữ liệu, kết quả thu về là độ dài các đoạn video dao động trong khoảng thời gian 10-42 giây. Như vậy, trong một khoảng thời gian quan sát rất ngắn, hệ thống có thể phát hiện 4 loại dáng đi bệnh lý khác nhau với t lệ phát hiện trung b nh khá tốt (tr n 90 đối với tất cả các kiểu chọn ngưỡng). Để đánh giá hiệu quả của hệ thống đề xuất, ta thực hiện so sánh với nghi n cứu trước đó [10] bằng cách thực hiện các thí nghiệm tr n cùng cơ sở dữ liệu, cùng cách phân vùng đối tượng và trích đặc trưng, chỉ khác khâu nhận dạng. Kết quả so sánh thể hiện trong Bảng 2 cho thấy ảnh hưởng tích cực của việc cải thiện khâu nhận dạng đến hiệu quả nhận dạng của hệ thống. Ngưỡng ghi trong Bảng 2 đảm bảo t lệ cảnh báo nh m của hai phương pháp là như nhau. V. KẾT LUẬN Tóm lại, bài báo đã đề xuất một hệ thống phát hiện dáng đi bệnh lý chỉ dùng một camera 2D loại thông dụng. Hệ thống thực hiện xử lý tín hiệu video dáng đi qua ba bước chính gồm: (1) phân vùng đối tượng dùng phương pháp trừ nền dựa tr n mô h nh GMM, (2) trích đặc trưng dáng đi dựa tr n moment h nh dạng logHu và (3) nhận dạng dáng đi bất thường theo nguy n lý so khớp ngưỡng kết hợp với mô h nh CHMM. Thí nghiệm tr n tập cơ sở dữ liệu giả lập cho thấy hệ thống đề xuất có các ưu điểm chính là: (1) t lệ phát hiện dáng đi bệnh lý cao với thời gian quan sát dáng đi ngắn, (2) trong pha huấn luyện chỉ c n huấn luyện mô h nh CHMM biểu diễn dáng đi b nh thường mà không c n thông tin về dáng đi bệnh lý các loại và (3) có thể thay đổi mức ngưỡng để đạt những mục ti u mong đợi khác nhau. Đây là những kết quả khả quan ban đ u để tiếp tục phát triển các nghi n cứu trong tương lai với dữ liệu ghi h nh từ bệnh nhân thật, lượng dữ liệu lớn hơn và bộ mô tả đặc trưng được cải thiện nhằm trích xuất các đặc trưng rõ rệt hơn của dáng đi bệnh lý các loại. VI. TÀI LIỆU THAM KHẢO [1] UNFPA. “The aging population in Vietnam: current status, prognosis, and possible policy responses”, pp. 1-68, 2011. [2] A. Ali, K. Sundaraj, B. Ahmad, N. Ahamed, and A. Islam. “Gait disorder rehabilitation using vision and non- vision based sensors: a systematic review”. Bosnian Journal of Basic Medical Sciences, vol. 12(3), pp. 193–202, 2012. [3] W. Pirker and R. Katzenschlager. “Gait disorders in adults and the elderly: A clinical guide”. Wiener klinische Wochenschrift, vol. 129(3), pp. 1-15, 2016. [4] A. Muro-De-La-Herran, B. Garcia-Zapirain, and A. Mendez-Zorrilla. “Gait analysis methods: An overview of wearable and non-wearable systems, highlighting clinical applications”. Sensors, vol. 14(2), pp.3362-3394, 2014. [5] T. Y. Liao, S. G. Miaou and Y. R. Li. “A vision-based walking posture analysis system without markers”. 2nd International Conference on Signal Processing Systems, pp. 254- 258, 2010. [6] Y. R. Li, S. G. Miaou, C. K. Hung and J. T. Sese. “A gait analysis system using two cameras with orthogonal view”. International Conference on Multimedia technology, pp. 2841-2844, 2011. [7] P. Soda, A. Carta, D. Formica and E. Guglielmelli. “A low-cost video-based tool for clinical gait analysis”. 31st Annual International Conference of the IEEE EMBS, pp. 3979-3982, 2009. [8] T. Khan, J. Westin and M. Dougherty. “Motion cue analysis for parkinsonian gait recognition”. The Open Biomedical Engineering Journal, vol. 7, pp. 1-8, 2013. [9] M. Nieto-Hidalgo and J. M. García-Chamizo. “Classification of pathologies using a vision based feature extraction”. Ubiquitous Computing and Ambient Intelligence (UCAmI 2017), Lecture Notes in Computer Science, vol. 10586, pp. 265-274, 2017. [10] L. U. T. Hoang, V. T. Pham and J. N. Hwang. “An effective video-based model for fall monitoring of the elderly”. 2017 IEEE International Conference on System Science and Engineering, pp. 57-61, 2017. [11] L. U. T. Hoang, S. R. Ke, J. N Hwang, V. T. Pham and N. C. Truong. “Quasi-periodic action recognition from monocular videos via 3D human models and cyclic HMMs”. The 2012 International Conference on Advanced Technologies for Communications, pp. 110-113, 2012. [12] C. Stauffer and W. E. L. Grimson. “Adaptive background mixture models for real-time tracking”. IEEE ICCV 1999, pp. 246-252, Jun 1999. [13] Z. Huang and J. Leng. “Analysis of Hu's moment invariants on image scaling and rotation”. 2nd International Conference on Communication Engineering and Technology, pp. 476-480, 2010. [14] “Walk”. Địa chỉ www.dictionary.com, [truy cập ngày 11/07/2017].
Hoàng Uy n Thục, Ngô Thị Kim Xuyến, Nguyễn Thị Thu Thảo, Thị Mỹ Hạnh, Hoàng Thị Mỹ ệ 445 VIDEO-BASED ABNORMAL GAIT DETECTION TO ASSIST HEALTHCARE MONITORING SYSTEMS Hoang Le Uyen Thuc, Ngo Thi Kim Xuyen, Nguyen Thi Thu Thao, Le Thi My Hanh, Hoang Thi My Le ABSTRACT: Abnormal gait detection is an interested research branch in healthcare due to an apparent relation between a patient’s gait and his health status. In this paper, we propose a new video-based approach to detect gait abnormalities which may be caused by some diseases by analyzing the side-view walking videos. First, cyclic hidden Markov models (CHMMs) are trained to modelize normal gaits based on feature véctơs extracted frame-by-frame from healthy gait video clips. The feature véctơ statistically represents the shape of the object by Hu’s moments, and the object is segmented from the image frame by background subtraction based on Gaussian mixture model (GMM). In order to check the status of gait, we convert the sequence of image frames in testing video clip into sequence of feature véctơs in a similar way, then compute the likelihood that a normal walk model can generate this sequence, and finally perform the threshold matching to determine the gait anomaly. Experimental results on a simulated pathological video gait database show the effectiveness of our approach in terms of very high accuracy rate and very low observation time. Keywords: Abnormal gait detection, video-based, Hu’s moments, cyclic Hidden Markov Model, healthcare monitoring system.