Luận văn thạc sĩ: Ứng dụng phân tích video tự động phát hiện tình trạng té ngã

Chia sẻ: Sdfas Vfdtg | Ngày: | Loại File: PDF | Số trang:13

Thêm vào BST

Báo xấu

134
lượt xem 6
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Ứng dụng phân tích video tự động phát hiện tình trạng té ngã để tự động phát hiện tình trạng té ngã của bệnh nhân và người cao tuổi

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Luận văn thạc sĩ: Ứng dụng phân tích video tự động phát hiện tình trạng té ngã

1 2 B GIÁO D C VÀ ĐÀO T O Công trình ñư c hoàn thành t i Đ I H C ĐÀ N NG Đ I H C ĐÀ N NG NGÔ TH Ý Ngư i hư ng d n khoa h c: TS. PH M VĂN TU N NG D NG PHÂN TÍCH VIDEO Ph n bi n 1: TS. NGUY N LÊ HÙNG T Đ NG PHÁT HI N TÌNH TR NG TÉ NGÃ Chuyên ngành: K thu t ñi n t Ph n bi n 2: TS. NGÔ VĂN S Mã s : 60.52.70 Lu n văn ñư c b o v trư c H i ñ ng ch m Lu n văn t t nghi p th c sĩ k thu t h p t i Đ i h c Đà N ngvàongày 11 tháng 11 năm 2012 TÓM T T LU N VĂN TH C SĨ K THU T Có th tìm hi u lu n văn t i: Đà N ng - Năm 2012 - Trung tâm Thông tin - H c li u, Đ i h c Đà N ng - Trung tâm H c li u, Đ i h c Đà N ng.
3 4 M Đ U hay ñơn gi n là ñ t ng t ng i xu ng sàn nhà. Trong ñ tài này s ñ 1. Tính c p thi t c a ñ tài xu t h th ng phát hi n té ngã v i t l phát hi n cao. Tình tr ng gia tăng dân s ngư i cao tu i ngày càng nhanh. Vi t 2. M c tiêu nghiên c u Nam, ư c tính s ngư i trên 65 tu i là 6,5% (kho ng 5,5 tri u) và Xây d ng h th ng phân tích thông minh tín hi u video ñ t ñ ng kho ng 1,5 -1,9 tri u ngư i già b té ngã m i năm. H u qu nghiêm phát hi n tình tr ng té ngã c a b nh nhân và ngư i cao tu i. tr ng c a vi c té ngã là gãy xương (trong ñó kho ng 5% ph i nh p 3. Đ i tư ng và ph m vi nghiên c u vi n) [2]. Theo t ch c y t th gi i, ñ ñáp ng yêu c u chung, Vi t Đ i tư ng nghiên c u Nam c n ph i b sung thêm g n 80 nghìn nhân l c y t [1]. + H th ng phân tích thông minh tín hi u video. Giám sát các d li u sinh lý trên ngư i trong các trư ng h p bình Ph m vi nghiên c u thư ng và b t thư ng, m c ñích ñ phát hi n các s ki n kh n c p Đ tài th c hi n trên n n t ng k th a các ki n th c sau: ho c lưu tr thông tin. Đ i v i ngư i cao tu i ho c b nh nhân m c - Phân tích video. b nh mãn tính s ng m t mình, vi c theo dõi các hành vi c a h là nhu - H c máy (machine learning). c u r t c n thi t. M c ñích ñ c bi t c a vi c giám sát là phát hi n s - Cơ s d li u. c té ngã. Tai n n té ngã không nh ng có nguy cơ nh hư ng l n ñ n - Thi t k và phân tích thí nghi m. s c kh e mà còn gây ra nh ng ch n thương tâm lý làm gi m s t tin 4. Phương pháp nghiên c u c a ngư i già và b nh nhân [2]. Do ñó phát hi n té ngã là r t c n thi t - Xây d ng và thu th p cơ s d li u. ñ h tr b nh nhân tránh nh ng ñáng ti c x y ra. - Xem xét ñ tài liên quan, so sánh và ñánh giá các ưu khi m ñi m Nh ng năm g n ñây, công ngh c m bi n và m ng lư i camera c a các phương pháp ñã ñư c nghiên c u v phân tích video. phát tri n nhanh chóng góp ph n vào s phát tri n chăm sóc y t [9], - S d ng các công c toán h c phù h p [14]. Trong ñó h th ng phát hi n té ngã phát tri n nhanh và ngày càng - Thi t k và th c hi n các thí nghi m d a trên h th ng ñưa ra ñ ñ t ñư c k t qu t t. Có nhi u phương pháp gi i quy t v h th ng thu th p d li u k t qu . phát hi n té ngã. Trong [15], [26], các c m bi n ñư c s d ng ñ thu - Ki m tra ñ chính xác và tính hi u qu c a các h th ng ñưa ra. th p thông tin c a ñ i tư ng, còn trong [19], [22], phân tích thông tin 5. Ý nghĩa khoa h c và th c ti n tín hi u video t các camera ñư c s d ng ñ nh n d ng các hành Ý nghĩa khoa hoc ñ ng. Công ngh camera giám sát phát tri n, d l p ñ t và ít gây xáo Ngày nay, vi c cài ñ t, v n hành và b o dư ng h th ng camera tr n v i ngư i ñư c giám sát. Vì v y các h th ng phát hi n té ngã r t r t d th c hi n, ñi u này ñã giúp cho k thu t phân tích thông minh hay s d ng phương th c này. H u h t nh ng h th ng hi n nay chưa tín hi u video phát tri n r t nhanh chóng. Đ tài này t p trung vào phân bi t ñư c gi a s c té ngã v i hành ñ ng m t ngư i n m xu ng phân tích thông minh tín hi u video ng d ng trong h th ng t ñ ng
5 6 phát hi n tình tr ng té ngã c a con ngư i, ñây là m t lĩnh v c còn khá 1.2.1. H th ng d a vào các thi t b c m bi n g n trên cơ th ngư i m im Vi t Nam. 1.2.2. H th ng d a vào thi t b c m bi n không g n trên cơ th ngư i Ý nghĩa th c ti n 1.3. H TH NG D A VÀO PHÂN TÍCH VIDEO M c s ng ngày càng cao ñòi h i ch t lư ng cu c s ng ngày tăng. 1.3.1. H th ng giám sát qua tín hi u video Bên c nh ñó tình tr ng thi u nhân viên y t tr m tr ng và dân s ngày Phân tích video là m t k thu t có th t ñ ng xác ñ nh hành vi càng ñông, d n ñ n nhu c u d ch v y t ngày càng l n. Do ñó, phát ho c thái ñ c a m t ñ i tư ng c th thông qua vi c s d ng ph n tri n công ngh m i áp d ng trong ngành y t ñ gi i phóng m t ph n m m ñ phân tích n i dung các ño n video ghi hình ñ i tư ng [31]. s c ngư i là vô cùng c p thi t. Nghiên c u, thi t k h th ng t ñ ng phát hi n hành ñ ng té ngã b ng video có ý nghĩa quan tr ng trong giai ño n hi n nay. Các k t qu trong ñ tài này sát v i th c t và có H th ng s lý Hi u tính th c ti n cao góp ph n hoàn thi n vi c xây d ng h th ng chăm thông minh và hành vi sóc s c kh e bênh nhân và ngư i cao tu i t i nhà. m ng internet 6. C u trúc lu n văn Lu n văn g m 4 chương: Hình 1.4. H th ng camera giám sát thông minh Chương 1: T ng quan v h th ng t ñ ng h tr chăm sóc y t Chương 2: H th ng phân tích video phát hi n ngã 1.3.2. Phân tích và hi u hành vi con ngư i thông qua tín hi u video Chương 3: Hu n luy n m ng nơ-ron ñ phát hi n té ngã. 1.3.3. Chăm sóc y t d a vào h th ng giám sát video thông minh Chương 4: Th c nghi m và phân tích k t qu H th ng giám sát thông minh video ng d ng r ng rãi: K t lu n và hư ng phát tri n ñ tài + Giúp ñ tr li u và ch n ñoán sơ b cho b nh nhân. + T ñ ng phân tích và phát hi n nh ng d v t hay kh i u trong cơ CHƯƠNG 1: T NG QUAN V H TH NG T Đ NG H th b nh nhân. TR CHĂM SÓC Y T + Giám sát s c kh e b nh nhân t xa. Trong chương này, chúng ta s tìm hi u các h th ng t ñ ng h 1.3.4. ng d ng h th ng giám sát video thông minh vào vi c phát tr chăm sóc y t và t p trung tìm hi u h th ng d a trên phân tích hi n té ngã. thông minh tín hi u video. 1.1. GI I THI U H TH NG T Đ NG H TR CHĂM SÓC CHƯƠNG 2 : H TH NG PHÂN TÍCH VIDEO PHÁT HI N NGÃ YT Chương này, ñi sâu vào nghiên c u và phân tích các kh i trong h 1.2. H TH NG D A VÀO CÁC THI T B C M BI N th ng phân tích video phát hi n ngã c a con ngư i.
7 8 2.1. SƠ Đ KH I a. Phương pháp tr n n Các khung Tách ñ i Trích Ý nghĩa, It (x, y) - Bt (x, y) > τ (2.2) Ti n Nh n H u tư ng thu c S khác bi t gi a các ñi m nh so v i ngư ng thì ñư c xem là ñ i video x lý d ng x lý hành ñ ng tính tư ng. Hình 2.1. Sơ ñ kh i ch c năng h th ng phân tích video phát hi n ngã trong ñó : + τ : Giá tr ngư ng ñư c ñ nh nghĩa trư c. 2.2. TÁCH Đ I TƯ NG + It : Khung hình hi n t i. Tách ñ i tư ng là phát hi n, phân bi t gi a ñ i tư ng chuy n ñ ng + Bt : nh n n ñư c c p nh t v i ph n còn l i c a khung hình (hay còn g i là hình nên). Trong ñ tài chúng ta s d ng giá tr trung bình c a ba khung hình liên ti pkhung hình hi n t i ñ c p nh t. 1 i Bi+1 = (1 − α).Bi + α. ∑ I 3 j=i−2 j (2.4) α l n thì hình n n thay ñ i nhanh nhưng có th t o thành ñuôi phía sau (a) (b) (c) (d) ñ i tư ng chuy n ñ ng. α ñư c ch n là 0.05 như trong [17]. Hình 2.2 – Ví d mô t các bư c th c hi n c a kh i tách ñ i tư ng b. Phương pháp sai khác th i gian (a) Khung hình n n ñư c ư c lư ng 2.3. TI N X LÝ (b) Khung hình ng u nhiên m t th i ñi m nào ñó M t trong nh ng phương pháp ñư c s d ng ñ l c ñ i tư ng sau (c) K t qu sau khi tách ñ i tư ng, g m c bóng (shadow) khi trích ra kh i hình n n là s d ng hình thái toán h c [23]. (d) K t qu cu i cùng sau x lý 2.3.1. Hình thái toán h c 2.2.1. Ư c lư ng n n 2.3.2. Phép dãn Phương pháp trung bình: Giá tr ñi m nh t i v trí (x,y) c a 2.3.3. Phép co mô hình n n b ng trung bình c ng các giá tr ñi m nh t i v trí (x,y) 2.3.4. Phép m c a N khung hình [24]. 2.3.5. Phép ñóng ∑ n Fi ( x, y ) 2.4. MÔ HÌNH CƠ TH NGƯ I VÀ TRÍCH THU C TÍNH B ( x, y ) = i +1 (2.1) 2.4.1. Mô hình cơ th ngư i 2D N v i: B(x, y) : Giá tr ñi m nh t i v trí (x, y) c a mô hình n n. a. Mô hình elip F(x, y) : Giá tr ñi m nh t i v trí (x, y) c a khung hình th i. S d ng mô hình 2D elip bao quanh ñ i tư ng [22]. Đ xây d ng N : T ng s khung hình ñư c xét. elip c n ph i xác ñ nh: T a ñ tr ng tâm elip O; Góc l ch elip so v i 2.2.2. Tách ñ i tư ng phương ngang θ và ñ dài hai bán tr c c a elip: a, b.
9 10 O; Hi u c a góc t o b i ñư ng th ng xu t phát t tr ng tâm (O) ñ n a θ=90 0 a θ=78,590 nó so v i phương ngang và góc θ không vư t quá ∆θ. + T a ñ O2 có: hoành ñ (tung ñ ) b ng trung bình c ng c a b b hoành ñ (tung ñ ) các ñi m tr ng th a mãn: Tung ñ có giá tr l n hơn tung ñ O; Hi u c a góc t o b i ñư ng th ng xu t phát t tr ng Hình 2.13. Mô hình elip bao quay cơ th ngư i tâm (O) ñ n nó so v i phương ngang và góc (θ +π/2) không vư t ∆θ. b. Xác ñ nh tâm elip. Đ l n c a bán tr c dài (a) và ng n (b) ñư c xác ñ nh như sau: + Hoành ñ (tung ñ ) là trung bình c ng các hoành ñ (tung ñ ) a = 2d 1  (2.13) c a ñi m nh tr ng. b = 2 d 2 ∑ i ∑ j [ j.P(i, j )] ∑ i ∑ j [i.P(i, j )] 2.4.2. Trích thu c tính x= ,y= (2.10) Height.Width Height.Width a. T p thu c tính dùng ñ phát hi n té ngã v i: + i = 1..Height; j = 1..Width. (Height: chi u cao; Width: chi u b. Góc t c th i c a ñ i tư ng r ng c a khung hình) Góc t c th i c a ñ i tư ng chính là góc quay c a elip θ + P(i, j) là giá tr nh phân t i ñi m nh (i, j); P(i, j) = 0 n u ñi m . ng· ngang ng· chÐo ng· trùc diÖn ®i bé gËp ng−êi bß n»m ngåi 180 nh (i, j) màu ñen và P(i, j) = 1 n u ñi m nh (i, j) màu tr ng. 160 c. Góc quay elip (θ) 140 2 tan θ 120 tan 2θ = T ea 100 (2.11) ht 1 − tan 2 θ 80 60 Ta có th d i tr c v tâm elip, ñ ng th i áp d ng Công th c (2.11) 40 20 và trung bình c ng ñi m nh ñ tính θ: 0 0 5 10 15 20 25 30 35 40 45 50 1  2 ∑i ∑ j x. y.P(i, j)  Frame θ = . arctan  (2.12) 2  ∑ ∑ x .P(i, j) − ∑ ∑ y .P(i, j )  2 2 Hình 2.15. Đ th bi u di n góc t c th i c a ñ i tư ng  i j i j  c. T c ñ chuy n ñ ng c a ñ i tư ng v i : + (i, j) : V trí ñi m nh (i=1..Width, j=1..Height) V i m t nh xám, m i ñi m nh có giá tr trong ño n [0, 255], + x = i - Ox và y = j- Oy (Ox, Oy : t a ñ tr ng tâm c a elip). trong ñó 0 là ñen nh t và 255 là tr ng nh t. “White pixel” là s ñi m d. Xác ñ nh ñ dài hai bán tr c: d1, d2 l n lư t là kho ng cách t (O) tr ng có giá tr 255, “Gray pixel” là s ñi m xám có giá tr n m trong ñ n trung ñi m n a trên tr c dài (O1) và tr c ng n (O2). kho ng (0, 255). T c ñ chuy n ñ ng c a ñ i tư ng (CMotion): + T a ñ O1 có: hoành ñ (tung ñ ) b ng trung bình c ng c a Gray pixel hoành ñ (tung ñ ) các ñi m tr ng th a mãn: Tung ñ l n hơn tung ñ CMotion = (2.14) Gray pixel + White pixel
11 12 e. Đ l ch tâm t c th i c a elip Đ l ch tâm t c th i c a elip chính là tâm sai c a elip t i khung b2 hình ñang xét. Tâm sai elip s là: e = 1 − (2.17) a2 ng· ngang ng· chÐo ng· trùc diÖn ®i bé gËp ng−êi bß n»m ngåi 1 (a) (b) 0.9 0.8 Hình 2.16 – MHI c a chuy n ñ ng 0.7 (a) MHI c a chuy n ñ ng ch m (b) MHI c a chuy n ñ ng nhanh c e t icty Ec nr i 0.6 ng· ngang ng· chÐo ng· trùc diÖn ®i bé gËp ng−êi bß n»m ngåi 0.5 0.7 0.4 0.6 0.3 0.2 0.5 0.1 C otion 0 5 10 15 20 25 30 35 40 45 50 0.4 Frame m 0.3 Hình 2.20. Đ th bi u di n ñ l ch tâm elip 0.2 f. T c ñ thay ñ i tr ng tâm theo phương th ng ñ ng 0.1 T c ñ thay ñ i tr ng tâm ñ i tư ng theo phương th ng ñ ng là ñ 0 0 5 10 15 20 25 30 35 40 45 50 l ch chu n c a n tr ng tâm ñ i tư ng theo phương th ng ñ ng. Frame ng· ngang ng· chÐo ng· trùc diÖn ®i bé gËp ng−êi bß n»m ngåi Hình 2.17. Đ th bi u di n t c ñ chuy n ñ ng 15 d. T c ñ thay ñ i góc ñ ng c a ñ i tư ng T c ñ thay ñ i góc ñ ng ñ i tư ng (CTheta) chính là ñ l ch chu n 10 centroid c a n góc t c th i trong n khung hình θ liên ti p. C 5 ng· ngang ng· chÐo ng· trùc diÖn ®i bé gËp ng−êi bß n»m ngåi 40 35 0 30 0 5 10 15 20 25 30 35 40 45 50 Frame 25 Hình 2.21. Đ th bi u di n t c ñ thay ñ i tr ng tâm theo phương ñ ng T ea C ht 20 15 g. Phân tích kh năng k t h p các thu c tính 10 5 2.4.3. T p thu c tính hu n luy n: Có hai t p thu c tính ñư c xem xét: 0 0 5 10 15 20 25 30 35 40 45 50 + T p thu c tính th nh t (FS1): T p ch a 5 thu c tính ñư c trích Frame ra t t ng khung hình m t c a ño n video. Hình 2.18. Đ th bi u di n t c ñ thay ñ i góc ñ ng ñ i tư ng
13 14 + T p thu c tính th hai (FS2): T p này bao g m 100 thu c tính (5 Hình 3.3 mô t m t m ng nơ-ron 2 l p feedforward v i c u hình thu c tính c a m i khung hình) ñư c trích ra t m i 20 khung hình 5-3-2 t c là 5 nút ngu n l p vào, 3 nơ-ron l p n, và 2 nơ-ron ñ u ra. liên ti p tính t khung hình hi n t i tr v trư c. ♦ Các hàm kích ho t : xác ñ nh ñ u ra c a nơ-ron. 2.5. KH I NH N D NG ♦ S ñ u vào: S nơ-ron ñ u vào là 5 (FS1) ho c 100 (FS2). 2.6. KH I H U X LÝ ♦ S ñ u ra (l p 2): G m 2 ñ u ra, 1 ñ u ngã và 1 ñ u không Sau khi dùng m ng nơ-ron ñã ñư c hu n luy n tr ng s tính toán ngã. Đ u ra m c tiêu th nh t ñư c gán nhãn là 1 cho ngã và 0 cho ñ phân lo i hành ñ ng c a ñ i tư ng t i m i khung hình, s có m t không ngã, ñ u ra m c tiêu th hai ngư c l i. chu i giá tr ra c a chu i khung hình, chúng ta ph i x lý chu i d li u ♦ S lư ng nơ-ron l p ñư c thay ñ i trong ph m vi r ng ñ chon này ñ ñưa ra k t qu cu i cùng là hành ñ ng té ngã hay không. l a giá tr t t nh t cho m t c u hình c th . 3.1.3. Thu t toán hu n luy n CHƯƠNG 3 : HU N LUY N M NG NƠ-RON Hu n luy n NN là ñi u ch nh, xác l p các giá tr tr ng s liên k t - Đ PHÁT HI N TÉ NGÃ còn ñư c g i là b tr ng s k t n i c a m ng (ký hi u là W) - gi a các Trong chương này chúng ta s t p trung th o lu n v m ng nơ-ron, nơ-ron trong m ng và c a các bias. tìm hi u mô hình m ng, thu t toán hu n luy n và t i ưu m ng. a. Thu t toán Resilien Backpropagation 3.1. C U HÌNH M NG NƠ-RON b. Thu t toán Scale Conjugate Gradient 3.1.1. C u trúc c a m t nơ-ron nhân t o 3.2. CƠ S D LI U 3.1.2. Ki n trúc m ng nơ-ron 3.2.1. Gi i thi u: Đ tài này ñư c s d ng t p d li u DTU-HBU [28]. 3.2.2. Mô t d li u T p d li u này bao g m 217 video và xây d ng các hành ñ ng ngã theo 3 hư ng ñư c mô t trong Hình 3.6: Ngang, tr c di n, chéo. Ngang Tr c di n Chéo L p vào g m các L p n g m L p ñ u ra g m Hình 3.6. Các tư th té ngã so v i góc quay camera nút ngu n các nơ-ron n các nơ-ron ñ u ra Trong m i tư th ngã còn có nhi u lo i ngã khác nhau như: Ngã do Hình3.3 M ng ti n ña m c v p, ng t, trư t chân, ngã lăn. Các ño n video không ngã có các hành
15 16 ñ ng như: n m, ng i, bò hay g p ngư i. Các hành ñ ng này cũng phân Hai thu t toán xem xét là SCG và RP. Chia d li u thành 80% lo i theo 3 hư ng trên. hu n luy n và 20% xác nh n. B ng 3.2 cho th y v i c hai t p FS1 và B ng 3.1. Phân lo i cơ s d li u FS2 ñ u ñ t f-score l n nh t và MSE nh nh t khi dùng SCG. Hu n luy n Ki m tra h th ng D LI U 3.3.2. Kích thư c c a t p xác nh n Scenario1 Scenario2 Test1 Test2 Test3 ALL B ng 3.3. Hi u su t thu ñư c t ñào t o v i t p xác nh n khác nhau Fc 4 18 4 4 10 18 Ngã Fd 4 19 4 6 9 19 FS VS (%) nhu f-score (%) MSE Fs 7 17 4 5 7 16 FS1 5 10 94,8 0,063837 Ncb 1 4 1 1 1 3 FS2 5 10 96,0 0,041704 Ndb 3 5 1 1 1 3 FS1 10 10 95,0 0,062168 Nsb 1 3 1 2 2 5 FS2 10 10 96,1 0,041763 Ncc 1 3 1 2 1 4 FS1 15 10 95,0 0,053273 Ndc 2 4 1 1 1 3 FS2 15 10 96,8 0,035492 Nsc 1 4 1 1 1 3 FS1 20 10 95,1 0,052288 Không ngã Ncl 1 3 1 1 2 4 FS2 20 10 96,5 0,040831 Ndl 3 5 1 1 0 2 FS1 25 10 95,2 0,050576 Nsl 1 4 1 1 2 4 FS2 25 10 97,2 0,030628 Ncs 0 2 0 1 2 3 FS1 30 10 95,4 0,051006 Nds 3 6 1 1 1 3 FS2 30 10 96,8 0,040143 Nss 1 4 1 1 1 3 No 0 12 0 0 11 11 S d ng SCG, c ñ nh nhu=10 và chia d li u vào t p ñào tào và T NG 33 113 23 29 52 104 t p con xác nh n (Validation set-VS) v i VS∈{5, 10, 15, 20, 25, 30}. 3.3. TI N HÀNH L A CH N THÔNG S M NG T B ng 3.3 ta th y, MSE nh hơn n u t p VS l n hơn.T p xác nh n Tìm c u hình t t nh t cho t p thu c tính FS1 và FS2. 20% cho c u hình t t nh t trong trư ng h p này. 3.3.1. L a ch n thu t toán hu n luy n 3.3.3. L a ch n s nơ-ron l p n 96 0.06 B ng 3.2. Hi u su t thu ñư c t ñào t o các thu t toán khác nhau 95.8 0.055 FS Thu t toán nhu f-score (%) MSE 95.6 f-score mse FS1 SCG 10 95,1 0,052288 0.05 95.4 a) FS1 FS2 SCG 10 96,0 0,041704 0.045 FS1 RP 10 95,0 0,053019 95.2 FS2 RP 10 96,1 0,041763 95 0.04 10 20 30 40 50 60 10 20 30 40 50 60 FS1 SCG 20 95,4 0,058781 98 0.045 sè khèi Èn sè líp Èn-nhu FS2 SCG 20 96,8 0,035492 97.5 0.04 FS1 RP 20 95,0 0,059890 97 0.035 FS2 RP 20 96,5 0,040831 f-score MSE FS1 SCG 30 95,4 0,059860 96.5 0.03 b) FS2 FS2 SCG 30 97,2 0,030628 96 0.025 FS1 RP 30 95,2 0,059762 95.5 0.02 FS2 RP 30 96,8 0,040143 10 20 30 40 50 60 10 20 30 40 Sè nót Èn - nhu 50 60 Hình 3.8. Hi u su t nh n ñư c t ñào t o v i nhu khác nhau
17 18 L p l i quá trình x lý v i các tham s trên c ñ nh VS= 20%, ♦ T p Test1 (WM): Bao g m các ño n video s ch gi ng thu t toán SCG, ch cho s nơ-ron l p n (Number Of Hidden Units - Scenario1. T p Test1 này ch a 23 ño n video. nhu) thay ñ i ∈ {10, 15, 20, 25, 30, 35, 40, 45, 50, 55, 60} ñ có c u ♦ T p Test2 (MM): So v i Scenario1, t p Test2 ch a các ño n hình t i ưu. video có ánh sáng và góc quay camera khác nhau. (29 ño n video). T k t qu trong Hình 3.8 ta th y v i FS1 thì nhu= 40 còn v i ♦ T p Test3 (HM) : So v i t p Scenario1, t p Test3 có nhi u ñi m FS2 thì nhu = 50 lúc ñó f-score l n nh t và MSE nh nh t. khác: có ñ i tư ng b che khu t, có n n không c ñ nh hay có nhi u hơn m t ñ i tư ng di chuy n cùng m t lúc. (52 ño n video) CHƯƠNG 4: TH C NGHI M VÀ PHÂN TÍCH K T QU ♦ Ngoài ra ñ t p h p các ñi u ki n ki m tra, ba t p ki m tra 4.1. PHƯƠNG PHÁP ĐÁNH GIÁ Test1, Test2 và Test3 ñư c k t h p tr thành m t t p có tên là ALL. Trong ñ tài s d ng: T l phát hi n (RC) [%], Đ tin c y (PR) 4.2.2. K ch b n 2: Hu n luy n v i t p d li u nhi u. [%], Đ chính xác (Acc) [%], T l ñúng tích c c (TPR) [%] và T l D li u nhi u là k t h p gi a d li u s ch và d li u nhi u. Chúng ñúng tiêu c c (TNR) [%]. Chúng ñư c tính toán t ñ th ROC: bao g m các ño n video có các hành ñ ng và ñi u ki n gi ng v i các TP TP TP + TN ño n video trong t p Test1, Test2 và Test3. RC = , PR = , Acc = TP + FN TP + FP TP + TN + FP + FN Trong k ch b n 2 này, t p hu n luy n ñư c ñ t tên là Scenario2. TP TN TPR = , TNR = (4.1) T p này bao g m các ño n video s ch gi ng Scenario1, Test2 và TP + FP FP + TN v i:+ True positives-TP: t ng hành ñ ng ngã ñư c phân lo i ñúng. Test3. Các t p ki m tra Test1, Test2, Test3 và ALL trong k ch b n 1 + False positives-FP: t ng hành ñ ng không ngã b phân lo i sai. s cũng ñư c s d ng trong k ch b n 2 này. + True negatives-TN: t ng hành ñ ng không ngã phân lo i ñúng. B ng 4.1 – Phân lo i d li u hu n luy n và ki m tra Hu n luy n Ki m tra h th ng + False negatives-FN: t ng hành ñ ng té ngã phân lo i sai. D LI U Scenario1 Scenario2 Test1 Test2 Test3 ALL 4.2. K CH B N HU N LUY N VÀ KI M TRA: Hai k ch b n Fc 4 18 4 4 10 18 Ngã Fd 4 19 4 6 9 19 ñư c trình bày Fs 7 17 4 5 7 16 Ncb 1 4 1 1 1 3 4.2.1. K ch b n 1: Hu n luy n v i t p d li u s ch. Ndb 3 5 1 1 1 3 Nsb 1 3 1 2 2 5 T p d li u s ch có các ño n video có n n ít thay ñ i, ánh sáng t t Ncc 1 3 1 2 1 4 Ndc 2 4 1 1 1 3 và ch 1 ñ i tư ng di chuy n, ñ i tư ng cũng không b che khu t. Nsc 1 4 1 1 1 3 ♦ T p hu n luy n ñư c g i là Scenario1, nó bao g m 33 ño n Không ngã Ncl 1 3 1 1 2 4 Ndl 3 5 1 1 0 2 Nsl 1 4 1 1 2 4 video thu c d li u s ch. Ncs 0 2 0 1 2 3 Nds 3 6 1 1 1 3 T p ki m tra ñư c s p x p vào ba ñi u ki n ki m tra v i tên là: t p Nss 1 4 1 1 1 3 No 0 12 0 0 11 11 Test1, Test2, Test3. T NG 33 113 23 29 52 104
19 20 4.3. SƠ Đ KH I QUÁ TRÌNH NH N D NG TPR (%) TNR (%) 100 4.4. PHÂN TÍCH K T QU TH C NGHI M 90 80 70 Có hai t p hu n luy n là Scenario1 và Scenario2 và hai t p thu c 60 50 tính FS1 và FS2. Vì v y có 4 mô hình phát hi n té ngã khác nhau: 40 30 20 + Mô hình phát hi n té ngã th nh t (FS1, Scenario1). 10 0 Nb d Nb o Nl Nb Nc Ns c Nc Nl Nl Nc s Ns Ns d c s + Mô hình phát hi n té ngã th hai (FS1, Scenario2). F N d F F d d c s c c s s Scenario1, FS1 + Mô hình phát hi n té ngã th ba (FS2, Scenario1). + Mô hình phát hi n té ngã th tư (FS2, Scenario2). Hình 4.4. K t qu th ng kê TPR và TNR c a mô hình th nh t cho t p ALL 4.4.1. K t qu và ñánh giá k t qu . b. K t qu cho mô hình phát hi n té ngã th hai a. K t qu cho mô hình phát hi n té ngã th nh t B ng 4.3 – K t qu nh n d ng cho mô hình phát hi n té ngã th hai B ng 4.2 – K t qu nh n d ng cho mô hình phát hi n té ngã th nh t Scenario2 Ngã Không ngã T ng Ngã Không ngã T ng FS1 Test1 Test2 Test3 ALL Test1 Test2 Test3 ALL Test1 Test2 Test3 ALL Scenario1 FS1 Test1 Test2 Test3 ALL Test1 Test2 Test3 ALL Test1 Test2 Test3 ALL Fc 4 4 9 17 0 0 1 1 4 4 10 18 Fc 4 3 8 15 0 1 2 3 4 4 10 18 Ngã Fd 3 4 8 15 1 2 1 4 4 6 9 19 Ngã Fd 4 3 6 13 0 3 3 6 4 6 9 19 Fs 4 5 5 14 0 0 2 2 4 5 7 16 Fs 4 5 6 15 0 0 1 1 4 5 7 16 Ncb 0 0 0 0 1 1 1 3 1 1 1 3 Ncb 0 0 0 0 1 1 1 3 1 1 1 3 Ndb 0 0 0 0 1 1 1 3 1 1 1 3 Ndb 0 0 0 0 1 1 1 3 1 1 1 3 Nsb 0 0 0 0 1 2 2 5 1 2 2 5 Nsb 0 0 0 0 1 2 2 5 1 2 2 5 Ncc 0 1 0 1 1 1 1 3 1 2 1 4 Ncc 0 0 1 1 1 2 0 3 1 2 1 4 Ndc 0 0 0 0 1 1 1 3 1 1 1 3 Ndc 0 1 0 1 1 0 1 2 1 1 1 3 Nsc 0 0 0 0 1 1 1 3 1 1 1 3 Không Nsc 0 0 0 0 1 1 1 3 1 1 1 3 Ncl 0 0 0 0 1 1 2 4 1 1 2 4 Không ngã Ncl 0 0 1 1 1 1 1 3 1 1 2 4 Ndl 0 0 0 0 1 1 0 2 1 1 0 2 ngã Ndl 0 1 0 1 1 0 0 1 1 1 0 2 Nsl 0 0 0 0 1 1 2 4 1 1 2 4 Nsl 0 0 1 1 1 1 1 3 1 1 2 4 Ncs 0 0 0 0 0 1 2 3 0 1 2 3 Ncs 0 0 0 0 0 1 2 3 0 1 2 3 Nds 0 0 0 0 1 1 1 3 1 1 1 3 Nds 0 0 0 0 1 1 1 3 1 1 1 3 Nss 0 0 0 0 1 1 1 3 1 1 1 3 Nss 0 0 0 0 1 1 1 3 1 1 1 3 No 0 0 2 2 0 0 9 9 0 0 11 11 No 0 0 3 3 0 0 8 8 0 0 11 11 T ng 23 29 52 104 T ng 23 29 52 104 D a vào k t qu B ng 4.2 ñưa ra các k t qu th ng kê: TPR [%] D a vào k t qu B ng 4.3 ñưa ra các k t qu th ng kê: TPR [%] và TNR [%] như trong Hình 4.4. và TNR [%] như trong Hình 4.5. TPR tương ñ i cao. nhưng xét theo hư ng ngã ta th y t l này s T l nh n d ng ñư c c i thi n ñáng k , r t nhi u hành ñ ng không gi m d n theo kh năng nhìn th y ñ i tư ng. ngã không còn b nh m n a. Các hành ñ ng g p ngư i hay ng i xu ng gh s không gây nh m, còn các hành ñ ng ng i r i n m hay bò gây nh m l n v i ngã.
21 22 TPR (%) TNR (%) Ngã tr c di n và ng i xu ng sàn b phân lo i nh m, 2 hành ñ ng 100 này có các thu c tính tương ñ i gi ng nhau nhưng ñ dài th c hi n 90 80 70 khác nhau. Đ kh c ph c như c ñi m này s d ng FS2. 60 50 TPR (%) TNR (%) 40 30 100 20 90 10 80 0 Nb d Nb Nb o Nc Ns Nl c Nc Nc s Ns Ns Nl Nl d c s 70 N F d F F d d c s c c s s 60 50 Scenario1, FS2 40 30 20 10 Hình 4.6 K t qu th ng kê TPR và TNR c a mô hình th ba cho t p ALL 0 So v i mô hình 1 v i cùng k ch b n hu n luy n thì khi s d ng Nb d Nb Nb o Nc Nl Ns c Nc Nc Nl Nl s Ns Ns d c s N F d F F d d c s c c s s Scenario2, FS1 t p thu c tính ñ ng FS2 cho k t qu t t hơn, t l phát hi n các hành Hình 4.5. K t qu th ng kê TPR và TNR c a mô hình th hai cho t p ALL ñ ng ngã cao hơn. c. K t qu cho mô hình phát hi n té ngã th ba d. K t qu cho mô hình phát hi n té ngã th tư B ng 4.4 – K t qu nh n d ng cho mô hình phát hi n té ngã th ba B ng 4.5 – K t qu nh n d ng cho mô hình phát hi n té ngã th tư Scenario1 Ngã Không ngã T ng Scenario2 Ngã Không ngã T ng FS2 Test1 Test2 Test3 ALL Test1 Test2 Test3 ALL Test1 Test2 Test3 ALL FS2 Test1 Test2 Test3 ALL Test1 Test2 Test3 ALL Test1 Test2 Test3 ALL Fc 4 3 9 16 0 1 1 2 4 4 10 18 Fc 4 4 10 18 0 0 0 0 4 4 10 18 Ngã Fd 4 3 5 12 0 3 4 7 4 6 9 19 Ngã Fd 3 5 8 16 1 1 1 3 4 6 9 19 Fs 4 4 6 14 0 1 1 2 4 5 7 16 Fs 4 5 7 16 0 0 0 0 4 5 7 16 Ncb 0 0 1 1 1 1 0 2 1 1 1 3 Ncb 0 0 0 0 1 1 1 3 1 1 1 3 Ndb 0 0 0 0 1 1 1 3 1 1 1 3 Ndb 0 0 0 0 1 1 1 3 1 1 1 3 Nsb 0 0 0 0 1 2 2 5 1 2 2 5 Nsb 0 0 0 0 1 2 2 5 1 2 2 5 Ncc 0 1 0 1 1 1 1 3 1 2 1 4 Ncc 0 0 1 1 1 2 0 3 1 2 1 4 Ndc 0 0 0 0 1 1 1 3 1 1 1 3 Ndc 0 0 0 0 1 1 1 3 1 1 1 3 Nsc 0 0 0 0 1 1 1 3 1 1 1 3 Không Nsc 0 0 0 0 1 1 1 3 1 1 1 3 Ncl 0 0 0 0 1 1 2 4 1 1 2 4 Không ngã Ncl 0 0 0 0 1 1 2 4 1 1 2 4 Ndl 0 0 0 0 1 1 0 2 1 1 0 2 ngã Ndl 0 0 0 0 1 1 0 2 1 1 0 2 Nsl 1 0 0 1 1 1 2 4 1 1 2 4 Ncs 0 0 0 0 0 1 2 3 0 1 2 3 Nsl 0 0 1 1 1 1 1 3 1 1 2 4 Nds 0 0 0 0 1 1 1 3 1 1 1 3 Ncs 0 0 0 0 0 1 2 3 0 1 2 3 Nss 0 0 0 0 1 1 1 3 1 1 1 3 Nds 0 0 0 0 1 1 1 3 1 1 1 3 No 0 0 2 2 0 0 9 9 0 0 11 11 Nss 0 0 0 0 1 1 1 3 1 1 1 3 T ng 23 29 52 104 No 0 0 1 1 0 0 10 10 0 0 11 11 T ng 23 29 52 104 D a vào k t qu nh n d ng B ng 4.4 ñưa ra các k t qu th ng D a vào k t qu nh n d ng B ng 4.5 ñưa ra các k t qu th ng kê: TPR [%] và TNR [%] như trong Hình 4.6. kê: TPR [%] và TNR [%] như trong Hình 4.7.
23 24 Test1 (WM) Khi s d ng t p thu c tính ñ ng FS2 và hu n luy n v i t p 5 5 5 3 5 5 2 1 1 7 1 7 10 10 10 10 10 10 9 .6 9 .8 9 .6 9 .3 9 .6 9 .6 0 0 0 0 0 0 Scenario2 thì k t qu tăng lên rõ r t, TPR, TNR tăng cao, hành ñ ng 100 80 ngã ngang và ngã chéo ñư c phát hi n 100% và nhi u hành ñ ng 60 (%) 40 không ngã ñ t 100%, ch vài hành ñ ng nhanh v n còn b nh m. 20 TPR (%) TNR (%) 0 RC(%) PR(%) Acc(%) 100 90 Scenario1, FS1 Scenario2, FS1 Scenario1, FS2 Scenario2, FS2 80 70 60 Test2 (MM) 9 5 9 3 50 .86 .91 0 6.5 8 6 3.3 8 7 8 2 10 9.6 40 6.6 7 1 7 1 4.6 92 90 7 3 9.3 9.3 100 3.3 6 7 30 6 .6 20 10 80 0 60 (%) Nb d Nb Nb o Nc Nl Ns c Nc Nc Nl Nl s Ns Ns d c s N F d F F d d c s c c s s 40 Scenario2, FS2 20 0 Hình 4.7 K t qu th ng kê TPR và TNR c a mô hình th tư cho t p ALL RC(%) PR(%) Acc(%) Nhìn vào k t qu c a 4 mô hình phát hi n té ngã ñ u th y: Scenario1, FS1 Scenario2, FS1 Scenario1, FS2 Scenario2, FS2 TPR khá cao, tuy nhiên t l n nh n d ng hành ñ ng ngã gi m Test3 (HM) 6 5 2 1 1 7 9 .1 9 9 8 6 6 6 9 .3 9 .6 4 2 8 .2 8 .4 2 9 8 .9 8 .6 6 2 6 2 6 2 6 2 8 .6 d n theo kh năng nhìn th y c a camera, ngã ngang hay chéo thì ít 7 .9 7 .9 7 .9 7 .9 100 80 phân lo i nh m so v i ngã tr c di n. 60 ( ) % TNR cũng r t cao, các hành ñ ng ch m không b nh m v i ngã 40 20 tuy nhiên v i hành ñ ng ng i xu ng n n nhanh có th nh m là ngã. 0 RC(%) PR(%) Acc(%) Trong b n mô hình phát hi n té ngã ta th y mô hình th tư cho Scenario1, FS1 Scenario2, FS1 Scenario1, FS2 Scenario2, FS2 k t qu t t nh t, các t l nh n d ng tăng ñáng k . ALL 9 4 9 8 9 4 9 3 e. Hi u su t t ng th 9 8 89.36 4.3 3.8 4.3 4.2 86.79 4.31 4.76 0.3 82.69 81.13 .25 100 79 8 8 Hình 4.9 so sánh các k t qu th ng kê: RC [%], PR [%], Acc) [%] 80 60 c a 4 mô hình phát hi n té ngã. (%) 40 Mô hình s d ng t p hu n luy n Scenario2 cho các k t qu th ng 20 0 kê t t hơn trong mô hình s d ng t p hu n luy n Scenario1. RC(%) PR(%) Acc(%) Hu n luy n Scenario1: Hi u su t c a mô hình này ch ch p nh n Scenario1, FS1 Scenario2, FS1 Scenario1, FS2 Scenario2, FS2 v i t p d li u s ch. Các k t qu th ng kê s gi m nhanh chóng ñ i Hình 4.9. K t qu th ng kê RC, PR và Acc c a 4 mô hình. v i d li u có nhi u.
25 26 Hu n luy n Scenario2: S d ng hu n luy n Scenario2 cho k t qu d ng tăng hơn so v i khi s d ng t p thu c tính tĩnh FS1, hai mô hình ñ ng ñ u cho m i ñi u ki n, t p d li u s ch Test1 hay t p d li u có s d ng t p thu c tính ñ ng FS2 cho ñ chính xác trên 90%. nhi u Test2, Test3. Đi u này ch ng t , mô hình phát hi n té ngã ñ t - Kh năng phân lo i ñư c c i thi n ñáng k khi s d ng mô hình hi u qu khi hu n luy n b ng Scenario2. hu n luy n v i nhi u so v i khi s d ng mô hình hu n luy n s ch. M ng hu n luy n v i t p thu c tính FS2 cho k t qu t t hơn m ng Cùng m t t p thu c tính FS2 khi s d ng mô hình hu n luy n nhi u ñã ñư c hu n luy n v i t p FS1 trong cùng m t k ch b n hu n luy n c i thi n so v i s d ng mô hình hu n luy n s ch (RC, PR và Acc l n Trong b n mô hình ñã phân tích trên, mô hình th tư cho k t qu lư t tăng: 16%, 5%, 10%). t t nh t và các k t qu ñ ng ñ u nhau cho m i ñi u ki n s ch hay có - C 4 mô hình th c hi n ñã cho k t qu r t kh quan. Trong 4 mô nhi u. Đây là m t k t qu khá cao tương x ng v i h th ng. hình ñã th c hi n và ki m th thì mô hình s d ng t p thu c tính ñ ng 4.4.2. Phân tích l i nh n d ng FS2 và ñư c hu n luy n v i t p d li u bao g m c nhi u Scenario2 a. L i do tách ñ i tư ng chưa t t cho k t qu t t nh t v i RC, PR ñ t 94,34% và Acc ñ t 94,23%. + Do ñi u ki n ánh sáng không t t ♦ V i yêu c u bài toán ñ ra là xây d ng mô hình nh n d ng hành + Do ñ i tư ng b che khu t ñ ng té ngã ñơn gi n nhưng cho hi u xu t nh n d ng cao thì ñ tài này + Do có nhi u ñ i tư ng di chuy n cùng m t lúc trong khung hình ñã ñáp ng ñư c cơ b n yêu c u ñ ra. Tuy nhiên c n nghiên c u phát b. L i do thu c tính s d ng chưa t t. tri n thêm: K T LU N VÀ HƯ NG PHÁT TRI N Đ TÀI - Thu th p cơ s d li u l n hơn v i nh ng hành ñ ng th c t c a ♦ Sau th i gian th c hi n ñ tài, lu n văn ñã hoàn thành ñư c các b nh nhân và ngư i cao tu i. công vi c cơ b n sau: Nghiên c u lý thuy t h th ng t ñ ng phát hi n - Nghiên c u thêm v khâu tách ñ i tư ng ñ ñ i tư ng ít b nh té ngã s d ng phân tích video và cũng như nh ng khó khăn g p ph i hư ng b i. X lý ñ i tư ng b che khu t hay s d ng mô hình hóa cơ khi áp d ng h th ng vào th c t ; Nghiên c u các mô hình ư c lư ng th ngư i 3D ñ t o chi u sâu cho ñ i tư ng. hình n n ñ ng và s d ng phương pháp tr n n ñ tách ñ i tư ng c n - S d ng thêm thu c tính m i nh m phân bi t rõ hơn các hành ñ ng giám sát ra kh i khung hình; Th c hi n m t s phép toán hình thái cũng ñư c xem xét. toán h c ñ l c ñ i tư ng sau khi ñư c tách kh i khung hình n n; - Xem xét th i gian th c hi n c a h th ng, th c hi n h th ng x lý Nghiên c u lý thuy t m ng nơ-ron. tr c tuy n b ng ngôn ng Matlap, C++ và l p trình ph n c ng. ♦ Xây d ng 4 mô hình nh n d ng té ngã b ng m ng nơ-ron. Ki m - Phát tri n thêm hành ñ ng nh n d ng: phân lo i các hành ñ ng té th các mô hình b ng các phương pháp ñánh giá cho k t qu cao. ngã và sinh ho t bình thư ng, ngoài ra có th nh n d ng thêm hành - T t c 4 mô hình cho k t khá cao, ñ chính xác c a c b n mô ñ ng ñi liên t c, u ng thu c, t p th d c.... hình ñ u trên 82%. Khi s d ng t p thu c tính ñ ng FS2 k t qu nh n