Luận văn:Nghiên cứu hệ thống nhận dạng mặt người dựa trên mô hình morph 3D

Chia sẻ: Nguyen Vang | Ngày: | Loại File: PDF | Số trang:26

Thêm vào BST

Báo xấu

149
lượt xem 35
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Nhận dạng khuôn mặt người là một công nghệ được ứng dụng rộng rãi trong đời sống hằng ngày của con người như các hệ thống giám sát, quản lý vào ra, tìm Nhận dạng khuôn mặt người là một công nghệ được ứng dụng rộng rãi trong đời sống hằng ngày của con người như các hệ thống giám sát, quản lý vào ra, tìm

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Luận văn:Nghiên cứu hệ thống nhận dạng mặt người dựa trên mô hình morph 3D

B GIÁO D C VÀ ĐÀO T O Đ I H C ĐÀ N NG ------------------ TR N TH MINH H NH NGHIÊN C U H TH NG NH N D NG M T NGƯ I D A TRÊN MÔ HÌNH MORPH 3D Chuyên ngành: K THU T ĐI N T Mã s : 60. 52. 70 LU N VĂN TH C S K THU T Ngư i hư ng d n khoa h c: TS. Ngô Văn S Đà N ng - Năm 2011
Lu n văn ñư c hoàn thành t i: Trư ng Đ i h c Bách khoa - Đ i h c Đà N ng Ngư i hư ng d n khoa h c TI N S . NGÔ VĂN S Ph n bi n 1 : TS. Ph m Văn Tu n Trư ng Đ i h c Bách khoa Đ i h c Đà N ng Ph n bi n 2 : TS. Nguy n Hoàng C m S Thông tin Truy n thông tp Đà N ng Lu n văn ñư c ch m t i h i ñ ng ch m lu n văn th c s K thu t t i Đ i h c Đà N ng vào lúc 10 gi 30 ngày25 tháng 6 năm 2011. Có th tìm ñ c lu n văn t i: - Trung tâm Thông tin h c li u, Đ i h c Đà N ng - Trung tâm H c li u, Đ i h c Đà N ng
M Đ U 1. TÍNH C P THI T C A Đ TÀI. Trong nh ng năm g n ñây, các ng d ng v trí tu nhân t o ngày càng phát tri n và ñư c ñánh giá cao. M t lĩnh v c ñang ñư c quan tâm c a trí tu nhân t o nh m t o ra các ng d ng thông minh, có tính ngư i ñó là nh n d ng. Đ i tư ng cho vi c nghiên c u nh n d ng cũng r t phong phú và ña d ng. Trong ñ tài này tôi ch n ñ i tư ng là khuôn m t. Bài toán nh n d ng m t ngư i là bài toán ñã ñư c nghiên c u t nh ng năm 70, ph c v m nh m trong nhi u lĩnh v c c a ñ i s ng ñ t bi t nh ng lĩnh v c công ngh cao yêu c u b o ñ m an ninh, b o m t… Hi n nay nh n d ng t nh ch p th ng trong ñi u ki n ánh sáng chu n ñ t k t qu r t cao, có th áp d ng ñư c vào th c t . Tuy nhiên, có r t nhi u y u t ngo i c nh ñã gây nh hư ng ñáng k ñ n hi u qu nh n d ng, trong ñó ph i k ñ n góc ch p và ñi u ki n ánh sáng. Do ñó, ñ tài này s t p trung nghiên c u thu t toán so kh p nh v i mô hình Morph 3D ñ gi i quy t v n ñ gây ra do có s thay ñ i k t h p gi a các thông s bên ngoài như tư th ch p và ñi u ki n chi u sáng. 2. M C ĐÍCH NGHIÊN C U. Tìm hi u t ng quan v nh n d ng m t ngư i, thu t toán s d ng mô hình Morph 3D cho m t ngư i. Th nghi m trên cơ s d li u và ñánh giá hi u qu nh n d ng c a h th ng nh n d ng 2 chi u d a trên k thu t phân tích thành ph n chính và b phân l p láng gi ng g n nh t. Mô ph ng ñánh giá hi u qu c a mô hình Morph 3D. 3. Đ I TƯ NG VÀ PH M VI NGHIÊN C U 3.1. Đ i tư ng nghiên c u.
Lý thuy t v nh n d ng m t ngư i. Lý thuy t liên quan ñ n vi c xây d ng mô hình Morph 3D Lý thuy t thu t toán so kh p s d ng mô hình Morph ba chi u cho nh n d ng m t ngư i. 3.2. Ph m vi nghiên c u. Nghiên c u lý thuy t v nh n d ng m t ngư i: c u trúc, ng d ng c a h th ng nh n d ng m t ngư i. Nghiên c u lý thuy t liên quan ñ n mô hình Morph 3D: cơ s d li u scan m t ba chi u, bi u di n m t thành các vector, phép tương ng và phép bi n hình… Đánh giá hi u qu nh n d ng trên các cơ s d li u có s n. Đánh giá hi u qu mô hình Morph 4. PHƯƠNG PHÁP NGHIÊN C U. Thu th p và phân tích các tài li u và thông tin liên quan ñ n ñ tài. Th c nghi m k t qu nh n d ng v i phân tích thành ph n chính và b phân l p láng gi ng g n nh t. Xây d ng và th c thi vi c ñánh giá hi u qu c a mô hình Morph 3D b ng ngôn ng Matlab. Đ xu t các hư ng nghiên c u ti p theo. 5. Ý NGHĨA KHOA H C VÀ TH C TI N Đ TÀI. Nghiên c u vi c ng d ng mô hình Morph 3D vào nh n d ng m t ngư i ñ gi m nh hư ng c a tư th , góc ch p hay các ñi u ki n chi u sáng khác nhau ñ n ch t lư ng nh c n nh n d ng. V i k t qu ñ t ñư c c a ñ tài có th áp d ng xây d ng h th ng nh n d ng m t ngư i ng d ng trong nhi u m c ñích
khác nhau: b o m t, an ninh, theo dõi nhân s trong m t ñơn v… 6. K T C U LU N VĂN Lu n văn g m 4 chương: Chương 1: T ng quan v h th ng nh n d ng m t ngư i. Chương 2: Mô hình Morph ba chi u cho m t ngư i. Chương 3: Nh n d ng m t ngư i d a trên k thu t so kh p. Chương 4: Mô ph ng h th ng nh n d ng khuôn m t 2D và ñánh giá hi u qu c a mô hình Morph 3D. CHƯƠNG 1 : T NG QUAN V H TH NG NH N D NG KHUÔN M T 1.1 GI I THI U CHƯƠNG Nh n d ng khuôn m t là công vi c mà con ngư i th c hi n h ng ngày trong cu c s ng. Nh ng nghiên c u trong vi c nh n d ng t ñ ng khuôn m t cũng ngày càng ñư c phát tri n. Trong chương này s trình bày nh ng khái ni m cơ b n v nh n d ng khuôn m t, quá trình nh n d ng khuôn m t và nh ng thách th c, khó khăn cũng như nhưng gi i pháp công ngh ñã ñư c ñưa ra ñ nâng cao tính hi u qu c a h th ng nh n d ng khuôn m t. 1.2 NH N D NG KHUÔN M T H th ng nh n d ng khuôn m t nh m m c ñích nh n d ng t ñ ng các khuôn m t có trong hình nh ho c video. Nó có th ho t ñ ng trong m t ho c c hai trư ng h p: ki m tra khuôn m t (xác minh khuôn m t), nh n bi t khuôn m t (nh n d ng khuôn m t). • Xác minh khuôn m t là ki u ki m tra s so kh p trên phép so sánh m t -m t, nghĩa là so sánh hình nh khuôn m t c a m t ngư i và v i thông tin hình nh khuôn m t ñã lưu tr v ngư i này xem có kh p hay không d a trên thông tin khuôn m t.
• Nh n d ng khuôn m t là ki u ki m tra s so kh p trên phép so sánh m t - nhi u, c th là so sánh hình nh khuôn m t c n ki m tra v i t t c các hình nh khuôn m t trong cơ s d li u ñ nh n bi t khuôn m t c n ki m tra là ai trong s nh ng ngư i ñã ñư c lưu tr trong d li u. 1.3 KI N TRÚC T NG QUAN C A H TH NG NH N D NG KHUÔN M T H th ng nh n d ng khuôn m t thư ng có b n bư c x lý sau: phát hi n khuôn m t (face detection), hi u ch nh (face alignment), trích rút ñ c trưng (feature extraction) và so kh p (matching) (như hình 1.2). S ñ nh v và chu n hóa (trong khâu phát hi n và hi u ch nh) là bư c ti n x lý trư c khi nh n d ng khuôn m t (trích rút ñ c trưng và so kh p) ñư c th c hi n. Hình 1.2: Các bư c chính trong quá trình nh n d ng khuôn m t 1.4 PHÂN TÍCH KHÔNG GIAN CON KHUÔN M T Các công ngh phân tích không gian con trong nh n d ng khuôn m t d a trên th c t là có m t l p mô hình quan tâm (như khuôn m t) thư ng n m trong không gian con c a không gian hình nh ñ u vào. Ví d , m t hình nh 64*64 có 4096 ñi m nh ñ bi u
di n m t s lư ng l n các l p m u như cây c i, nhà c a, khuôn m t. Như th , ch có m t vài ñi m nh liên quan t i khuôn m t. Vì v y, s bi u di n nh ban ñ u s có nhi u dư th a, s chi u c a s bi u di n ñó có th rút g n khi ch có ph n khuôn m t ñư c quan tâm. V i cách ti p c n eigenface hay phân tích các thành ph n cơ b n (PCA)[12] [23], m t s ít các eigenface ñư c rút ra t m t các hình nh khuôn m t hu n luy n b ng cách s d ng bi n ñ i Karhunen Loeve hay PCA. M t hình nh khuôn m t ñư c bi u di n m t cách hi u qu như là m t vector ñ c trưng (m t vector tr ng s ) v i s chi u th p. Các ñ c trưng trong m t không gian con s cung c p nhi u thông tin cho vi c nh n d ng hơn trong nh chưa x lý. Vi c s d ng k thu t mô hình không gian con ñã t o ra nh ng thu n l i ñáng k trong k thu t nh n d ng khuôn m t. 1.5 CÁC NG D NG LIÊN QUAN Đ N NH N D NG KHUÔN M T Bài toán nh n d ng khuôn m t có th áp d ng r ng rãi trong nhi u ng d ng th c t khác nhau. Đó chính là lý do mà bài toán này h p d n r t nhi u nhóm nghiên c u trong th i gian dài. Các ng d ng liên quan ñ n nh n d ng m t ngư i có th k như: - H th ng phát hi n t i ph m - H th ng theo dõi nhân s trong m t ñơn v - H th ng giao ti p ngư i máy - H th ng tìm ki m thông tin trên nh, video d a trên n i dung - Các th th ng b o m t d a trên thông tin tr c sinh h c
1.6 NH NG KHÓ KHĂN TRONG NH N D NG KHUÔN M T Các bài báo ñánh giá vi c nh n d ng khuôn m t [9,17] và các nghiên c u ñ c l p khác ñã ch ng t ñ chính xác c a nh ng phương pháp nh n d ng khuôn m t s b gi m ñi khi có s thay ñ i c a ánh sáng, tư th và cũng như các nhân t khác trong hình nh khuôn m t. Đây chính là nh ng thách th c công ngh cho vi c nh n d ng khuôn m t. • S bi n ñ i l n v bên ngoài c a khuôn m t • S phân b c a các thành ph n phi tuy n ph c t p • S chi u l n và kích c m u nh 1.7 CÁC GI I PHÁP CÔNG NGH Có hai cách ñ gi i quy t nh ng khó khăn trong vi c trích rút ñ c trưng và phân l p m u d a trên các ñ c trưng ñã ñư c trích rút. Cách th nh t ñó là xây d ng m t không gian ñ c trưng “t t”, trong không gian ñó s phân b khuôn m t tr nên ñơn gi n hơn, ít phi tuy n và không l i ít hơn trong nh ng không gian khác. Nó bao g m 2 bư c c a quá trình x lý : (1) Chu n hóa hình h c và quang h c hình nh khuôn m t, b ng vi c s d ng các phương pháp cân b ng histogram hay bi n hình (morphing); (2) Trích rút các ñ c trưng trong hình nh ñã ñư c chu n hóa. Th hai là xây d ng cơ c u nh n d ng có th gi i quy t nh ng khó khăn trong vi c phân l p phi tuy n, v n ñ h i qui trong không gian thu c tính và ñ t ng quát hóa t t hơn. M c dù vi c trích rút ñ c trưng và chu n hóa t t có th gi m s phi tuy n và tính không l i, nhưng chúng không gi i quy t v n ñ m t cách hoàn toàn và c n có cơ c u phân l p có th gi i quy t
nh ng khó khăn ñó ñ ñ t ñư c hi u qu cao. M t thu t toán thành công thư ng k t h p gi a hai cách trên. 1.8 K T LU N CHƯƠNG Như v y, m t h th ng nh n d ng khuôn m t g m nhi u thành ph n: phát hi n khuôn m t, theo dõi, hi u ch nh, trích rút ñ c trưng và so sánh. Đ th c hi n m t h th ng nh n d ng khuôn m t t ñ ng, chúng ta ph i ch p nh n m t s ràng bu c: tư th , ánh sáng, c m xúc khuôn m t, tu i, s che khu t, màu tóc. Tuy nhiên, vi c gi i quy t các v n ñ thay ñ i tư th , ñ chi u sáng… là m t v n ñ c n ph i nghiên c u. CHƯƠNG 2: MÔ HÌNH MORPH BA CHI U CHO M T NGƯ I 2.1 GI I THI U CHƯƠNG Trong chương này gi i thi u cách mô hình Morph gi i quy t v n ñ ph thu c vào ñi u ki n ch p nh c a h th ng nh n d ng khuôn m t. 2.2 PHÂN TÍCH KHUÔN M T V I MÔ HÌNH MORPH Phương pháp d a vào m t cơ c u phân tích b ng cách t ng h p (analysis by synthesis). Ý tư ng c a cơ c u này là t ng h p nh c a m t khuôn m t sao cho gi ng v i khuôn m t trong m t nh ñ u vào. Cơ c u này yêu c u m t mô hình có kh năng s n sinh ñ t ng h p chính xác các nh khuôn m t. Các tham s mô hình t o ra sau ñó ñư c s d ng cho các công vi c m c cao ch ng h n như nh n d ng. 2.3 BI U DI N BA CHI U CHO KHUÔN M T 2.3.1 Cơ s d li u nh scan khuôn m t 3D Mô hình Morph 3D c a khuôn m t ñư c xây d ng d a trên m t t p 200 khuôn m t scan 3D c a ngư i (100 ph n và 100 ñàn ông), tu i t 18-45 năm. Các gương m t ñã ñư c ghi l i b ng cách
s d ng m t máy quét CyberwareTM 3030PS quay quanh tr c th ng ñ ng c a m t m t, ñ ng th i ghi l i thông tin không gian và màu s c b m t. K t qu là m t t p h p các m u riêng cho các hình d ng và màu s c mô t cho m t khuôn m t: r(h, ), R(h, ), G(h, ), B(h, ) h, {0,…, 511} (2.1) v i r cho các thông tin chi u sâu v m t bán kính tính t tr c d c gi a và R, G, B ñ nh nghĩa cho màu s c b m t, ghi l i v i cùng ñ phân gi i không gian (spatial resolution) và ñư c lưu trong m t lưu ñ k t c u (texture map) s d ng 8 bit cho m i kênh. 2.3.2 Bi u di n khuôn m t dư i d ng vector M t cách thu n ti n ñ bi u di n cho hình d ng ba chi u c a m t khuôn m t là t p h p các t a ñ không gian c a n ñi m trên b m t trong m t vector hình d ng S: S= (2.2) Tương t , có th xây d ng các vectơ k t c u, vì m i ñi m b m t cung c p m t giá tr màu s c R, G, B tương ng. Thu th p các thông s này theo th t c a các giá tr không gian trong m t vector t o ra vector k t c u T: T= (2.3) Thành ph n th i c a vector k t c u mô t chính xác màu s c c a các ñ nh th i trong vector hình d ng. M t n i suy tuy n tính c a hai khuôn m t sau ñó có th ñư c mô t riêng cho hình d ng và k t c u như ñưa ra dư i ñây: (2.4) b (2.5)
Ngoài ra, nhi u hơn m t khuôn m t có th ñư c n i suy b ng cách s d ng các h s cho hình d ng và k t c u: (2.6) (2.7) Trong ñó, Chúng ta ñ nh nghĩa mô hình Morph như là t p các khuôn m t , v i các h s và B ng cách này, s k t h p tuy n tính c a các khuôn m t b t kỳ trong cơ s d li u ban ñ u có th ñư c s d ng ñ t o các khuôn m t m i. 2.3.3 S tương ng và s bi n hình Đ ñ t ñư c k t qu gi ng v i t nhiên, m t s tương ng ñ nh - ñ nh c a t t c các khuôn m t trong cơ s d li u 3D là m t ñi u ki n ñ xây d ng m t mô hình Morph làm vi c ñúng cách. 2.4 KHÔNG GIAN M T D A VÀO PHÂN TÍCH THÀNH PH N CHÍNH – PCA 2.4.1 Sơ lư c toán ñ i s tuy n tính trong th ng kê 2.4.1.1 Vector riêng, tr riêng và s chéo hóa c a ma tr n 2.4.1.2 Kì v ng và phương sai trong th ng kê ña chi u 2.4.2 Phương pháp phân tích thành ph n chính – PCA 2.4.2.1 Yêu c u - V n ñ ñư c ñ t ra khi th c hi n vi c nh n d ng trong không gian ña chi u (v i s lư ng chi u r t l n) - S ñ t ñư c m t s c i thi n ñáng k b ng cách s p x p d li u vào m t không gian ña chi u, nhưng v i s chi u nh hơn.
gi m chi u 2.4.2.2 Trích rút ñ c trưng b ng phương pháp PCA M c tiêu c a phương pháp PCA là gi m s chi u c a m t t p các vector sao cho v n ñ m b o ñư c t i ña thông tin quan tr ng nh t c a t p d li u hu n luy n. Có th nói phương pháp PCA tìm cách gi l i nh ng thành ph n th ng kê quan tr ng nh t c a t p m u. 2.4.2.3 K thu t trích rút ñ c trưng b ng PCA 2.4.3 Không gian m t d a trên PCA trên ñã ñ c p r ng s tương ng có th cho phép xây d ng công th c m t không gian m t. Không gian m t ñư c xây d ng b ng cách ñ t m t t p M các laser scan 3D m u tương ng v i m t laser scan tham chi u. Đi u này ñưa ra m t s gán nhãn nh t quán Nv ñ nh 3D trên t t c các scan. Các hình d ng và b m t k t c u ñư c tham s hóa trong khung tham chi u (u, v), nơi mà m t ñi m nh tương ng v i m t ñ nh 3D. Các v trí 3D trong h t a ñ Cartesian c a Nv ñ nh c a m t khuôn m t scan ñư c s p x p trong m t ma tr n hình d ng, S, và màu s c c a chúng trong m t ma tr n k t c u, T. (2.26) Xây d ng m t không gian m t tuy n tính, chúng ta có th t o ra k t h p tuy n tính c a các hình d ng, Si, và các k t c u, Ti c a M cá nhân làm m u ñ t o ra khuôn m t c a các cá nhân m i. Bây gi , thay vì mô t m t hình d ng và k t c u m i như là m t s k t h p tuy n tính c a các m u, như trong bi u th c (2.27),
chúng ta bi u di n chúng như m t s k t h p tuy n tính c a NS thành ph n chính c a hình d ng và NT c a k t c u. (2.29) Xác su t phân b cho các tham s (ñi u khi n hình d ng và k t c u c a khuôn m t t o ra) cũng ñư c ư c lư ng và bi u di n như sau: (2.30) V i , l n lư t là tr riêng c a ma tr n hi p phương sai . Chúng ch ra s khác nhau và s tương ñ ng trong t p các khuôn m t m u và giúp phân bi t là khuôn m t hay không ph i khuôn m t. 2.5 MÔ HÌNH REGULARIZED MORPH Nh ng v n ñ này phát sinh là do ñôi khi các biên scan là t p gi t o và m t trong nh ng biên ñó không tương ng v i các biên thi t l p trên scan khác. Đi u này d n ñ n sai sót trong s ư c lư ng ư c tính b ng lưu lư ng quang h c. Trong ph n này trình bày m t cách ñ c i thi n s tương ng b ng cách chính qui hóa nó s d ng th ng kê b t ngu n t các scan không t n t i các l i tương ng (correspondence error). Đi u này ñ t ñư c b ng cách hi u ch nh vi c d ng mô hình theo hai cách: Th nh t, PCA xác su t [24] ñư c s d ng thay cho PCA, cho phép các m u b nhi u. Th hai, m t k thu t bootstrapping ñư c s d ng, theo ñó mô hình ñư c ư c lư ng l p.
2.5.1 PCA xác su t 2.5.2 Bootstrapping 2.6 MÔ HÌNH MORPH ĐÃ PHÂN ĐO N Như ñã ñ c p, mô hình Morph c a chúng ta thu ñư c t s li u th ng kê tính toán trên 200 khuôn m t m u. K t qu là, các kích thư c c a không gian hình d ng và k t c u, NS và NT, ñư c gi i h n là 199. Đi u này có th không ñ ñ tính cho các bi n th phong phú c a các cá nhân hi n di n trong nhân lo i. Đương nhiên, m t cách ñ làm tăng kích thư c c a không gian m t là s d ng 3D scan c a nhi u ngư i hơn nhưng chúng l i không có s n. Do ñó chúng ta dùng ñ n phương pháp khác: phân ño n m t thành b n vùng (mũi, m t, mi ng và ph n còn l i) 2.7 T NG K T CHƯƠNG Như v y, trong chương này ñã trình bày vi c xây d ng mô hình Morph 3D s d ng t p cơ s d li u là các nh scan 3D. S chi u c a d li u s ñư c gi m ñi ñáng k khi s d ng phương pháp PCA ñ xây d ng mô hình. Mô hình này có th ñư c s d ng ñ t ng h p nh khi bi t các tham s hình d ng và tham s k t c u. CHƯƠNG 3 NH N D NG M T NGƯ I D A TRÊN K THU T SO KH P 3.1 GI I THI U CHƯƠNG Chương 3 s s d ng mô hình Morph ñã ñư c gi i thi u chương hai ñ t ng h p và phân tích nh. Theo vòng l p phân tích b ng cách t ng h p, n i dung ñ u tiên ñ c p ñ n là t ng h p nh - t các tham s mô hình m t nh 3D s ñư c tái t o. nh ñư c tái t o này s ñư c so sánh v i nh ñ u vào ñ tìm ñư c tham s mô hình
bi u di n nh 2D ñúng nh t. Chương này còn gi i thi u hai thu t toán so kh p ñư c s d ng trong quá trình phân tích nh. 3.2 T NG H P NH S D NG MÔ HÌNH MORPH M c tiêu c a phân tích nh d a trên mô hình (model-based image analysis) là bi u di n m t khuôn m t m i trong nh b ng các h s mô hình và (2.29) và xây d ng l i hình d ng 3D. Hơn n a, nó s ư c lư ng t ñ ng t t c các thông s quang c nh 3 chi u liên quan, ch ng h n như tư th ch p, ñ dài tiêu c c a máy nh, cư ng ñ ánh sáng, màu s c, và góc ch p (direction). 3.2.1 Phép chi u ph i c nh Phép chi u ph i c nh ñóng m t vai trò quan tr ng trong ph n này. Ph n này s ñ c p ñ n n i dung làm th nào t o nh 2D t các ñ i tư ng 3D. 3.2.2 Phép chi u hình d ng Đ mô hình t o ra nh m t khuôn m t (render), hình d ng 3D ph i ñư c chi u xu ng frame 2D. Nó ñư c th c hi n theo 2 bư c. Đ u tiên, quay 3D và t nh ti n (t c là, m t phép chuy n ñ i b o toàn k t c u ñ i tư ng (rigid transformation)) ánh x t a ñ tâm ñ i tư ng (object-centered coordinate), S, sang m t v trí tương ñ i v i máy nh. (3.1) M t phép chi u sau ñó ánh x m t ñ nh k sang (xj, yj) trong m t ph ng nh. (3.2)
Đ d gi i thích, các thông s chuy n ñ i hình d ng ñư c bi u hi n b ng các vector , và vector α v i các thành ph n là αi. 3.2.3 Phép chi u hình d ng ngh ch ñ o Các phép chi u hình d ng ñã nói trên ánh x m t ñi m (u, v) t không gian tham chi u ñ n frame nh. Đ t ng h p m t nh, c n ánh x ngư c: m t hình nh ñư c t o ra b ng cách l p vòng trên các ñi m nh (x, y). Đ bi t ñư c màu s c nào ph i ñư c v trên ñi m nh ñó, ph i bi t ñi m nh này ñư c ánh x vào nơi nào trong frame tham chi u. Đây là m c tiêu c a ánh x hình d ng ngh ch ñ o ñư c gi i thích trong ph n này. Phép chi u ngh ch ñ o, , ánh x m t ñi m nh (x, y) vào khung tham chi u (u, v). 3.2.4 Bi n ñ i ñ sáng và màu s c 3.2.4.1 Ánh sáng c a môi trư ng xung quanh và ánh sáng chi u tr c ti p Khuôn m t ñư c chi u sáng b i ánh sáng xung quanh v i cư ng ñ màu ñ , xanh lá cây, và xanh dương Lr.amb, Lg.amb, , Lb.amb và b i ánh sáng tr c ti p, song song v i cư ng ñ Lr.dir, Lg.dir, , Lb.dir t m t hư ng xác ñ nh I ñ nh nghĩa b i hai góc và : (3.5) Mô hình chi u sáng Phong (xem [10]), mô t x p x khu ch tán và ph n x gương c a m t b m t. V i m i ñ nh k, kênh màu ñ là (3.6) 3.2.4.2 Chuy n ñ i màu s c Hình nh ñ u vào có th thay ñ i r t nhi u theo màu s c. Đ có th x lý m t lo t các nh màu cũng như các nh xám và th m chí
c tranh v , áp d ng gain gr, gg, gb offset or, og, ob và ñ tương ph n màu s c c v i m i kênh. (3.7) Đ ng n g n, các tham s chuy n ñ i ñ sáng và màu s c ñư c t p h p l i trong vector . 3.2.5 T ng h p nh T ng h p hình nh c a khuôn m t ñư c th c hi n b ng cách ánh x m t k t c u (texture) t khung tham chi u vào khung nh b ng cách s d ng m t phép chi u hình d ng ngh ch ñ o: (3.8) V i j là các ñi m nh thu c Ψ (α, ρ) (t c là, các ñi m nh t n t i m t ngh ch ñ o hình d ng, như ñ nh nghĩa t i m c 3.2.3). 3.3 PHÂN TÍCH NH V I MÔ HÌNH MORPH Các thu t toán so kh p t i ưu hóa các h s hình d ng và các h s k t c u cùng v i 22 thông s chuy n ñ i t mô hình sang nh, t h p vào m t vectơ : góc ch p và , t nh ti n 3D , ñ dài tiêu c f, cư ng ñ ánh sáng xung quanh Lr.amb, Lg.amb, , Lb.amb, cư ng ñ ánh sáng chi u tr c ti p Lr.dir, Lg.dir, , Lb.dir, góc và c a ánh sáng tr c ti p, ñ tương ph n màu s c c, và ñ l i (gain) và ñ l ch (offset) c a các kênh màu gr, gg, gb, or, og, ob. Đ i v i m i hư ng nhìn, có m t t p các ñi m ñ c tính chu n, như các góc m t, ñ nh mũi, khóe mi ng, tai, và ñ n ba ñi m trên ñư ng vi n (má, c m và trán ). N u m t trong nh ng ñi m này không nhìn th y trong nh, thu t toán so kh p ñư c cung c p v i ít t a ñ ñi m hơn.
Hình 3.7: Kh i t o: B y landmark v i các góc nhìn th ng và hơi nghiêng (side view) và tám v i m t nhìn nghiêng ñư c gán b ng tay cho nh vào. 3.3.1 Hàm chi phí (Cost function) V im t nh ñ u vào: (3.9) T các tham s ( , các nh màu (3.10) ñư c t o ra t mô hình s d ng hình chi u ph i c nh và mô hình ánh sáng Phong. M c tiêu chính là phân tích khuôn m t ñ t i thi u t ng bình phương sai l ch trên t t c các kênh màu và t t c các pixel gi a nh ñ u vào và nh tái t o t ng h p t mô hình, (3.11) Các l n l p ñ u tiên khai thác L ñi m ñ c tính (feature point) ñ nh nghĩa b ng tay và các v trí c a các ñ nh tương ng trong m t hàm t ng (3.12) 3.3.2 T i ña ư c lư ng h u nghi m c a các tham s C hai thu t toán nh m m c ñích tìm các thông s mô hình α, ρ, β, mô t m t nh ñ u vào. Đ tăng tính b n v ng c a các thu t toán, các thông s này ñư c ư c tính b ng m t ư c lư ng h u nghi m t i ña (Maximum a posterior - MAP): V i nh ñ u vào
và L ñi m ñ c tính, nhi m v là tìm các thông s mô hình có xác su t h u nghi m (posteriori probability) p (α, ρ, β, | Iinput, L) l n nh t [5]. Áp d ng các quy t c Bayes và b qua s ph thu c gi a các tham s , ta có: p (α, ρ, β, | Iinput, L) ) . p( ). ).p( (3.13) Gi s r ng t a ñ x và y c a các ñi m landmark là ñ c l p và r ng có cùng m t phân ph i Gauss v i phương sai , ta có: (3.14) S khác bi t gi a hai thu t toán vi c xây d ng kh năng (likelihood) p(Iinput | α, ρ, β, ), t o ra các phương pháp t i ña hóa khác nhau. 3.3.2 T i ưu hóa Newton ng u nhiên Kh năng (Likelihood) c a nh ñ u vào v i các tham s mô hình ñư c th hi n trong khung nh (x,y). Gi s t t c các ñi m nh là ñ c l p và chúng có cùng m t phân b Gauss v i phương sai , ta có: (3.15) T ng ñư c th c hi n trên các ñi m nh ñư c chi u t các ñ nh trong (α, ρ). T i m t v trí pixel, norm ñư c tính trên ba kênh màu. Sau ñó năng lư ng t ng ñư c t i thi u là: (3.16)
3.3.3 Căn ch nh nh s d ng phép bi n ñ i k t h p ngư c (Inverse Compositional Image Alignment) 3.3.3.1 ICIA Log-likelihood Trái v i SNO, các Log-likelihood c a nh ñ u vào ñư c tính trong khung tham chi u (u, v). Khác bi t n a là c p nh t c a các tham s ñư c ñ o ngư c và bi n ñ i k t h p (compose) v i ư c lư ng hi n t i thay vì ch ñơn gi n là c ng vào ư c lư ng hi n t i. Đ nh nghĩa này ñư c ch n cho ngh ch ñ o k t c u b i vì sau ñó m t k t c u bi n ñ i k t h p v i ngh ch ñ o c a nó dư i cùng m t t p các tham s b ng k t c u trung bình: . Đ ng n g n, ký hi u cho các tham s hình d ng và phép chi u, Hàm chi phí ñư c t i thi u l p là t ng bình phương sai l ch gi a hai k t c u, do ñó ñư c ñ nh nghĩa trong khung tham chi u (u, v). Log-likelihood c a hàm chi phí ñư c bi u di n như sau: (3.23) (3.24) Lưu ý r ng, s d ng bi u th c (3.8) và quy t c dây chuy n: (3.25) (3.26) Các ñ o hàm theo các tham s k t c u c p nh t ∆β và tham s ñ chi u sáng ∆ι tương t như v i các tham s hình d ng. Jacobi