Luận văn Thạc sĩ Hệ thống thông tin: Ứng dụng Sift tách đặc trưng chuyển động và nhận dạng ký tự trên lốp (vỏ) xe

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:78

Thêm vào BST

Báo xấu

19
lượt xem 6
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Mục tiêu của đề tài Ứng dụng Sift tách đặc trưng chuyển động và nhận dạng ký tự trên lốp (vỏ) xe" nhằm áp dụng trong các nhà máy sản xuất xe để phục vụ cho việc trích xuất các thông tin của lốp xe. Hệ thống có chức nhận phát hiện chuyển động của lốp xe và cắt lốp xe ra khỏi khung hình. Và trích xuất được các kí tự có trên lốp xe. Phục vụ cho quá trình truy xuất. Qua đó đẩy nhanh quá trình kiểm tra và theo dõi xe.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Luận văn Thạc sĩ Hệ thống thông tin: Ứng dụng Sift tách đặc trưng chuyển động và nhận dạng ký tự trên lốp (vỏ) xe

ỦY BAN NHÂN DÂN TỈNH BÌNH DƢƠNG TRƢỜNG ĐẠI HỌC THỦ DẦU MỘT MAI NHẬT TÂN ỨNG DỤNG SIFT TÁCH ĐẶC TRƢNG CHUYỂN ĐỘNG VÀ NHẬN DẠNG KÝ TỰ TRÊN LỐP (VỎ) XE CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN MÃ SỐ: 8480104 LUẬN V N THẠC S BÌNH DƢƠNG – 2022
UỶ BAN NHÂN DÂN TỈNH BÌNH DƢƠNG TRƢỜNG ĐẠI HỌC THỦ DẦU MỘT MAI NHẬT TÂN ỨNG DỤNG SIFT TÁCH ĐẶC TRƢNG CHUYỂN ĐỘNG VÀ NHẬN DẠNG KÝ TỰ TRÊN LỐP (VỎ) XE CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN MÃ SỐ: 8480104 LUẬN V N THẠC S NGƢỜI HƢỚNG DẪN KHOA HỌC: TS. NGUYỄN HÀ HUY CƢỜNG -------------------------------- BÌNH DƢƠNG – 2022
LỜI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi. Các số liệu, kết quả nêu trong Luận văn là trung thực và chƣa từng đƣợc ai công bố trong bất kỳ công trình nào khác. Tôi xin cam đoan rằng mọi sự giúp đỡ cho việc thực hiện Luận văn này đã đƣợc cảm ơn và các thông tin trích dẫn trong Luận văn đã đƣợc chỉ rõ nguồn gốc. Học viên thực hiện đề tài! MAI NHẬT TÂN
LỜI CẢM ƠN Tôi xin gửi lời cảm ơn chân thành tới TS. Nguyễn Hà Huy Cƣờng. Thầy đã tận tình giảng dạy, hƣớng dẫn giúp tôi tiếp cận việc nghiên cứu của mình. Trong quá trình làm việc Thầy đã luôn tận tâm động viên, khuyến khích và chỉ dẫn giúp tôi hoàn thành đƣợc luận văn này. Bên cạnh đó, tôi xin gửi lời cảm ơn tới quý Thầy/Cô Viện Sau đại học, Trƣờng Đại học Thủ Dầu Một đã hỗ trợ tôi trong. Học viên thực hiện đề tài MAI NHẬT TÂN
MỤC LỤC Trang LỜI CAM ĐOAN .................................................................................................... LỜI CẢM ƠN .......................................................................................................... DANH MỤC HÌNH ................................................................................................. DANH MỤC BẢNG ................................................................................................ DANH MỤC CỤM TỪ VIẾT TẮT ........................................................................ MỞ ĐẦU ................................................................................................................ 1 1. Giới thiệu.................................................................................................... 1 2. Mục tiêu đề tài ............................................................................................ 1 3. Phƣơng pháp............................................................................................... 2 4. Bố cục báo cáo ........................................................................................... 2 CHƢƠNG 1 TỔNG QUAN VỀ ĐỀ TÀI .............................................................. 3 1.1 Phát hiện và mô tả đặc trƣng ảnh ................................................................. 3 1.2 Các loại đặc trƣng ảnh .................................................................................. 5 1.2.1 Đặc trƣng toàn cục và cục bộ ................................................................ 5 1.2.2 Đặc điểm của phát hiện đặc trƣng ......................................................... 6 1.2.3 Bất biến với tỷ lệ và biến đổi Affine ..................................................... 7 1.3 Phát hiện đặc trƣng ảnh ................................................................................ 8 1.3.1 Phát hiện đơn tỉ lệ.................................................................................. 8 1.3.1.1 Phát hiện của Moravec ................................................................... 8 1.3.1.2 Phát hiện Harris .............................................................................. 9 1.3.1.3 Phát hiện FAST ............................................................................ 10 1.3.2 Phát hiện đa tỉ lệ .................................................................................. 11 1.3.2.1 Phƣơng pháp LoG (Laplacian of Gaussian)................................. 11 1.3.2.2 Phát hiện sóng Gabor ................................................................... 12 1.4 Mô tả đặc trƣng ảnh ................................................................................... 13 1.4.1 Phƣơng pháp trích chọn đặc trƣng SIFT (Scale Invariant Feature Transform) .................................................................................................... 13 1.4.2 Phƣơng pháp GLOH (Gradient Location-Orientation Histogram) ..... 14
1.4.3 Phƣơng pháp SURF (Speeded-Up Robust Features Descriptor) ........ 15 1.5 Nhận dạng kí tự bằng SVM (Support Vector Machine) ............................ 16 1.5.1 Cách hoạt động của SVM ................................................................... 18 1.5.2 Margin trong SVM .............................................................................. 22 CHƢƠNG 2 PHÂN TÍCH, NGHIÊN CỨU ĐỀ TÀI .......................................... 23 2.1 Đối sánh ảnh dựa trên đặc trƣng SIFT ....................................................... 23 2.1.1 Giới thiệu về đối sánh ảnh .................................................................. 23 2.2 Các phƣơng pháp đối sánh ảnh .................................................................. 24 2.2.1 Phƣơng pháp dựa trên vùng (Area based methods) ............................ 24 2.2.1.1 Tƣơng quan (Correlation) ............................................................ 26 2.2.1.2 Đối sánh bình phƣơng nhỏ nhất (Least squares matching) .......... 28 2.2.1.3 Khoảng cách hình ảnh (Image distance) ...................................... 31 2.2.2 Phƣơng pháp dựa theo đặc trƣng (Feature based methods) ................ 32 2.2.2.1 Điểm đặc trƣng (Interest points) .................................................. 32 2.2.2.2 Cạnh và vùng................................................................................ 34 2.3 Đối sánh ảnh dựa trên đặc trƣng SIFT ....................................................... 35 2.3.1 Trích chọn đặc trƣng SIFT .................................................................. 35 2.3.1.1 Phát hiện các điểm cực trị ............................................................ 36 2.3.1.2 Định vị điểm hấp dẫn: .................................................................. 40 2.3.1.3 Xác định hƣớng cho các điểm hấp dẫn ........................................ 43 2.3.1.4 Mô tả các điểm hấp dẫn ............................................................... 44 2.3.2 Đối sánh SIFT ..................................................................................... 45 2.3.2.1 Độ đo khoảng cách và độ đo tƣơng tự ......................................... 45 2.3.2.2 Đối sánh đặc trƣng cục bộ bất biến .............................................. 45 2.3.2.3 Một số độ đo khoảng cách cho ảnh sử dụng đặc trƣng SIFT ....... 46 CHƢƠNG 3 KẾT QUẢ THỰC NGHIỆM .......................................................... 48 3.1 Môi trƣờng thực nghiệm ............................................................................ 48 3.1.1 Cấu hình phần cứng ............................................................................ 48 3.1.2 Môi trƣờng cài đặt ............................................................................... 48 3.1.3 Thƣ viện OpenCV ............................................................................... 48
3.2 Trích chọn đặc trƣng SIFT ......................................................................... 49 Bƣớc 1: Đọc ảnh .......................................................................................... 49 Bƣớc 2: Phát hiện và tính toán mô tả điểm đặc trƣng. ................................. 50 Bƣớc 3: Nối các điểm Keypoint đặc trƣng tƣơng ứng ................................. 51 3.3 Nhận dạng kí tự trên lốp xe ........................................................................ 53 3.3.1 Xây dựng tập dữ liệu hình ảnh kí tự ................................................... 53 3.3.2 Huấn luyện và kiểm tra bằng SVM ..................................................... 54 KẾT LUẬN .......................................................................................................... 58 Kết luận ............................................................................................................ 58 DANH MỤC TÀI LIỆU THAM KHẢO ............................................................. 59
DANH MỤC HÌNH Trang Hình 1.1 Hoạt động của hàm LoG ...................................................................... 12 Hình 1.2 Phát hiện sóng Gabor ........................................................................... 13 Hình 1.3 Phƣơng pháp SIFT ............................................................................... 14 Hình 1.4 Hoạt động của hàm GLOH .................................................................. 15 Hình 1.5 Hoạt động của SURF ........................................................................... 16 Hình 1.6 Thuật toán SVM ................................................................................... 17 Hình 1.7 Quy tắc 1 .............................................................................................. 18 Hình 1.8 Quy tắc 2 .............................................................................................. 19 Hình 1.9 Quy tắc 3 .............................................................................................. 19 Hình 1.10 Phân loại thành hai lớp ....................................................................... 20 Hình 1.11 Mặt phẳng phân tách các lớp ............................................................. 21 Hình 1.12 Bảng 1Xác định margin trong SVM .................................................. 22 Hình 2.1 Biểu diễn hình học của khoảng cách hình ảnh D =| v |=| vT − vS | ..... 31 Hình 2.2 Minh họa các bƣớc chính trong giải thuật SIFT .................................. 36 Hình 2.3 Biểu đồ mô phỏng việc tính toán các ảnh DoG từ các ảnh kề mờ ....... 39 Hình 2.4 Quá trình tìm điểm cực trị trong các hàm sai khác DoG ..................... 40 Hình 2.5 Mô phỏng sử dụng công thức mở rộng của Taylor cho hàm DoG ...... 41 Hình 2.6 Quá trình lựa chọn các điểm hấp dẫn ................................................... 42 Hình 2.7 Tính độ lớn và hƣớng của Gradient ..................................................... 44 Hình 2.8 Tạo mạng lƣu lƣợc đồ định hƣớng ....................................................... 45 Hình 2.9 Đối sáng hai ảnh quay về đối sánh hai tập điểm đặc trƣng trong không gian đặc trƣng ....................................................................................................... 46 Hình 3.1 Đọc hình ảnh chuẩn bị cho quá trình huấn luyện và kiểm thử ............ 50 Hình 3.2 Kết quả của sử dụng đặc trƣng SIFT tìm các đặc trƣng có kích thƣớc và không có kích thƣớc ............................................................................................. 51 Hình 3.3 Thực hiện nối điểm với các khoảng cách cùng các đặc trƣng tìm thấy của 2 hình ảnh huấn luyện (phải) và kiểm thử (trái) ............................................ 52
Hình 3.4 Kết quả quá trình phát hiện đặc trƣng trên lốp xe ................................ 53 Hình 3.5 Bộ dữ liệu chữ số và kí tự .................................................................... 54 Hình 3.6 Bộ dữ liệu chữ cái ................................................................................ 54 Hình 3.7 Nhận dạng kí tự có trên lốp xe ............................................................. 57
DANH MỤC BẢNG Trang Bảng 1 Tổng quan các phƣơng pháp đối sánh ảnh ............................................. 24 Bảng 2 Cấu hình phần cứng sử dụng trong thực nghiệm .................................... 48 Bảng 3 Công nghệ sử dụng trong thực nghiệm................................................... 48 Bảng 4 Đánh giá mô hình huấn luyện với các đại lƣợng đánh giá ..................... 56
DANH MỤC CỤM TỪ VIẾT TẮT STT Cụm từ Viết tắt 1 Scale Invariant Feature Transform SIFT 2 Speeded-Up Robust Features Descriptor SURF 3 Support Vector Machine SVM 4 Gradient Location-Orientation Histogram GLOH 5 Difference Of Gaussian DoG 6 Features from Accelerated Segment Test FAST 7 Laplacian of Gaussian LoG
MỞ ĐẦU 1. Giới thiệu Trong lĩnh vực nhận dạng đối tƣợng ngày nay, hƣớng nghiên cứu phổ biến trên thế giới là việc sử dụng các điểm bất biến (Invarian Feature) trong ảnh làm đặc trƣng để nhận dạng. Tiêu biểu nhất trong các thuật toán đối sánh sử dụng đặc trƣng dạng này là thuật toán SIFT (Scale-Invarian Feature Transform, David Lowe 1999 và 2004), SIFT có thể coi là thuật toán tiền đề cho các ứng dụng c ng nhƣ giải thuật khác về trích chọn biến đổi đặc trƣng bất biến trong ảnh. Các giải thuật đang ứng dụng trong thực tế khác đều dựa trên hay phát triển theo các nhánh riêng của SIFT. Các đặc trƣng trong SIFT không phụ thuộc vào các phép biến đổi ảnh cơ bản nhƣ xoay, co dãn, thay đổi độ sáng, v.v. nên có thể xem tập các đặc trƣng của một ảnh là thể hiện cho nội dung của ảnh đó. Vì vậy kết quả của việc nhận dạng s có độ chính xác rất cao và thậm chí có thể khôi phục đƣợc đối tƣợng bị che khuất trong ảnh. Tuy nhiên giải thuật SIFT rất phức tạp trong cài đặt, đ i hỏi thời gian nghiên cứu và am hiểu nhiều thuật toán thành phần. Trong phạm vi đề tài này, em s sử dụng đặc trƣng SIFT để xác định chuyển động của lốp xe và trích xuất các thông tin trên lốp xe từ đó tìm hiểu phƣơng pháp trích chọn đặc trƣng trong việc triển khai các ứng dụng trong thực tế về lĩnh vực tầm nhìn máy tính. Ngoài ra đề tài này c n giúp em nắm chắc kiến thức hơn vì nó kết hợp kiến thức các môn em đã đƣợc học trong nhà trƣờng. 2. Mục tiêu đề tài Mục tiêu của đề tài nhằm áp dụng trong các nhà máy sản xuất xe để phục vụ cho việc trích xuất các thông tin của lốp xe. Hệ thống có chức nhận phát hiện chuyển động của lốp xe và cắt lốp xe ra khỏi khung hình. Và trích xuất đƣợc các kí tự có trên lốp xe. Phục vụ cho quá trình truy xuất. Qua đó đẩy nhanh quá trình kiểm tra và theo dõi xe. 1
3. Phƣơng pháp Phƣơng pháp sử dụng trong đề tài: - Sử dụng thuật toán SIFT để phát hiện chuyển động của lốp xe - Sử dụng thuật toán SVM để phát hiện và nhận dạng kí tự có trên lốp xe - Xây dựng giao diện hệ thống trong việc phát hiện kí tự 4. Bố cục báo cáo Sau phần Mở đầu, báo cáo đƣợc trình bày trong ba chƣơng, cụ thể nhƣ sau: Chƣơng 1. Nghiên cứu tổng quan đề tài. Trong chƣơng này, báo cáo trình bày các khái niệm, lý thuyết, cấu trúc mô hình và tình hình nghiên cứu trong ngoài nƣớc. Chƣơng 2. Phân tích và nghiên cứu đề tài. Nội dung chƣơng bao gồm các quá trình thực hiện, cấu trúc và thuật toán đề xuất. Chƣơng 3. Kết quả Chƣơng này trình bày các kết quả đạt đƣợc của hệ thống và đánh giá và so sánh các mô hình đặc trƣng. Cuối cùng là Kết luận, Tài liệu tham khảo và Phụ lục liên quan đến đề tài. 2
CHƢƠNG 1 TỔNG QUAN VỀ ĐỀ TÀI 1.1 Phát hiện và mô tả đặc trƣng ảnh Trong những thập kỷ qua, phát hiện đặc trƣng và mô tả ảnh đã trở thành công cụ phổ biến trong cộng đồng thị giác máy tính. Các phƣơng pháp đã có đang đƣợc áp dụng rộng rãi trong một lƣợng lớn các ứng dụng nhƣ: khôi phục ảnh, phân lớp và truy xuất ảnh, nhận dạng và đối sánh đối tƣợng, khôi phục cảnh 3D, theo dõi chuyển động đối tƣợng, phân lớp cấu trúc ảnh, định vị rô bốt và hệ thống sinh trắc học, tất cả đều dựa trên biểu diễn sự ổn định và các đặc trƣng đại diện trong ảnh. Do đó, phát hiện và trích chọn đặc trƣng ảnh là bƣớc quan trọng cho các ứng dụng này. Để thiết lập cặp điểm tƣơng ứng giữa hai ảnh thì việc tìm ra điểm nổi bật trên ảnh là rất cần thiết. Trong nhiệm vụ phân lớp, đặc trƣng của ảnh truy vấn s đƣợc đem đi đối sánh với đặc trƣng của các ảnh đã đƣợc huấn luyện, cặp ảnh nào có nhiều đối sánh nhất thì đƣợc coi là đối sánh tốt nhất. Trong trƣờng hợp này, đối sánh đặc trƣng có thể dựa trên các độ đo khoảng cách nhƣ Euclide hoặc Mahalanobis. Trong khôi phục ảnh, việc hiệu chỉnh những ảnh đƣợc thu nhận ở trong những điều kiện và thời điểm khác nhau là rất cần thiết. Các bƣớc chính để thực hiện khôi phục ảnh hoặc hiệu chỉnh là: mô tả đặc trƣng, đối sánh đặc trƣng, xác định các hàm biến đổi dựa trên các đặc trƣng tƣơng ứng giữa hai ảnh ảnh và khôi phục hình ảnh dựa trên các hàm biến đổi. Trong đối sánh và nhận dạng, bƣớc đầu tiên là phát hiện các điểm đặc trƣng trong các ảnh và mô tả chúng. Khi các bộ mô tả đƣợc tính toán, chúng có thể đƣợc so sánh với nhau để tìm ra mối quan hệ giữa các ảnh để thực hiện nhiệm vụ đối sánh / nhận dạng. Phát hiện đặc trƣng là một bƣớc quan trọng trong đối sánh ảnh. Ý tƣởng chính của phát hiện đặc trƣng là phát hiện ra các điểm chính, các điểm này bất biến với một lớp biến đổi nào đó. Sau đó, đối với mỗi điểm chính đƣợc phát hiện, Ƣớc lƣợng tập điểm tƣơng đồng giữa hai ảnh dựa trên đối sánh đặc trƣng SIFT xây dựng một véc tơ để biểu diễn đặc trƣng bất biến cho những điểm ảnh xung 3
quanh điểm đƣợc phát hiện. Các mô tả đặc trƣng đƣợc trích chọn từ ảnh có thể dựa trên thống kê bậc hai, các mô hình tham số, các hệ số thu đƣợc từ một phép biến đổi ảnh, hoặc thậm chí là kết hợp của các độ đo này. Hai kiểu đặc trƣng ảnh có thể trích chọn từ mô tả nội dung ảnh là các đặc trƣng toàn cục và các đặc trƣng cục bộ. Đặc trƣng toàn cục (ví dụ: màu sắc và kết cấu) nhằm mục đích mô tả toàn bộ ảnh và có thể đƣợc giải thích nhƣ là các thuộc tính đặc biệt của tất cả các điểm ảnh trong ảnh. Trong khi đó, các đặc trƣng cục bộ nhằm mục đích phát hiện các điểm chính hoặc các vùng nổi bật trong ảnh và mô tả chúng. Việc sử dụng các đặc trƣng toàn cục đã đƣợc chứng minh thành công cho việc tìm các hình ảnh tƣơng tự trong cơ sở dữ liệu, trong khi các đặc trƣng có hƣớng cấu trúc cục bộ đƣợc xem nhƣ là phù hợp cho việc phân lớp đối tƣợng hoặc tìm những phần xuất hiện khác của đối tƣợng hoặc một cảnh tƣơng tự. Mặt khác, trên các ứng dụng thời gian thực phải xử lý nhiều dữ liệu hơn hoặc chạy trên các thiết bị di động với khả năng tính toán hạn chế rất cần thiết phải mô tả cục bộ để tính toán nhanh, đối sánh nhanh, sử dụng bộ nhớ hiệu quả và đƣa ra độ chính xác tốt. Hơn nữa, các mô tả đặc trƣng cục bộ đƣợc chứng minh là một lựa chọn tốt cho đối sánh ảnh trên nền tảng di động, nơi xuất hiện những đối tƣợng khuyết cần phải đƣợc xác định. Với những ứng dụng nhƣ phân lớp ảnh, truy xuất ảnh., theo dõi hoặc nhận dạng đối tƣợng, mô tả đặc trƣng cục bộ rất quan trọng để khắc phục các ảnh hƣởng từ những thay đổi về độ sáng, thay đổi góc nhìn hoặc biến dạng ảnh (ví dụ: nhiễu, mờ, hoặc chiếu sáng). Trong khi đó, những nhiệm vụ tra cứu đặc biệt khác chẳng hạn nhƣ phát hiện khuôn mặt hoặc nhận dạng, cần phải sử dụng các k thuật phát hiện và mô tả đặc biệt. Có rất nhiều phƣơng pháp đƣợc đề xuất để mô tả hình dạng, điển hình nhƣ SIFT (Scale Invariant Feature Transform), SURF (Speeded-up Robust Features). Mô tả SIFT sử dụng cực trị cục bộ ở trong đạo hàm DoG (Difference Of Gaussian) để trích chọn đặc trƣng. Trong khi đó, mô tả SURF đƣợc phát triển dựa trên ý tƣởng của SIFT để tính toán đặc trƣng cục bộ bất biến. Mô tả này đƣợc tính toán nhanh hơn SIFT và là mô tả đƣợc sử dụng rộng rãi và phổ biến trong rất nhiều ứng dụng. 4
1.2 Các loại đặc trƣng ảnh 1.2.1 Đặc trƣng toàn cục và cục bộ Trong xử lý ảnh và thị giác máy tính, trích chọn đặc trƣng và biểu diễn ảnh là rất cần thiết. Con ngƣời có thể dễ dàng trích chọn thông tin từ ảnh thô, tuy nhiên nó không đúng cho trƣờng hợp máy tính. Nói chung có hai kiểu đặc trƣng ảnh có thể trích chọn từ mô tả nội dung ảnh gọi là các đặc trƣng toàn cục và các đặc trƣng cục bộ. Trong mô tả đặc trƣng toàn cục, ảnh đƣợc biểu diễn bằng một véc tơ đặc trƣng mô tả thông tin trong toàn bộ ảnh. Nói cách khác, phƣơng pháp biểu diễn toàn cục tạo ra một véc tơ đơn với các giá trị độ đo các khía cạnh khác nhau của ảnh nhƣ màu sắc, kết cấu hoặc hình dạng. Thực tế, mỗi ảnh đƣợc biểu diễn một véc tơ đơn, sau đó 2 ảnh có thể đƣợc so sánh với nhau bằng việc so sánh các véc tơ đặc trƣng của chúng. Ví dụ, khi ta muốn phân biệt các ảnh biển (xanh dƣơng) và ảnh rừng (màu xanh lục), thì một bộ mô tả toàn cục về màu sắc s tạo ra các véc tơ hoàn toàn khác nhau cho mỗi loại. Trong ngữ cảnh này, các đặc trƣng toàn cục có thể đƣợc hiểu là một thuộc tính đặc biệt của ảnh liên quan đến tất cả các điểm ảnh. Thuộc tính này có thể là các biểu đồ màu, kết cấu, cạnh hoặc thậm chí một bộ mô tả đặc biệt đƣợc trích chọn từ một vài bộ lọc đƣợc áp dụng cho ảnh. Mặt khác, mục đích chính của biểu diễn đặc trƣng cục bộ là biểu thị rõ ràng hình ảnh dựa trên một số vùng nổi bật trong khi vẫn bất biến với các thay đổi về góc nhìn và chiếu sáng. Do đó, ảnh đƣợc biểu diễn dựa trên cấu trúc cục bộ của nó bởi một tập các mô tả đặc trƣng cục bộ đƣợc trích chọn từ một tập hợp. Ƣớc lƣợng tập điểm tƣơng đồng giữa hai ảnh dựa trên đối sánh đặc trƣng SIFT các vùng hình ảnh đƣợc gọi là các vùng đặc trƣng (các điểm chính). Nói chung, việc sử dụng loại đặc trƣng nào là tùy thuộc vào các ứng dụng cụ thể. Ví dụ, một ngƣời có m i lớn hơn và mắt nhỏ hơn, và một ngƣời có m i nhỏ hơn và mắt to hơn có thể có biểu đồ màu hoặc biểu đồ phân bố cƣờng độ tƣơng tự nhau. Vì vậy, các đặc trƣng cục bộ hoặc mẫu toàn cục đƣợc trích ra từ các cụm đặc trƣng cục bộ đƣợc xem nhƣ phù hợp hơn. Trái lại, đối với các tập dữ liệu rất lớn 5
trong ứng dụng đánh chỉ số hình ảnh trên web thì những đặc trƣng toàn cục đƣợc xem nhƣ là thích hợp. Ƣu điểm của các đặc trƣng toàn cục là chúng đƣợc tính toán nhanh hơn và cô đọng hơn trong khi đó dễ tính toán và thƣờng yêu cầu một lƣợng nhỏ bộ nhớ. Tuy nhiên, các biểu diễn toàn cục có một số hạn chế nhƣ: không bất biến với các biến đổi, nhạy cảm với nhiễu và một phần bị che khuất. Ngƣợc lại, lợi thế của các đặc trƣng cục bộ là có hiệu suất vƣợt trội. Sử dụng các đặc trƣng cục bộ để tìm kiếm ảnh có hiệu suất cao hơn nhiều so với các đặc trƣng toàn cục. Hơn nữa, vì các cấu trúc cục bộ ổn định hơn các cấu trúc khác ở các vùng ảnh mịn, nên nó đƣợc kỳ vọng s hữu ích hơn cho việc đối sánh ảnh và nhận dạng đối tƣợng. Tuy nhiên, chúng thƣờng đ i hỏi một lƣợng đáng kể về bộ nhớ vì ảnh có thể có hàng trăm đặc trƣng cục bộ. 1.2.2 Đặc điểm của phát hiện đặc trƣng Tuytelaars và Mikolajczyk đã định nghĩa đặc trƣng cục bộ là một phần hình ảnh khác với vùng lân cận của nó. Vì vậy, họ coi mục đích của các đặc trƣng bất biến cục bộ là cung cấp một biểu diễn cho phép đối sánh hiệu quả các cấu trúc cục bộ giữa các ảnh. Để đáp ứng mục tiêu này, phát hiện và trích chọn đặc trƣng phải có các thuộc tính rõ ràng phụ thuộc vào việc thiết lập những ứng dụng thực trong quá trình thực hiện. Các thuộc tính sau đây rất quan trọng để sử dụng bộ phát hiện đặc trƣng trong các ứng dụng thị giác máy: - Tính mạnh m : Thuật toán có thể phát hiện ra những vị trí đặc trƣng giống nhau độc lập với các biến đổi, co giãn, tỷ lệ, xoay, dịch chuyển, nén và nhiễu. - Tính lặp lại: Thuật toán phát hiện ra các đặc trƣng tƣơng tự của cảnh hoặc đối tƣợng tƣơng tự đƣợc lặp lại dƣới một loạt những góc nhìn khác nhau. - Tính chính xác: Xác định đƣợc chính xác vị trí các đặc trƣng ảnh (vị trí các điểm ảnh tƣơng tự). - Tính tổng quát: Thuật toán phát hiện đặc trƣng có thể phát hiện các đặc trƣng đƣợc sử dụng trong các ứng dụng khác nhau. 6
- Tính hiệu quả: Thuật toán phát hiện đặc trƣng có thể phát hiện các đặc trƣng trong ảnh mới một cách nhanh chóng để hỗ trợ các ứng dụng thời gian thực. - Tính chất lƣợng: Thuật toán phát hiện đặc trƣng s có thể phát hiện tất cả hoặc hầu hết các đặc trƣng trong ảnh. Trong đó, mật độ của các đặc trƣng đƣợc phát hiện cần phải phản ánh thông tin nội dung ảnh để cung cấp biểu diễn ảnh cô đọng. 1.2.3 Bất biến với tỷ lệ và biến đổi Affine Trên thực tế, việc tìm các cặp tƣơng ứng dựa trên việc so sánh các vùng có hình dạng cố định nhƣ hình chữ nhật hoặc hình tr n không đáng tin cậy khi có sự xuất hiện của một số biến dạng. Ngoài ra, các đối tƣợng trong ảnh k thuật số xuất hiện theo những cách khác nhau tùy thuộc vào tỷ lệ quan sát. Do đó, thay đổi tỷ lệ có ý nghĩa quan trọng khi phân tích nội dung ảnh. Có nhiều k thuật khác nhau đã đƣợc đề xuất để giải quyết vấn đề phát hiện và trích chọn các đặc trƣng ảnh bất biến trong các điều kiện này. Một số đƣợc thiết kế để xử lý các vấn đề thay đổi tỷ lệ, trong khi một số khác hƣớng tới các biến đổi Affine. Để giải quyết các thay đổi về tỷ lệ, các k thuật này giả định rằng sự thay đổi về tỷ lệ là giống nhau theo mọi hƣớng (tức là thống nhất) và chúng tìm kiếm các đặc trƣng ổn định trên tất cả các tỷ lệ có thể có bằng cách sử dụng hàm nhân (Kernel) liên tục của tỷ lệ đƣợc gọi là không gian tỷ lệ. Mặt khác, trong trƣờng hợp của phép biến đổi Affine, tỷ lệ có thể khác nhau theo từng hƣớng. Tỷ lệ không đồng đều có ảnh hƣởng đến vị trí, tỷ lệ và hình dạng của cấu trúc cục bộ. Do đó, các phát hiện bất biến tỷ lệ thƣờng không thành công trong trƣờng hợp có biến đổi Affine tỷ lệ lớn. Vì vậy, các bộ phát hiện đƣợc thiết kế để phát hiện các đặc trƣng ảnh dƣới tỷ lệ đều cần phải đƣợc mở rộng thành các bộ phát hiện bất biến với biến đổi Affine. Do đó, các bộ phát hiện bất biến affine có thể đƣợc xem nhƣ là một sự tổng quát hóa mô tả bất biến tỷ lệ. Nói chung, các phép biến đổi Affine đƣợc tạo ra bằng cách sử dụng chuỗi các biến đổi tịnh tiến, co giãn, lật, quay và cắt. Biến đổi Affine (Affinity) là ánh xạ tuyến tính duy trì tính cộng tuyến và tỷ lệ với 7
khoảng cách. Một hình thức, trong trƣờng hợp hữu hạn chiều, nếu ánh xạ tuyến tính đƣợc biểu diễn bởi một phép nhân với ma trận A và phép tịnh tiến đƣợc biểu diễn nhƣ một phép cộng với véc tơ b thì một ánh xạ Affine f trên véc tơ x đƣợc biểu diễn nhƣ sau: y = f (x) = Ax + b 1.3 Phát hiện đặc trƣng ảnh Phát hiện đặc trƣng có thể đƣợc phân loại rộng thành ba loại: phát hiện đơn tỷ lệ, phát hiện đa tỷ lệ, và phát hiện bất biến Affine. Trong đó, đơn tỷ lệ có nghĩa là chỉ có một biểu diễn đặc trƣng hoặc cho các đƣờng bao của đối tƣợng sử dụng các tham số của bộ phát hiện. Phát hiện đơn tỷ lệ là bất biến đối với các phép biến đổi ảnh nhƣ xoay, dịch chuyển, thay đổi độ sáng và nhiễu. Tuy nhiên, chúng không có khả năng để giải quyết vấn đề co giãn. Với hai hình ảnh của cùng một cảnh giống nhau từ việc thay đổi tỷ lệ, ta muốn xác định nơi điểm đặc trƣng tƣơng tự có thể đƣợc phát hiện hoặc không. Do đó, nó là cần thiết để xây dựng bộ phát hiện đa tỷ lệ có khả năng trích chọn các đặc trƣng đặc biệt đáng tin cậy dƣới sự thay đổi tỷ lệ. 1.3.1 Phát hiện đơn tỉ lệ 1.3.1.1 Phát hiện của Moravec K thuật của Moravec đƣợc chỉ định để tìm các vùng riêng biệt trong hình ảnh có thể đƣợc sử dụng để khôi phục các khung ảnh liên tiếp. Nó đã đƣợc sử dụng nhƣ một thuật toán phát hiện góc trong đó một góc là một điểm có độ tƣơng đồng thấp. Bộ phát hiện kiểm tra từng ảnh trong mỗi ảnh nhất định để xem có góc nào không. Nó xem xét một phần ảnh cục bộ tập trung vào điểm ảnh và sau đó xác định sự tƣơng tự giữa phần ảnh và các phần ảnh chồng chéo gần đó. Độ tƣơng tự đƣợc đo bằng cách lấy tổng của bình phƣơng khác biệt (SSD) giữa các phần ảnh trung tâm và các phần ảnh khác. Dựa trên giá trị của SSD, ba trƣờng hợp cần đƣợc xem xét nhƣ sau: 8
- Nếu điểm ảnh trong vùng có cƣờng độ đồng nhất thì các phần ảnh gần đó s trông giống nhau hoặc có xuất hiện thay đổi nhỏ. - Nếu điểm ảnh nằm trên một cạnh thì các phần ảnh gần đó theo hƣớng song song với cạnh s dẫn đến một thay đổi nhỏ và các phần ảnh theo hƣớng vuông góc với cạnh s dẫn đến thay đổi lớn. - Nếu điểm ảnh nằm trên một vị trí có sự thay đổi lớn về mọi hƣớng, thì không có phần ảnh nào gần đó trông giống nhau và góc có thể đƣợc phát hiện khi thay đổi đƣợc tạo ra với bất kỳ sự dịch chuyển nào lớn. - SSD nhỏ nhất giữa phần ảnh và các láng giềng của nó (ngang, dọc và hai đƣờng chéo) đƣợc sử dụng làm độ đo cho góc. Một góc hoặc một điểm đặc trƣng đƣợc phát hiện khi SSD đạt đến cực đại cục bộ. Phát hiện Moravec đƣợc thực hiện theo những bƣớc sau: - Đầu vào: ảnh đa mức xám, cỡ cửa sổ, ngƣỡng T - Đối với mỗi điểm ảnh V từ một dịch chuyển (x, y) trong hình ảnh tính toán thay đổi cƣờng độ (u, v) theo: V (x, y) = I (x + u + a, y + v + v) − I (x + a, y + b) - Xây dựng bản đồ góc bằng cách tính toán độ đo góc C (x, y) cho mỗi điểm ảnh (x, y) C (x, y) ((x, y)) = min V u, v - Phân ngƣỡng bản đồ góc bằng việc thiết lập tất cả các giá trị C (x, y) bên dƣới ngƣỡng T s bằng 0. Loại bỏ các điểm không cực đại để tìm các điểm cực đại cục bộ. Tất cả các điểm khác 0 c n lại trong bản đồ là góc. - Để loại bỏ các điểm cực đại, ảnh đƣợc quét dọc theo hƣớng gradien của nó, sao cho vuông góc với cạnh. Bất kỳ điểm ảnh không phải là cực đại cục bộ đƣợc loại bỏ và đƣợc đặt thành 0. 1.3.1.2 Phát hiện Harris K thuật phát hiện Harris là sự kết hợp phát hiện cạnh và góc để giải quyết hạn chế của k thuật Moravec. Kết quả của k thuật này dựa trên một công nghệ đƣợc sử dụng rộng rãi đó là ma trận tƣơng quan tự động. Ma trận tƣơng 9