intTypePromotion=1
 » 
 » 

Luận văn:Thiết kế hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao

Chia sẻ: Nguyen Bao Ngoc | Ngày: | Loại File: PDF | Số trang:0

0
Thêm vào BST
Báo xấu
80
lượt xem 20
download

Luận văn:Thiết kế hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao

Mô tả tài liệu
  Download Vui lòng tải xuống để xem tài liệu đầy đủ

Truy tìm ảnh dựa vào nội dung là tìm kiếm thông tin trực quan. Truy tìm thông tin trực quan là chủ đề nghiên cứu mới trong lĩnh vực công nghệ thông tin. Tương tác với nội dung trực quan là cách thiết yếu nhất để truy tìm thông tin trực quan. Các yếu tố trực quan như màu sắc, vân, hình dáng đối tượng và các yếu tố không gian trực tiếp liên quan đến khía cạnh của cảm nhận nội dung ảnh, cùng với các khái niệm ở mức cao như ý nghĩa đối tượng, khung cảnh trong...

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Luận văn:Thiết kế hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao

  1. TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN KHOA CÔNG NGHỆ THÔNG TIN BỘ MÔN CÔNG NGHỆ TRI THỨC NGUYỄN BÁ CÔNG NGUYỄN HỮU ĐỨC THIẾT KẾ HỆ THỐNG TRUY TÌM ẢNH DỰA VÀO ĐẶC TRƯNG CẤP THẤP VÀ ĐẶC TRƯNG CẤP CAO LUẬN VĂN CỬ NHÂN TIN HỌC Tp. Hồ Chí Minh –Năm 2005
  2. TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN KHOA CÔNG NGHỆ THÔNG TIN BỘ MÔN CÔNG NGHỆ TRI THỨC NGUYỄN BÁ CÔNG -0112127 NGUYỄN HỮU ĐỨC -0112168 THIẾT KẾ HỆ THỐNG TRUY TÌM ẢNH DỰA VÀO ĐẶC TRƯNG CẤP THẤP VÀ ĐẶC TRƯNG CẤP CAO LUẬN VĂN CỬ NHÂN TIN HỌC Giảng viên hướng dẫn Ths – Lý Quốc Ngọc Tp. Hồ Chí Minh –Năm 2005
  3. Hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao Lời cảm ơn Đầu tiên chúng em xin chân thành gửi lời cảm ơn đến Thầy Lý Quốc Ngọc, người đã tận tình hướng dẫn, động viên và giúp đỡ chúng em trong suốt thời gian qua. Nếu không có lời chỉ dẫn, những tài liệu, những lời động viên khích lệ của Thầy thì luận văn này khó lòng hòan thiện được. Một lần nữa chúng em xin tỏ lòng biết ơn Thầy. Cũng xin gửi lời cảm ơn đến gia đình, bạn bè và những ngừơi thân đã ủng hộ động viên tinh thần chúng em để luận văn được hòan thành. Chúng em cũng xin chân thành cảm ơn các thầy cô trong khoa Công nghệ thông tin đã tận tình chỉ bảo và giúp đỡ chúng em trong suốt thời gian chúng em học đại học và trong suốt quá trình chúng em làm luận văn. Tp. Hồ Chí Minh, tháng 7 năm 2005 Nguyễn Bá Công – Nguyễn Hữu Đức Nguyễn Bá Công – Nguyễn Hữu Đức i
  4. Hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao Lời mở đầu Cùng với sự mở rộng của multimedia, với khối lượng hình ảnh và phim lưu trữ ngày càng lớn, cùng với sự phát triển vượt bậc của các thiết bị Điện Tử, Tin Học và Viễn Thông đã thu hút ngày càng nhiều những chuyên gia đi vào nghiên cứu những công cụ cung cấp cho việc lấy thông tin dữ liệu ảnh từ nội dung của chúng. Hiện nay trên thế giới việc truy tìm ảnh đã bước sang thời kỳ mới, thời kỳ truy tìm ảnh dựa vào nội dung .Việc truy tìm dữ liệu hình ảnh dựa vào nội dung ảnh ngày càng phát triển mạnh mẽ, nó khắc phục khuyết điểm của việc truy tìm ảnh dựa vào văn bản kí tự. Dữ liệu đầu vào được mô phỏng gần gũi với con người hơn, kết quả ảnh trả về mang ngữ nghĩa gần đúng với ảnh truy vấn hơn. Nằm trong xu hướng đó, trong luận văn này chúng em trình bày một mô hình truy tìm thông tin hình ảnh dựa vào nội dung thông qua đặc trưng cấp thấp và đặc trưng cấp cao của ảnh. Nó có thể được sử dụng bởi các tổ chức sở hữu tư liệu ảnh và video, thư viện số, ảnh vệ tinh, ảnh y học, giáo dục từ xa,… Nguyễn Bá Công – Nguyễn Hữu Đức ii
  5. Hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... Tp. Hồ Chí Minh, ngày tháng 07 năm 2005 ThS.Lý Quốc Ngọc Nguyễn Bá Công – Nguyễn Hữu Đức iii
  6. Hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... .................................................................................................................................... Tp. Hồ Chí Minh, ngày tháng 07 năm 2005 Nguyễn Bá Công – Nguyễn Hữu Đức iv
  7. Hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao Mục lục Lời cảm ơn ................................................................................................................ i Lời mở đầu ............................................................................................................... ii NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN.................................................... iii NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN ....................................................... iv Mục lục .................................................................................................................... v Mục lục các hình ..................................................................................................... ix Thuật ngữ chuyên ngành....................................................................................... xiv Chương 1 Tổng quan ............................................................................................... 1 1.1. Hướng truy tìm ảnh dựa vào nội dung.......................................................... 2 1.2. Hệ thống tìm kiếm ảnh thế hệ đầu tiên (dựa vào văn bản) ........................... 3 1.3. Hệ thống tìm kiếm thông tin trực quan thế hệ mới....................................... 5 1.3.1 Các hệ thống tìm kiếm ảnh tĩnh .............................................................. 5 1.3.2 Các hệ thống tìm kiếm phim ảnh (video) ............................................... 6 1.3.3 Các hệ thống tìm kiếm ảnh 3 chiều và video.......................................... 6 1.3.4 Các hệ thống tìm kiếm trên Internet ....................................................... 6 1.4. Xu hướng phát triển từ đặc trưng cấp thấp đến đặc trưng cấp cao và tiến dần đến ngữ nghĩa....................................................................................................... 8 1.5. Một số hệ thống truy tìm ảnh dựa vào nội dung hiện nay .......................... 10 1.6. Sự hình thành “H ệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao” .................................................................................................... 11 1.7. Hướng tiếp cận của bài toán........................................................................ 13 1.7.1 Xây dựng cơ sở dữ liệu ......................................................................... 13 1.7.2 Xây dựng hệ thống tìm kiếm ................................................................ 14 1.7.2.1 Tìm kiếm dựa vào sự phân bố mang tính tòan cục ........................ 14 1.7.2.1.1 Đặc trưng lược đồ màu ........................................................... 14 1.7.2.1.2 Đặc trưng vector liên kết màu (Color Coherence Vector)...... 14 1.7.2.1.3 Đặc trưng tự tương quan màu (AutoCorrelogram)................. 15 1.7.2.1.4 Đặc trưng lược đồ hệ số góc (Edge Direction Histogram) ..... 16 1.7.2.1.5 Đặc trưng Vector liên kết hệ số góc (Edge Direction Coherence Vector) ................................................................................................... 16 1.7.2.2 Tìm kiếm dựa vào sự phân bố mang tính cục bộ ........................... 17 1.7.2.3 Tìm kiếm theo vùng, đối tượng ..................................................... 18 1.7.2.4 Tìm kiếm theo ngữ nghĩa ............................................................... 20 Chương 2 CÁC KHÁI NIỆM CƠ BẢN ................................................................ 21 2.1. Màu sắc ....................................................................................................... 22 2.1.1 Khái niệm về màu sắc ........................................................................... 22 2.1.2 Một số đặc tính vật lý đặc biệt về màu sắc ........................................... 22 2.1.3 Các hệ màu thông dụng......................................................................... 24 2.1.3.1 Hệ màu chuẩn RGB: ...................................................................... 24 2.1.3.2 Hệ màu CMY................................................................................. 25 2.1.3.3 Hệ màu YIQ ................................................................................... 26 Nguyễn Bá Công – Nguyễn Hữu Đức v
  8. Hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao 2.1.3.4 Hệ màu L*a*b:............................................................................... 27 2.1.3.5 Hệ màu HSI: Hue-Saturation-Intensity.......................................... 27 2.1.4 Các đặc trưng về màu sắc ..................................................................... 30 2.1.4.1 Lược đồ màu (Histogram).............................................................. 30 2.1.4.2 Vector liên kết màu (Color Coherence Vector) ............................. 32 2.1.4.3 Đặc trưng tự tương quan màu (AutoCorrelogram) ........................ 34 2.2. Vân (textture) .............................................................................................. 38 2.2.1 Khái niệm.............................................................................................. 38 2.2.2 Một số loại vân tiêu biểu....................................................................... 39 2.2.3 Ma trận đồng hiện (Co-occurrence Matrix) .......................................... 39 2.2.4 Phép biến đổi Wavelet .......................................................................... 41 2.3. Hình dáng.................................................................................................... 43 2.3.1 Khái niệm về biên cạnh......................................................................... 43 2.3.2 Các phương pháp phát hiện biên........................................................... 44 2.3.2.1 Phát hiện biên trực tiếp .................................................................. 44 2.3.2.2 Phương pháp phát hiện biên gián tiếp............................................ 48 2.3.3 Các đặc trưng về biên cạnh ................................................................... 49 2.3.3.1 Lược đồ hệ số góc (Edge Direction Histogram) ............................ 49 2.3.3.2 Vector liên kết hệ số góc (Edge Direction Coherence Vector): .... 51 2.3.4 Vùng và các đặc trưng về vùng............................................................. 52 2.3.4.1 Đặc trưng màu................................................................................ 53 2.3.4.2 Đặc trưng vân................................................................................. 53 2.3.4.3 Đặc trưng hình dáng....................................................................... 53 2.4. Độ đo........................................................................................................... 55 2.4.1 Khái niệm.............................................................................................. 55 2.4.2 Một số độ đo thông dụng ...................................................................... 56 2.4.2.1 Khoảng cách Minkowsky: ............................................................. 56 2.4.2.2 Độ đo khoảng cách min-max: ........................................................ 56 2.4.2.3 Khoảng cách Euclide L2:............................................................... 56 2.4.2.4 Khoảng cách city-block L1:........................................................... 56 2.4.3 Các độ đo được sử dụng trong bài tóan ................................................ 57 2.4.3.1 Độ đo tương tự giữa 2 bin màu trong hệ màu HSI ........................ 57 2.4.3.2 Độ đo dùng cho lược đồ màu......................................................... 57 2.4.3.3 Độ đo dùng cho đặc trưng liên kết màu (Color Coherence Vector) .................................................................................................................... 61 2.4.3.4 Độ đo dùng cho đặc trưng tự tương quan màu(AutoCorrelogram) 61 2.4.3.5 Độ đo dùng cho đặc trưng lược đồ hệ số góc (Edge Direction Histogram) ................................................................................................. 62 2.4.3.6 Độ đo dùng cho đặc trưng liên kết hệ số góc (Edge Direction Coherence Vector) ..................................................................................... 62 Chương 3 TRUY TÌM ẢNH DỰA VÀO ĐẶC TRƯNG CẤP THẤP ................. 64 3.1. Các đặc trưng được sử dụng để truy tìm ảnh .............................................. 65 3.1.1 Đặc trưng về màu sắc............................................................................ 65 Nguyễn Bá Công – Nguyễn Hữu Đức vi
  9. Hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao 3.1.1.1 Lược đồ màu (histogram) .............................................................. 65 3.1.1.2 Vector liên kết màu (Color Coherence Vector) ............................. 65 3.1.1.3 Đặc trưng tự tương quan màu (AutoCorrelogram) ........................ 66 3.1.2 Đặc trưng về hình dáng......................................................................... 67 3.1.2.1 Lược đồ hệ số góc (Edge Direction Histogram) ............................ 67 3.1.2.2 Vector liên kết hệ số góc (Edge Direction Coherence Vector)...... 67 3.2. Giải thuật phân lớp phân cấp (Hierarchical Agglomerative Clustering Algorithm- HAC) và áp dụng giải thuật trong phân lớp ảnh theo các đặc trưng của ảnh ............................................................................................................... 68 3.2.1 Tổng quan về giải thuật......................................................................... 68 3.2.2 Giải thuật............................................................................................... 68 3.2.3 Áp dụng giải thuật phân lớp phân cấp vào việc xây dựng cây phân cấp theo các đặc trưng của ảnh............................................................................. 70 3.3. Tạo chỉ mục truy tìm ảnh ............................................................................ 78 3.4. Các chiến lược truy tìm ảnh ........................................................................ 79 3.4.1 Truy tìm ảnh xét đến tính phân bố toàn cục ......................................... 79 3.4.1.1 Tìm kiếm theo màu sắc .................................................................. 79 3.4.1.1.1 Lược đồ màu ........................................................................... 79 3.4.1.1.2 Vector liên kết màu................................................................. 80 3.4.1.1.3 Đặc trưng tương quan màu (Correlogram): ............................ 82 3.4.1.2 Tìm kiếm theo hình dáng ............................................................... 82 3.4.1.2.1 Lược đồ hệ số góc ................................................................... 83 3.4.1.2.2 Vector liên kết hệ số góc......................................................... 83 3.4.1.3 Tìm kiếm kết hợp........................................................................... 84 3.4.1.3.1 Tìm kiếm kết hợp các đặc trưng với nhau dùng toán tử BOOL ................................................................................................................ 85 3.4.1.3.2 Tìm kiếm kết hợp các đặc trưng với nhau dùng trọng số ....... 86 3.4.2 Truy tìm ảnh xét đến tính phân bố cục bộ (yếu tố không gian)............ 87 3.4.2.1 Tìm kiếm xét đến tính cục bộ với việc chia lưới tìm kiếm............ 87 3.4.2.2 Tìm kiếm xét đến tính cục bộ với việc vẽ ...................................... 90 Chương 4 TRUY TÌM ẢNH DỰA VÀO ĐẶC TRƯNG CẤP CAO ................... 93 4.1. Bài toán phân đoạn ảnh............................................................................... 94 4.1.1 Chọn đặc trưng để phân đoạn ảnh......................................................... 94 4.1.2 Phân đoạn ảnh ....................................................................................... 96 4.1.3 Các ví dụ về bài toán phân đoạn ảnh .................................................... 98 4.2. Vùng và đặc trưng vùng.............................................................................. 99 4.3. Áp dụng giải thuật phân lớp phân cấp vào bài toán phân lớp vùng.......... 101 4.4. Tạo chỉ mục tìm kiếm ............................................................................... 105 4.5. Các chiến lược truy tìm theo đặc trưng cấp cao ....................................... 105 4.5.1 Giai đoạn nhập dữ liệu ........................................................................ 106 4.5.2 Giai đoạn truy tìm ............................................................................... 110 4.5.3 Giai đoạn sắp hạng (RANKING)........................................................ 110 Chương 5 TRUY TÌM ẢNH DỰA VÀO NGỮ NGHĨA .................................... 112 Nguyễn Bá Công – Nguyễn Hữu Đức vii
  10. Hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao Chương 6 CÀI ĐẶT VÀ THỬ NGHIỆM ........................................................... 117 6.1. Cài đặt ....................................................................................................... 118 6.1.1 Chương trình ....................................................................................... 118 6.1.2 Các đặc trưng sử dụng cho chương trình ............................................ 118 6.1.3 Cơ sở dữ liệu ....................................................................................... 119 6.1.3.1 Cơ sở dữ liệu truy tìm theo đặc trưng cấp thấp............................ 119 6.1.3.2 Cơ sở dữ liệu truy tìm theo đặc trưng cấp cao............................. 119 6.1.4 Chức năng truy tìm ảnh....................................................................... 119 6.2. Thử nghiệm ............................................................................................... 120 6.2.1 Tìm kiếm xét đến tính toàn cục........................................................... 120 6.2.1.1 Tìm kiếm theo lược đồ màu......................................................... 120 6.2.1.2 Tìm kiếm theo lược đồ hệ số góc................................................. 121 6.2.1.3 Tìm kiếm theo vector liên kết màu .............................................. 123 6.2.1.4 Tìm kiếm theo vector liên kết hệ số góc...................................... 124 6.2.1.5 Tìm kiếm theo AutoCorrelogram................................................. 125 6.2.1.6 Tìm kiếm ảnh bằng việc kết hợp các đặc trưng với nhau theo tóan tử AND..................................................................................................... 126 6.2.1.7 Tìm kiếm ảnh bằng cách kết hợp các đặc trưng dùng trọng số ... 128 6.2.2 Tìm kiếm dựa trên tính phân bố cục bộ .............................................. 129 6.2.2.1 Tìm kiếm bằng cách chia lưới...................................................... 129 6.2.2.2 Tìm kiếm bằng cách vẽ vùng....................................................... 133 6.2.3 Tìm kiếm dựa theo vùng, đối tượng của ảnh có sẵn ........................... 135 6.2.4 Tìm kiếm dựa theo vùng, đối tượng khi mà người dùng chưa có ý niệm rõ ràng về tấm ảnh........................................................................................ 141 6.2.5 Tìm kiếm dựa vào ngữ nghĩa .............................................................. 144 6.3. Kết quả thực nghiệm của hệ thống ........................................................... 145 6.3.1 Thực nghiệm việc tìm kiếm theo các đặc trưng cấp thấp ................... 146 6.3.2 Thực nghiệm việc tìm kiếm theo đặc trưng cấp cao........................... 147 Chương 7 TỔNG KẾT VÀ HƯỚNG PHÁT TRIỂN .......................................... 148 7.1. Tổng kết .................................................................................................... 149 7.2. Hướng phát triển ....................................................................................... 149 7.3. Kết luận ..................................................................................................... 149 TÀI LIỆU THAM KHẢO ................................................................................... 151 Nguyễn Bá Công – Nguyễn Hữu Đức viii
  11. Hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao Mục lục các hình Hình 1: Mô hình của hệ thống tìm kiếm thế hệ đầu tiên ......................................... 4 Hình 2: Mô hình của hệ thống tìm kiếm thế hệ mới ................................................ 8 Hình 3: Hình gốc 1................................................................................................... 9 Hình 4: Ảnh giống lược đồ màu với ảnh gốc........................................................... 9 Hình 5: Minh họa các vùng của ảnh ........................................................................ 9 Hình 6: Minh họa các vùng của ảnh có gán ngữ nghĩa.......................................... 10 Hình 7:Mô hình “Hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao”.................................................................................................................. 12 Hình 8: minh họa 2 ảnh có lược đồ màu giống nhau 89%..................................... 14 Hình 9: minh họa 2 ảnh có vector liên kết màu giống nhau 75%.......................... 15 Hình 10:minh họa 2 ảnh có đặc trưng Correlogram giống nhau 75% ................... 15 Hình 11: minh họa 2 ảnh có lược đồ hệ số góc giống nhau 88% .......................... 16 Hình 12: minh họa 2 ảnh có Vector liên kết hệ số góc giống nhau 78%............... 17 Hình 13: Ảnh minh họa chia lưới 1x3 ................................................................... 17 Hình 14: Ảnh minh họa vẽ vùng tìm kiếm ............................................................ 18 Hình 15: Ảnh minh họa tìm kiếm theo vùng ......................................................... 19 Hình 16: Minh họa tìm kiếm theo vùng khi người dùng có một vài ý niệm về ảnh truy vấn .................................................................................................................. 19 Hình 17: Minh họa việc áp dụng mô hình học vào các vùng của ảnh để tìm kiếm theo ngữ nghĩa........................................................................................................ 20 Hình 18: Hệ màu RGB........................................................................................... 25 Hình 19: Hệ màu CMY.......................................................................................... 26 Hình 20:Hệ màu HSI.............................................................................................. 28 Hình 21: Không gian màu HSI .............................................................................. 29 Hình 22: Minh họa sự thay đổi cường độ sáng trong hệ màu HSI ........................ 29 Hình 23: Ảnh trong hệ màu RGB .......................................................................... 31 Hình 24: Ảnh trong hệ màu HSI ............................................................................ 31 Hình 25: Lược đồ màu của ảnh sau khi lượng hoá ................................................ 32 Hình 26: Ảnh trong hệ màu RGB .......................................................................... 33 Hình 27: Ảnh trong hệ màu HSI ............................................................................ 33 Hình 28: Màu đỏ thể hiện liên kết màu trong ảnh ................................................. 33 Hình 29: Lược đồ vector liên kết màu của ảnh sau khi được lượng hoá ............... 34 Hình 30: Các ví dụ về vân...................................................................................... 39 Hình 31: Decompostion để tạo ra các frequency bands bởi biến đổi Wavelet ...... 42 Hình 32: Đường bao của ảnh ................................................................................. 43 Hình 33: Gradient của ảnh theo hướng θ ............................................................... 45 Hình 34: Mô hình 8 hướng..................................................................................... 45 Hình 35: Ảnh minh họa mảnh biên........................................................................ 47 Hình 36: Ảnh sau khi dùng phương pháp Gradient phát hiện biên ....................... 47 Hình 37: Ảnh sau khi được làm mảnh biên ........................................................... 48 Hình 38: Minh họa nguyên lý Bellman.................................................................. 49 Nguyễn Bá Công – Nguyễn Hữu Đức ix
  12. Hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao Hình 39: Ảnh minh họa lược đồ hệ số góc ............................................................ 50 Hình 40: Đường biên của ảnh ................................................................................ 50 Hình 41: Lược đồ hệ số góc của ảnh...................................................................... 50 Hình 42: Ảnh minh họa vector liên kết hệ số góc.................................................. 52 Hình 43: Ảnh minh họa sự liên kết giữa các biên cạnh ......................................... 52 Hình 44: Lược đồ vector liên kết hệ số góc của ảnh.............................................. 52 Hình 45: Minh họa vùng của ảnh........................................................................... 55 Hình 46: minh họa 2 lược đồ màu giống nhau ...................................................... 58 Hình 47: Lược đồ màu thể hiện phần giao của 2 lược đồ màu trên....................... 59 Hình 48: Hình minh họa độ đo Euclide ................................................................. 59 Hình 49: Lược đồ màu thể hiện độ khác nhau giữa 2 lược đồ màu trên ............... 60 Hình 50:Cây phân cấp cho việc phân lớp cơ sở dữ liệu ........................................ 71 Hình 51: Cơ sở dữ liệu minh họa thuật toán HAC vào việc phân lớp ảnh theo đặc trưng lược đồ màu .................................................................................................. 72 Hình 52:Cây phân cấp theo lược đồ màu............................................................... 73 Hình 53: Nhóm các ảnh có cùng đặc trưng màu.................................................... 73 Hình 54:Cơ sở dữ liệu phân lớp ảnh theo đặc trưng liên kết màu ......................... 73 Hình 55: Cây phân cấp theo đặc trưng liên kết màu.............................................. 74 Hình 56: Nhóm các ảnh có cùng đặc trưng liên kết màu....................................... 74 Hình 57: Cơ sở dữ liệu minh họa thuật toán HAC đồi với đặc trưng Correlogram ................................................................................................................................ 75 Hình 58: Cây phân cấp theo đặc trưng Correlogram ............................................ 75 Hình 59: Nhóm các ảnh có cùng đặc trưng Correlogram ...................................... 75 Hình 60: Cơ sở dữ liệu minh họa thuật toán HAC đối với đặc trưng lược đồ hệ số góc .......................................................................................................................... 76 Hình 61: Cây phân cấp theo đặc trưng lược đồ hệ số góc ..................................... 76 Hình 62: Nhóm các ảnh có cùng đặc trưng lược đồ hệ số góc .............................. 76 Hình 63: Cơ sở dữ liệu ảnh minh họa thuật toán HAC để phân lớp theo đặc trưng vector liên kết hệ số góc......................................................................................... 77 Hình 64: Cây phân cấp theo đặc trưng liên kết hệ số góc...................................... 77 Hình 65: Nhóm các ảnh có cùng đặc trưng liên kết hệ số góc............................... 77 Hình 66: Cây phân cấp ban đầu ............................................................................. 78 Hình 67: Cây chỉ mục ............................................................................................ 79 Hình 68: Minh họa 2 ảnh có lược đồ màu giống nhau .......................................... 80 Hình 69: Minh họa 2 ảnh giống nhau về lược đồ màu nhưng khác nhau về ngữ nghĩa....................................................................................................................... 80 Hình 70: Minh họa 2 ảnh có lược đồ màu giống nhau nhưng khác nhau về ngữ nghĩa....................................................................................................................... 81 Hình 71: Hình minh họa vector liên kết màu khắc phục tính không duy nhất của lược đồ màu............................................................................................................ 81 Hình 72: Hình minh họa 2 ảnh có đặc trưng tương quan màu giống nhau 81.2% 82 Hình 73: minh hoạ 2 ảnh có lược đồ hệ số góc giống nhau................................... 83 Hình 74:minh họa 2 ảnh có lược đồ hệ số góc giống nhau 80% ........................... 84 Nguyễn Bá Công – Nguyễn Hữu Đức x
  13. Hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao Hình 75: Hình minh họa 2 ảnh có vector liên kết hệ số góc khác nhau ................ 84 Hình 76: Hìmh minh họa 2 ảnh giống nhau về lược đồ màu và lược đồ hệ số góc85 Hình 77:Hình minh họa tìm kiếm chia lưới-1........................................................ 87 Hình 78: Minh họa ảnh được chia lưới 3x3 để tìm kiếm-1 ................................... 88 Hình 79: Hình minh họa tìm kiếm chia lưới-2....................................................... 88 Hình 80: Minh hoạ chia lưới 1x2 để tìm kiếm-2 ................................................... 89 Hình 81: Ảnh minh họa tìm kiếm chia lưới-3........................................................ 89 Hình 82: Minh hoạc chia lưới 1x3 cho việc tìm kiếm trên ảnh-3.......................... 89 Hình 83: Ảnh minh họa tìm kiếm vẽ ..................................................................... 90 Hình 84: Chia lưới 3x3 trên ảnh tìm kiếm ............................................................ 90 Hình 85: Minh họa vẽ hình trên ảnh tìm kiếm...................................................... 91 Hình 86: Hỉnh minh họa vẽ trên ảnh tìm kiếm ...................................................... 91 Hình 87: Hình minh hoa vẽ tìm kiếm .................................................................... 92 Hình 88: Hình minh họa vẽ tìm kiếm .................................................................... 92 Hình 89: Hình minh họa cây phân cấp................................................................... 97 Hình 90: Minh họa áp dụng giải thuật HAC vào phân đoạn ảnh-1 ....................... 98 Hình 91: Minh họa áp dụng giải thuật HAC vào phân đoạn ảnh-2 ....................... 99 Hình 92: Minh hoạ dùng thuật toán HAC phân đoạn ảnh-3.................................. 99 Hình 93: Minh họa vùng của ảnh......................................................................... 100 Hình 94: Cơ sở dữ liệu dùng để phân vùng ảnh .................................................. 102 Hình 95: Các vùng của tập ảnh được tách ra bằng giải thuật HAC..................... 103 Hình 96: Cây phân cấp của tập vùng trên ............................................................ 103 Hình 97: Nhóm các vùng giống nhau .................................................................. 103 Hình 98: Cơ sở dữ liệu ảnh phân vùng ................................................................ 104 Hình 99: Các vùng của tập dữ liệu ảnh sau khi được tách bằng giải thuật HAC 104 Hình 100: Cây phân cấp của tập vùng trên .......................................................... 104 Hình 101: Nhóm các vùng giống nhau ................................................................ 105 Hình 102: ảnh minh họa tìm kiếm theo vùng ...................................................... 107 Hình 103: Hình minh họa tìm kiếm theo vùng, đối tượng................................... 108 Hình 104: Câu truy vấn “Bầu trời” AND “ Cỏ” AND “ Hoa màu trắng” ........... 109 Hình 105: Câu truy vấn “Hoa màu vàng” AND NOT “ Lá màu xanh” .............. 109 Hình 106: Các vùng đã được gán nhãn................................................................ 114 Hình 107: Kết quả câu truy vấn “Hoa màu tím”.................................................. 114 Hình 108: Kết quả câu truy vấn “ Hoa mai”........................................................ 115 Hình 109: Kết quả câu truy vấn “ Cỏ” và “ Nhà”............................................... 115 hình 110: Kết quả câu truy vấn “ Sư tử” AND “ Bầu trời” ................................. 116 Hình 111: Mô hình hệ thống................................................................................ 118 Hình 112: Ảnh truy vấn theo lược đồ màu .......................................................... 120 Hình 113: Tập kết quả tìm kiếm theo lược đồ màu ............................................. 121 Hình 114: Kết quả tìm kiếm theo lược đồ màu với độ giống nhau 70% ............. 121 Hình 115:Ảnh truy vấn theo lược đồ hệ số góc ................................................... 121 Hình 116: Tập kết quả tìm kiếm theo lược đồ hệ số góc ..................................... 122 Hình 117: Tập kết quả tìm theo lược đồ hệ số góc với độ giống nhau 89% ....... 122 Nguyễn Bá Công – Nguyễn Hữu Đức xi
  14. Hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao Hình 118: Ảnh truy tìm theo đặc trưng vector liên kết màu................................ 123 Hình 119:Tập kết quả tìm theo đặc trưng vector liên kết màu ............................ 123 Hình 120: Kết quả tìm kiếm với độ giống nhau 70% .......................................... 123 Hình 121: Ảnh truy vấn theo đặc trưng vector liên kết hệ số góc ....................... 124 Hình 122: Tập kết quả tìm theo đặc trưng liên kết hệ số góc .............................. 124 Hình 123: Tập kết quả tìm theo đặc trưng liên kết hệ số góc với độ giống nhau 84% ...................................................................................................................... 125 Hình 124: Ảnh truy vấn ....................................................................................... 125 Hình 125: Tập kết quả thu được .......................................................................... 125 Hình 126: Tập kết quả tìm được với độ giống nhau 70%.................................... 126 Hình 127: Ảnh truy vấn ....................................................................................... 126 Hình 128: Tập kết quả tìm được .......................................................................... 126 Hình 129: Tập kết quả tìm được .......................................................................... 127 Hình 130: Tập kết quả tìm được .......................................................................... 127 Hình 131: Ảnh truy vấn ....................................................................................... 127 Hình 132: Tập kết quả tìm được .......................................................................... 128 Hình 133: Ảnh truy vấn ....................................................................................... 128 Hình 134: Tập kết quả tìm được .......................................................................... 128 Hình 135: Ảnh truy vấn ....................................................................................... 129 Hình 136: Tập kết quả tìm được .......................................................................... 129 Hình 137: Ảnh truy vấn tìm kiếm dựa trên tính phân bố cục bộ ......................... 129 Hình 138: Ảnh minh họa chia lưới và vùng được chọn....................................... 130 Hình 139: Tập ảnh kết quả tìm được ................................................................... 130 Hình 140: Ảnh truy vấn ....................................................................................... 130 Hình 141: Ảnh minh hoạ cá vùng đựơc chọ ........................................................ 131 Hình 142: Tập ảnh tìm được ................................................................................ 131 Hình 143: Ảnh truy vấn ....................................................................................... 131 Hình 144: Ảnh sau khi chia lưới .......................................................................... 132 Hình 145: Tập ảnh kết quả tìm được ................................................................... 132 Hình 146: Tập ảnh kết quả tìm được ................................................................... 133 Hình 147: Ảnh truy vấn ...................................................................................... 133 Hình 148: Minh họa vẽ tìm kiếm......................................................................... 134 Hình 149: Tập ảnh tìm được ................................................................................ 134 Hình 150: Tập ảnh tìm được ................................................................................ 135 Hình 151: Ảnh truy vấn theo vùng ...................................................................... 135 Hình 152: Các vùng của ảnh sau khi phân đoạn.................................................. 135 Hình 153: Tập kết quả tìm theo vùng hoa màu tím ............................................. 136 Hình 154: Các vùng của ảnh truy vấn.................................................................. 137 Hình 155: Vùng tìm kiếm .................................................................................... 137 Hình 156: Tập kết quả tìm được theo vùng sư tử ............................................... 138 Hình 157: Minh họa tìm kiếm theo toán tử BOOL.............................................. 138 Hình 158: Tập kết quả thu được .......................................................................... 139 Hình 159: Ảnh sau khi phân đoạn........................................................................ 139 Nguyễn Bá Công – Nguyễn Hữu Đức xii
  15. Hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao Hình 160: Minh họa câu truy vấn ........................................................................ 140 Hình 161: Kết quả tìm được................................................................................. 140 Hình 162: Câu truy vấn........................................................................................ 141 Hình 163: Kết quả thực hiện câu truy vấn trên.................................................... 141 Hình 164: Hình minh họa tìm kiếm theo vùng .................................................... 142 Hình 165: Kết quả tìm được................................................................................. 142 Hình 166: Minh họa câu truy vấn theo vùng ....................................................... 143 Hình 167: Tập Kết quả tìm được ......................................................................... 143 Hình 168:Tập kết quả tìm kiếm với từ khoá” hổ con”......................................... 144 Hình 169: Ảnh minh hoạ tìm kiếm theo ngữ nghĩa, từ khoá “Chúa sơn lâm” .... 145 Hình 170: Kết quả tìm kiếm với từ khoá “ Chúa sơn lâm” với độ giống nhau 64% .............................................................................................................................. 145 Nguyễn Bá Công – Nguyễn Hữu Đức xiii
  16. Hệ thống truy tìm ảnh dựa vào đặc trưng cấp thấp và đặc trưng cấp cao Thuật ngữ chuyên ngành Color coherence vector: vectơ liên kết màu Edge direction coherence vector: vectơ liên kết hệ số góc Edge direction histogram: lược đồ hệ số góc Hierarchical Agglomerative Clustering Algorithm (HAC): thuật toán phân lớp phân cấp Histogram: lược đồ màu Texture: vân Nguyễn Bá Công – Nguyễn Hữu Đức xiv
  17. Chương 1: Tổng quan Chương 1 Tổng quan Nguyễn Bá Công – Nguyễn Hữu Đức 1
  18. Chương 1: Tổng quan 1.1. Hướng truy tìm ảnh dựa vào nội dung Truy tìm ảnh dựa vào nội dung là tìm kiếm thông tin trực quan. Truy tìm thông tin trực quan là chủ đề nghiên cứu mới trong lĩnh vực công nghệ thông tin. Tương tác với nội dung trực quan là cách thiết yếu nhất để truy tìm thông tin trực quan. Các yếu tố trực quan như màu sắc, vân, hình dáng đối tượng và các yếu tố không gian trực tiếp liên quan đến khía cạnh của cảm nhận nội dung ảnh, cùng với các khái niệm ở mức cao như ý nghĩa đối tượng, khung cảnh trong ảnh, được dùng như là manh mối cho tìm kiếm hình ảnh với nội dung tương tự từ cơ sở dữ liệu. Truy tìm ảnh dựa vào nội dung đòi hỏi phải có sự đóng góp từ các lĩnh vực nghiên cứu khác là rất lớn và đặt ra nhiều thử thách trong nghiên cứu đối với các nhà khoa học và kỹ sư. Các lĩnh vực nghiên cứu khác nhau, được phát triển một các độc lập, đóng góp rất lớn cho chủ đề nghiên cứu mới mẽ này. Truy tìm thông tin, mô hình hóa và thể hiện dữ liệu trực quan, phân tích và xử lý phim/ảnh, nhận dạng và thị giác máy tính (computer vision), tổ chức cơ sở dữ liệu đa phương tiện (multimedia), lập chỉ mục đa chiều, mô hình hóa tâm lí hành vi người dùng, hệ tương tác người-máy và trực quan hóa dữ liệu, là các lĩnh vực nghiên cứu quan trọng nhất đóng góp cho truy tìm thông tin trực quan. Các yếu tố mô tả nội dung có liên quan đến các đặc trưng cảm nhận như màu sắc, vân, hình dạng, cấu trúc, mối liên hệ về không gian và chuyển động. Các yếu tố cơ sở nguồn gốc của màu sắc như đối tượng, vai trò, sự kiện, hay các thông tin có liên hệ với màu sắc như cảm giác, cảm tưởng hay ý nghĩa của hình ảnh. Do vậy, phân tích ảnh, nhận dạng và thị giác máy tính đóng vai trò cơ bản trong các hệ thống truy tìm thông tin trực quan. Nó cho phép tự động trích chọn hầu hết các thông tin cảm nhận, thông qua việc phân tích phân bố điểm ảnh và rút ra các độ đo nội dung trực quan. Nguyễn Bá Công – Nguyễn Hữu Đức 2
  19. Chương 1: Tổng quan 1.2. Hệ thống tìm kiếm ảnh thế hệ đầu tiên (dựa vào văn bản) Thế hệ đầu tiên của hệ thống tìm kiếm ảnh dựa vào nội dung cho phép truy cập trực tiếp đến ảnh thông qua thuộc tính chuỗi. Kho ngữ liệu của hệ thống trong thế hệ đầu tiên dựa trên chuỗi, sơ đồ trình bày, mô hình quan hệ, cấu trúc khung. Dữ liệu mô tả và phụ thuộc nội dung được thể hiện thông qua từ khoá hay nguyên bản. Từ khoá rất thích hợp cho việc xác định: Các thực thể quan trọng trong hình ảnh (như đối tượng, con người…), các khái niệm hay thuật ngữ phụ thuộc ngữ cảnh (như: mắt, miệng, gương mặt…) hay khung cảnh thể hiện (cảnh bãi biển, cảnh núi non, cảnh hoàng hôn…). Nguyên bản là các mô tả bao quát hơn, thường được viết bởi các chuyên gia, tóm tắt vào từ ngữ những gì thể hiện được và ý nghĩa của ảnh. Truy tìm thông tin dựa trên các hệ thống tìm kiếm truyền thống làm việc trên văn bản dùng ngôn ngữ truy vấn như SQL hay tìm kiếm toàn văn bản. Do hệ thống tìm kiếm này là dựa vào từ khóa được chú thích bằng văn bản do đó có những hạn chế sau: Việc tạo từ khóa cho một số lượng lớn ảnh tốn thời gian, từ khóa thì ngắn không thể mô tả hết các nét cảm nhận nổi bật của các đặc trưng trực quan và không duy nhất, văn bản không thích hợp cho việc xây dựng độ đo tương tự về giác quan, những mô tả bằng văn bản chỉ phản ánh quan điểm của người chú thích chứ không phải người dùng cuối tương tác với hệ thống nhưng việc nhận thức là một vấn đề chủ quan của từng người. Do những hạn chế trên đã dẫn đến sự ra đời của hệ thống tìm kiếm ảnh dựa vào nội dung. Thế hệ mới của hệ thống tìm kiếm ảnh dựa vào nội dung hỗ trợ đầy đủ việc lấy thông tin dựa vào nội dung thuộc về thị giác. Chúng cho phép phân tích đối tượng, tự động rút trích đặc trưng. Những tìm kiếm đặc thù cho những hệ thống dạng này là “ tìm tất cả những hình ảnh có hình con chó “ hay “ tìm kiếm tất cả những tấm ảnh về biển ở Việt Nam”. Nguyễn Bá Công – Nguyễn Hữu Đức 3
  20. Chương 1: Tổng quan Những khuyết điểm mà tìm kiếm theo văn bản không thực hiện được khi người dùng muốn tìm kiếm những tấm ảnh có nội dung “ảnh có hoa màu xanh xanh” hay “hoa màu vàng có nhụy màu tím ” việc tìm kiếm theo văn bản không thực hiện được vì có rất nhiều loại hoa màu xanh cũng như hoa màu vàng nhụy màu tím. Vả lại từ khóa là do quan điểm của người chú thích chứ không phải của người dùng. Mô hình hệ thống tìm kiếm thế hệ đầu tiên: Hình 1: Mô hình của hệ thống tìm kiếm thế hệ đầu tiên Nguyễn Bá Công – Nguyễn Hữu Đức 4
ADSENSE
ADSENSE

CÓ THỂ BẠN MUỐN DOWNLOAD

LV.13: Bộ Luận Văn Tốt Nghiệp Chuyên Ngành Điện - Điện Tử - Viễn Thông
111 tài liệu
1622 lượt tải
THÔNG TIN
TRỢ GIÚP
HỖ TRỢ KHÁCH HÀNG
Theo dõi chúng tôi

Chịu trách nhiệm nội dung:

Nguyễn Công Hà - Giám đốc Công ty TNHH TÀI LIỆU TRỰC TUYẾN VI NA

LIÊN HỆ

Địa chỉ: P402, 54A Nơ Trang Long, Phường 14, Q.Bình Thạnh, TP.HCM

Hotline:0933030098

Email: support@tailieu.vn

Giấy phép Mạng Xã Hội số: 670/GP-BTTTT cấp ngày 30/11/2015 Copyright © 2009-2019 TaiLieu.VN. All rights reserved.

 

Đồng bộ tài khoản
2=>2