Bài giảng Cơ sở dữ liệu đa phương tiện: Chương 4 (P1) - Nguyễn Thị Oanh
lượt xem 6
download
Bài giảng "Cơ sở dữ liệu đa phương tiện - Chương 4: Tìm kiếm dữ liệu đa phương tiện" cung cấp cho người học các kiến thức: Giới thiệu chung, biểu diễn văn bản, đánh chỉ mục (chỉ số hóa), tìm kiếm văn bản, phản hồi thích đáng,... Mời các bạn cùng tham khảo.
Bình luận(0) Đăng nhập để gửi bình luận!
Nội dung Text: Bài giảng Cơ sở dữ liệu đa phương tiện: Chương 4 (P1) - Nguyễn Thị Oanh
- Chương 4: Tìm kiếm DL ĐPT P1: Dữ liệu văn bản Nguyễn Thị Oanh Bộ môn HTTT – Viện CNTT & TT oanhnt@soict.hut.edu.vn 1
- Nội dung Giới thiệu chung Biểu diễn văn bản – Chất lượng từ – Trọng số từ Đánh chỉ mục (chỉ số hóa) (indexing) Tìm kiếm văn bản (retrieving) Phản hồi thích đáng (relevance feedback) Đánh giá hiệu năng 2
- Văn bản Dữ liệu văn bản: – 1 tài liệu văn bản là chuỗi các từ Giây phút cận kề cái chết ở Nhật Vẫn biết động đất là chuyện cơm bữa ở Tokyo vì một năm có khoảng 200 trận. Vẫn biết rằng khi động đất lớn thì phải thật bình tĩnh và việc đầu tiên là phải chui xuống gầm bàn chứ đừng có chạy. Vậy mà! ... – Từ đồng nghĩa: coi – xem (hát), coi – giữ - trông (nhà) – Từ đa nghĩa: mũi (người), mũi (thuyền, dao, mác) – Thứ tự các từ: đi ra – ra đi Tập văn bản: tập các chuỗi 3
- Tìm kiếm thông tin văn bản ? Cho: 1 (tập) tài liệu văn bản (từ, câu, đoạn, văn bản, …) Mục tiêu: tìm các tài liệu liên quan đến tài liệu truy vấn (tài liệu tương tự) 4
- Biểu diễn và tìm kiếm 1 tài liệu văn bản là chuỗi các từ, đó có thể: – tiêu đề – tóm tắt – toàn bộ nội dung tài liệu CSDL văn bản: tập các chuỗi được chỉ số hóa một cách hợp lý Tìm kiếm: tìm các văn bản trong CSDL có chứa các từ trong văn bản truy vấn Bài toán khớp xâu (string-matching, substring-finding) 5
- Ví dụ Document String ID d1 Jose Orojuelo’s Operations in Bosnia d2 The Medellin Cartel’s Financial Organization d3 The Cali Cartel’s Distribution Network d4 Banking Operation and Money Laundering d5 Profile of Hector Gomez d6 Connection between Terrorism and Asian Dope Operations d7 Hector Gomez: How He Gave Agents the Slip in Cali d8 Sex, Drugs, and Videotape d9 The Iranian Connection d10 Boating and Drugs: Slips Owned by the Cali Cartel 6
- Vấn đề khi khớp xâu VD truy vấn 1: tìm các tài liệu liên quan đến chủ đề « money laundering » – Tìm được d4, không có d2 VD truy vấn 2: tìm các tài liệu liên quan đến vấn đề « drugs » – Tìm được d8,d10, không có d6 dù « dope » ~~ « drugs » – d2, d3 bị bỏ qua mặc dù cả hai đều là sự phối hợp hành động chung chống ma tuý (drug cartel) 7
- Vấn đề khi khớp xâu Xử lý vấn đề ngữ nghĩa: – Từ đồng nghĩa: buy/purchase – Từ đa nghĩa: present : a gift, the current moment, to show or display Xử lý trật tự từ 8
- Kiến trúc tổng thể hệ thống IR 9
- Biểu diễn văn bản 10
- Biểu diễn văn bản Mỗi tài liệu text được biểu diễn bởi một tập các từ (bag of words) – VD: “Lord of the rings” {“the”, “Lord”, “rings”, “of”} – Mỗi từ được coi là một chiều trong không gian từ điển – Số chiều = kích thước của từ điển Một số kỹ thuật xử lý: – Stop list – Stemming – Frequency table 11
- Biểu diễn văn bản 12
- Biểu diễn văn bản (…) Stop list: các từ không giúp phân biệt các tài liệu trong 1 tập các tài liệu được xem xét – Chung: « the », « a », « of », « at », « are », « for », « with », … – Tùy thuộc vào bản chất của CSDL: Tài liệu kỹ thuật về Computer Science : « computer » thuộc stop list Tài liệu về ngành nông, lâm nghiệp : « computer » KHÔNG thuộc stop list 13
- Biểu diễn văn bản (…) Stemming: nhóm các biến thể của một từ gốc thành 1 nhóm, biểu diễn bởi 1 từ – « retrieved », « retrieval », « retrieving », « retrieval » « retriev » – « drug », « drugs », « drugged » « drug » – .. Thesaurus: nhóm các từ gần nghĩa sử dụng từ điển từ đồng nghĩa hoặc có liên quan giữa chúng: – « learning », « school work », « reading », « study » « study » 14
- Biểu diễn văn bản (…) Frequency table (bảng tần số): hỗ trợ xác định mức độ quan trọng khác nhau của các từ trong văn bản khi thực hiện tìm kiếm – D: tập N văn bản – T: tập M từ trong các tài liệu trong D – Frequency table: MxN tf(i, j) (term frequency): số lần xuất hiện các từ ti trong văn bản dj 15
- Biểu diễn văn bản (…) Term/document d1 d2 d3 d4 d5 d6 t1 615 390 10 10 18 65 t2 15 4 76 217 91 816 t3 2 8 815 142 765 1 t4 312 511 677 11 711 2 t5 45 33 516 64 491 59 – Mỗi văn bản dj được biểu diễn bởi 1 vector chỉ tần suất xuất hiện của các từ trong văn bản đó : (tf1,j, tf2,j, … ,tfM,j) – Thường được chuẩn hóa về [0, 1]: để tính đến ảnh hưởng của độ dài của văn bản 16
- Term/Doc. d1 d2 d3 d4 d5 d6 t1 0,62 0,41 0,00 0,02 0,01 0,07 t2 0,02 0,00 0,04 0,49 0,04 0,87 t3 0,00 0,01 0,39 0,32 0,37 0,00 t4 0,32 0,54 0,32 0,02 0,34 0,00 t5 0,05 0,03 0,25 0,14 0,24 0,06 1,00 0,80 d1 Frequency 0,60 d2 d3 0,40 d4 0,20 d5 d6 0,00 t1 t2 t3 t4 t5 – (d1, d2), (d3, d5): giống nhau 17 – (d3, d6): rất khác nhau
- Biểu diễn văn bản (…) idf (inverse document frequency): xác định độ quan trọng của mỗi từ trong tập dữ liệu văn bản đang xem xét idfi log(N / dfi ) N: tổng số văn bản trong tập DL dfi : số văn bản có chứa từ ti – Trọng số tf.idf của từ ti trong văn bản dj là: wi,j= tf(i,j) x idf(i) Mỗi văn bản dj được biểu diễn bởi 1 vector tf.idf: 18 (w1,j, w2,j, … , wM,j)
- Đánh chỉ mục (indexing) 19
- Indexing Flat-files không hiệu quả Inverted files: hiệu quả, dễ cài đặt, thông dụng trong hệ thống tìm kiếm văn bản Signature files (PAT trees, graphes) 20
CÓ THỂ BẠN MUỐN DOWNLOAD
-
Bài giảng Cơ sở dữ liệu đất đai
49 p | 633 | 79
-
Bài giảng Cơ sở dữ liệu - Nguyễn Quỳnh Chi
189 p | 267 | 51
-
Bài giảng Cơ sở dữ liệu: Chương 1 - Tổng quan về cơ sở dữ liệu
21 p | 181 | 31
-
Bài giảng Cơ sở dữ liệu: Bài 1 - ĐH CNTT
15 p | 607 | 30
-
Bài giảng Cơ sở dữ liệu - Bài 2: Mô hình cơ sở dữ liệu quan hệ
43 p | 221 | 18
-
Bài giảng Cơ sở dữ liệu: Chương 2 - ThS. Hoàng Mạnh Hà
68 p | 151 | 12
-
Bài giảng Cơ sở dữ liệu (Database): Chương 4 - TS. Đặng Thị Thu Hiền
82 p | 39 | 8
-
Bài giảng Cơ sở dữ liệu - Chương 4: Chuẩn hóa cơ sở dữ liệu
30 p | 134 | 8
-
Bài giảng Cơ sở dữ liệu nâng cao - Chương 2: Toàn vẹn và cơ sở dữ liệu active
50 p | 81 | 8
-
Bài giảng Cơ sở dữ liệu (Database): Chương 1 - TS. Đặng Thị Thu Hiền
53 p | 47 | 7
-
Bài giảng Cơ sở dữ liệu: Phần 1 – Nguyễn Hải Châu
54 p | 122 | 6
-
Bài giảng Cơ sở dữ liệu: Mở đầu - ThS. Lương Thị Ngọc Khánh
11 p | 169 | 6
-
Bài giảng Cơ sở dữ liệu nâng cao: Bài 1.1 - PGS.TS. Đỗ Phúc
25 p | 90 | 6
-
Bài giảng Cơ sở dữ liệu: Chương 1 - Th.S Thiều Quang Trung
40 p | 93 | 5
-
Bài giảng Cơ sở dữ liệu - Bài 1: Thiết kế Cơ sở dữ liệu với Management Studio
10 p | 62 | 5
-
Bài giảng Cơ sở dữ liệu nâng cao: Bài 2 - PGS.TS. Đỗ Phúc
55 p | 66 | 4
-
Bài giảng Cơ sở dữ liệu: Chương 1 - GV. Đỗ Thị Kim Thành
21 p | 102 | 4
-
Bài giảng Cơ sở dữ liệu: Chương 2 - Trần Thị Dung
39 p | 0 | 0
Chịu trách nhiệm nội dung:
Nguyễn Công Hà - Giám đốc Công ty TNHH TÀI LIỆU TRỰC TUYẾN VI NA
LIÊN HỆ
Địa chỉ: P402, 54A Nơ Trang Long, Phường 14, Q.Bình Thạnh, TP.HCM
Hotline: 093 303 0098
Email: support@tailieu.vn