intTypePromotion=1
zunia.vn Tuyển sinh 2024 dành cho Gen-Z zunia.vn zunia.vn
ADSENSE
 » 
 » 

Bài giảng Tìm kiếm và trình diễn thông tin: Bài 12 - TS.Nguyễn Bá Ngọc

Chia sẻ: Codon_02 Codon_02 | Ngày: | Loại File: PDF | Số trang:37

Thêm vào BST
Báo xấu
60
lượt xem 8
download
 
  Download Vui lòng tải xuống để xem tài liệu đầy đủ

Bài giảng Tìm kiếm và trình diễn thông tin: Bài 12 sẽ giới thiệu tới các bạn bài học về cài đặt mô hình không gian vec-tơ với các vấn đề chính như: Các bước cơ bản; tính độ tương đồng cosine; lựa chọn top K theo cosine; tăng tốc thực hiện truy vấn; giản lược quá trình tính cosine: Đặt vấn đề;...

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Bài giảng Tìm kiếm và trình diễn thông tin: Bài 12 - TS.Nguyễn Bá Ngọc

  1. (IT4853) Tìm kiếm và trình diễn thông tin Cài đặt mô hình không gian vec-tơ
  2. Giảng viên  TS. Nguyễn Bá Ngọc  Địa chỉ: Viện CNTT & TT/BM HTTT/B1-603  Email: ngocnb@soict.hust.edu.vn  Website: http://is.hust.edu.vn/~ngocnb 2
  3. Nội dung chính  Các bước cơ bản  Tăng tốc thực hiện truy vấn  Lọc theo từ truy vấn  Phân cấp chỉ mục  Sắp xếp theo trọng số  Phân cụm ngẫu nhiên  Tổng quan hệ thống tìm kiếm 3
  4. Sec. 6.3.3 Tính độ tương đồng cosine 4
  5. Sec. 7.1 Lựa chọn top K theo cosine  Sử dụng cấu trúc Heap nhị phân cực đại:  Cây nhị phân, trong đó giá trị của nút gốc luôn lớn hơn hoặc bằng nút con  Nhanh hơn sắp xếp 1 .9 .3 .3 .8 .1 .1 5
  6. Nội dung chính  Các bước cơ bản  Tăng tốc thực hiện truy vấn  Lọc theo từ truy vấn  Phân cấp chỉ mục  Sắp xếp theo trọng số  Phân cụm ngẫu nhiên  Tổng quan hệ thống tìm kiếm 6
  7. Sec. 7.1.1 Giản lược quá trình tính cosine: Đặt vấn đề  Chiếm khối lượng tính toán lớn nhất trong xếp hạng  Cần phải xác định chính xác top K?  Độ tương đồng cosine chỉ thể hiện khả năng phù hợp.  Một văn bản không nằm trong top K vẫn có khả năng là văn bản phù hợp.  Có thể giảm khối lượng tính toán nếu chấp nhận tập gần với K văn bản có cosine cao nhất. 7
  8. Sec. 7.1.1 Giản lược quá trình tính cosine: Giải pháp  Xác định tập A thỏa mãn:  K < |A|
  9. Nội dung chính  Các bước cơ bản  Tăng tốc thực hiện truy vấn  Lọc theo từ truy vấn  Phân cấp chỉ mục  Sắp xếp theo trọng số  Phân cụm ngẫu nhiên  Tổng quan hệ thống tìm kiếm 9
  10. Sec. 7.1.2 Lọc theo từ truy vấn  Các phương pháp lọc cơ bản:  Chỉ xét từ truy vấn có idf cao;  Chỉ xét các văn bản chứa ít nhất một từ truy vấn;  Chỉ xét các văn bản có chứa nhiều từ truy vấn. 10
  11. Sec. 7.1.2 Từ truy vấn với idf cao  Ví dụ, với truy vấn catcher in the rye  Chỉ sử dụng catcher và rye  Giả thuyết: in và the có idf thấp và không ảnh hưởng nhiều tới xếp hạng theo VSM.  Lợi ích:  Các từ có idf thấp có danh sách thẻ định vị dài  giúp giảm thiều đáng kể khối lượng tính toán. 11
  12. Sec. 7.1.2 Chứa nhiều từ truy vấn  Văn bản bất kỳ với ít nhất một từ truy vấn đều có khả năng nằm trong danh sách top K.  Với truy vấn đa từ chỉ xếp hạng những văn bản chứa nhiều từ truy vấn  Có hiệu ứng gần với điều kiện AND trong mô hình Boolean. 12
  13. Sec. 7.1.2 Ví dụ, nếu chỉ xét văn bản có tối thiểu 3 từ truy vấn T1 3 4 8 16 32 64 128 T2 2 4 8 16 32 64 128 T3 1 2 3 5 8 13 21 34 T4 13 16 32 Chỉ xếp hạng các văn bản 8, 16 và 32. 13
  14. Nội dung chính  Các bước cơ bản  Tăng tốc thực hiện truy vấn  Lọc theo từ truy vấn  Phân cấp chỉ mục  Sắp xếp theo trọng số  Phân cụm ngẫu nhiên  Tổng quan hệ thống tìm kiếm 14
  15. Sec. 7.1.3 Danh sách hợp t  Xác định trước các danh sách r văn bản có trọng số cao nhất từ các thẻ định vị của t  Gọi đây là danh sách hợp t.  champion list, top docs for t.  Cần lựa chọn r ở thời điểm xây dựng chỉ mục  Như vậy có khả năng r < K  Khi thực hiện truy vấn ưu tiên lựa chọn top-K từ những văn bản này. 15
  16. Sec. 7.1.4 Đại lượng độc lập truy vấn  Độ tin cậy, sẽ ký hiệu là g(d)  Những tín hiệu tin cậy cơ bản:  Được công bố ở một địa chỉ có uy tín  Được trích dẫn bởi nhiều trang khác  Pagerank  v.v. 16
  17. Sec. 7.1.4 Tích hợp với VSM  Xếp hạng văn bản theo tổng các giá trị:  net-score(q, d) = g(d) + cosine(q, d)  Có thể sử dụng các phương pháp tổng hợp khác  Xác định các danh sách hợp t theo tổng trọng số g(d) + tf-idft, d 17
  18. Sec. 7.1.4 Ứng dụng trong xác định top K  Có thể sắp xếp thẻ định vị theo g(d) thay vì mã văn bản:  Thứ tự thống nhất cho tất cả các danh sách.  Nếu sắp xếp theo g(d), thì các văn bản có xếp hạng cao sẽ có xu hướng xuất hiện sớm trong quá trình duyệt danh sách 18
  19. Sec. 7.1.4 Phân cấp danh sách thẻ định vị  Chia mỗi danh sách thẻ định vị thành hai danh sách high và low:  high là danh sách được ưu tiên cao, v.d., trọng số cao  Khi thực hiện truy vấn, duyệt danh sách high trước  Nếu có nhiều hơn K văn bản, lựa chọn top K và dừng.  Ngược lại, xử lý văn bản từ danh sách low.  Tiêu trí phân cấp  tf-idf,  hoặc trọng số kết hợp: g(d) + tf-idft,d 19
  20. Nội dung chính  Các bước cơ bản  Tăng tốc thực hiện truy vấn  Lọc theo từ truy vấn  Phân cấp chỉ mục  Sắp xếp theo trọng số  Phân cụm ngẫu nhiên  Tổng quan hệ thống tìm kiếm 20
ADSENSE

CÓ THỂ BẠN MUỐN DOWNLOAD

THÔNG TIN
TRỢ GIÚP
HỖ TRỢ KHÁCH HÀNG
Theo dõi chúng tôi

Chịu trách nhiệm nội dung:

Nguyễn Công Hà - Giám đốc Công ty TNHH TÀI LIỆU TRỰC TUYẾN VI NA

LIÊN HỆ

Địa chỉ: P402, 54A Nơ Trang Long, Phường 14, Q.Bình Thạnh, TP.HCM

Hotline: 093 303 0098

Email: support@tailieu.vn

Giấy phép Mạng Xã Hội số: 670/GP-BTTTT cấp ngày 30/11/2015 Copyright © 2022-2032 TaiLieu.VN. All rights reserved.

 

Đồng bộ tài khoản
2=>2