Tìm hiểu về trình thu thập web và xây dựng trang web tổng hợp thông tin 2010
I
TRƯỜNG ………………….
KHOA……………………….
-----[\[\----
Báo cáo tốt nghiệp
Đề tài:
TÌM HIỂU VỀ TRÌNH THU THẬP WEB VÀ XÂY DỰNG TRANG WEB VÀ
XÂY DỰNG TRANG TỔNG TỔNG HỢP THÔNG TIN
Tìm hiểu về trình thu thập web và xây dựng trang web tổng hợp thông tin 2010
II
LỜI CẢM ƠN
Tôi xin bày tỏ lòng biết ơn sâu sắc của mình đến thầy Hoàng Xuân Huấn, thuộc
bộ môn Khoa học máy tính, khoa Công nghệ thông tin, trường Đại học Công Nghệ,
ĐHQGHN. Trong quá trình thực hiện khóa luận, thầy đã nhiệt tình giúp đỡ, giải đáp
các thắc mắc tạo động lực giúp tôi hoàn thành khóa luận tốt nghiệp này.
Tôi cũng xin được bày tỏ lời cảm ơn tới các thầy cô trong bộ môn nói riêng và
trong khoa Công nghệ thông tin nói chung đã nhiệt tình giảng dạy để giúp chúng tôi có
được như ngày hôm nay.
Cuối cùng là lời cảm ơn tới gia đình, bạn bè những người luôn sát cánh bên tôi
những lúc khó khăn, luôn ủng hộ giúp đỡ để tôi hoàn thành khóa luận này.
Tìm hiểu về trình thu thập web và xây dựng trang web tổng hợp thông tin 2010
III
TÓM TẮT NỘI DUNG
Do nhu cầu thu thập thông tin của con người ngày càng tăng, lượng thông tin trên
internet ngày càng phong phú nên vấn đề tổng hợp thông tin ngày càng trở nên bức
thiết. Với một lượng dữ liệu lớn việc thu thập bằng tay tốn rất nhiều công sức, và
không đạt hiệu quả cao, chính vì thế cần một công nghệ có thể tổng hợp thông tin một
cách tự động và trình thu thập web đã ra đời.
Đề tài khóa luận đặt ra vấn đề tìm hiểu về trình thu thập thông tin trên web và
bước đầu sẽ xây dựng một ứng dụng có khả năng tổng hợp thông tin tự động từ trang
báo điện tử lớn là trang Dân trí (http://dantri.com.vn). Ứng dụng được viết bằng ngôn
ngữ lập trình PHP tương tác với cơ sở dữ liệu mySQL và được xây dựng dựa trên các
tiêu chí: tốc độ thu thập nhanh, cơ sở dữ liệu gọn nhẹ, đảm bảo tính toàn vẹn của tài
liệu gốc.
Tìm hiểu về trình thu thập web và xây dựng trang web tổng hợp thông tin 2010
IV
MỤC LỤC
MỞ ĐẦU............................................................................................................1
CHƯƠNG 1. TÌM HIỂU VỀ TRÌNH THU THẬP WEB.................................3
1.1. GIỚI THIỆU VỀ TRÌNH THU THẬP WEB..............................................3
1.2. CÁCH XÂY DỰNG MỘT HẠ TẦNG THU THẬP...................................4
1.2.1. Frontier .................................................................................................6
1.2.2. Lược sử và kho lưu trữ trang.................................................................7
1.2.3. Cách lấy trang........................................................................................8
1.2.3.1. Tiêu chuẩn loại trừ robot ................................................................9
1.2.4. Bóc tách trang......................................................................................10
1.2.4.1. Tiêu chuẩn trích xuất URL ...........................................................11
1.2.4.2. Mô hình thẻ HTML dạng cây.......................................................12
1.2.5. Trình thu thập đa luồng .......................................................................13
1.3. CÁC CHIẾN LƯỢC THU THẬP DỮ LIỆU ............................................15
1.3.1. Chiến lược thu thập dữ liệu theo chiều sâu.........................................16
1.3.2. Chiến lược thu thập dữ liệu theo chiều rộng .......................................16
1.3.3. Chiến lược thu thập dữ liệu theo ngẫu nhiên ......................................17
1.3.4. Chiến lược thu thập dữ liệu theo lựa chọn tốt nhất ngây thơ..............17
1.4. ĐÁNH GIÁ CỦA TRÌNH THU THẬP.....................................................19
1.4.1. Độ quan trọng của trang web ..............................................................20
1.4.2. Phân tích tổng quát..............................................................................21
1.4.2.1. Thước đo độ chính xác .................................................................22
1.4.2.2. Thước đo độ hoàn chỉnh...............................................................22
CHƯƠNG 2. XÂY DỰNG WEBSITE TỔNG HỢP THÔNG TIN ...............25
2.1. CÁC KIẾN THỨC NỀN TẢNG ...............................................................25
Tìm hiểu về trình thu thập web và xây dựng trang web tổng hợp thông tin 2010
V
2.1.1. Mạng toàn cầu .....................................................................................25
2.1.2. Giao thức truyền tải siêu văn bản........................................................28
2.1.3. Ngôn ngữ đánh dấu siêu văn bản ........................................................28
2.2. CÁC CÔNG NGHỆ LIÊN QUAN ...........................................................30
2.2.1. Ngôn ngữ lập trình PHP......................................................................30
2.2.1.1. Biểu thức chính quy......................................................................31
2.2.1.2. Các hàm xử lý chuỗi.....................................................................34
2.2.1.2.1. Tìm kiếm chuỗi trong chuỗi...................................................34
2.2.1.2.2. Tìm vị trí của chuỗi con.........................................................34
2.2.1.2.3. Hàm so sánh chuỗi.................................................................34
2.2.1.2.4. Kiểm tra chiều dài của chuỗi .................................................35
2.2.2. MySQL................................................................................................35
2.2.3. Một số công nghệ và tiện ích khác......................................................37
2.2.3.1. Add-ons firebug của firefox .........................................................37
2.2.3.2. Ajax...............................................................................................37
2.3. PHÂN TÍCH ..............................................................................................38
2.3.1. Cấu trúc bài viết trong trang báo điện tử.............................................38
2.3.2. Các cách thu thập bài viết ...................................................................42
2.3.2.1. Cách làm truyền thống..................................................................42
2.3.2.1.1. Các bước thực hiện ................................................................42
2.3.2.1.2. Nhận xét.................................................................................44
2.3.2.2. Cách làm mới................................................................................45
2.3.2.2.1. Các bước thực hiện ................................................................45
2.3.2.2.2. Nhận xét.................................................................................46
2.4. THIẾT KẾ..................................................................................................47
2.4.1. Cấu trúc cơ sở dữ liệu..........................................................................47