intTypePromotion=1
zunia.vn Tuyển sinh 2024 dành cho Gen-Z zunia.vn zunia.vn
ADSENSE
 » 
 » 

LUẬN VĂN:XÂY DỰNG ỨNG DỤNG THU THẬP DỮ LIỆU WEB ĐỘNG

Chia sẻ: Rose_12 Rose_12 | Ngày: | Loại File: PDF | Số trang:46

Thêm vào BST
Báo xấu
103
lượt xem 16
download
 
  Download Vui lòng tải xuống để xem tài liệu đầy đủ

Xem xét mô hình tổng quát của một website cung cấp danh bạ về các doanh nghiệp trong nhiều lĩnh vực. Danh bạ này có thể được chia làm nhiều mục lớn (category) về các lĩnh vực lớn, trong mỗi category lại phân ra làm nhiều phân mục nhỏ (sub-category) về các lĩnh vực nhỏ, trong mỗi sub category lại phân ra làm nhiều phân mục nhỏ hơn nữa, cứ thế cho đến phân mục nhỏ nhất, phân mục nhỏ nhất sẽ chứa danh sách các liên kết đến các trang chi tiết về một doanh nghiệp nào đó nằm trong phân mục này....

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: LUẬN VĂN:XÂY DỰNG ỨNG DỤNG THU THẬP DỮ LIỆU WEB ĐỘNG

  1. BÁO CÁO TỐT NGHIỆP XÂY DỰNG ỨNG DỤNG THU THẬP DỮ LIỆU WEB ĐỘNG
  2. Luận văn tốt nghiệp Xây d ựng ứng dụng thu thập dữ liệu web tự động MỤC LỤC 4 Phân tích ........................................................................................................................ 4 Quá trình thu thập dữ liệu tổng quát ................................ ................................ ........ 4 4.1 Phân lo ại các trang Web dựa vào cách thức chuyển trang ....................................... 7 4.2 Các khả năng ứng dụng cần cung cấp ..................................................................... 9 4.3 Thiết kế ................................ ................................ ................................ ........................ 11 5 Sơ đồ Use Case..................................................................................................... 11 5.1 Kiến trúc tổng quan .............................................................................................. 12 5.2 Thành phần FRONT ................................ ................................ ............................. 14 5.3 5.3.1 Mô hình MVC .............................................................................................. 14 5.3.2 Bot Manager ................................ ................................................................. 15 Các trạng thái của Bot ................................ ................................ ............... 15 5.3.2.1 Các lệnh tạo mới, xóa, sửa thông tin Robot ................................ ............... 17 5.3.2.2 5.3.3 Statistics ....................................................................................................... 20 Thành phần CORE ............................................................................................... 20 5.4 5.4.1 Crawler ......................................................................................................... 21 5.4.2 Extractor ....................................................................................................... 23 5.4.3 Các Helper .................................................................................................... 24 Hiện thực ..................................................................................................................... 26 6 Môi trường phát triển ứng dụng ............................................................................ 26 6.1 Giao diện sử dụng của WDE ................................................................................. 26 6.2 Đặc tả dữ liệu đầu vào bằng XML (FOXROCK) .................................................. 30 6.3 Cấu trúc tổng quát của file cấu hình XML ..................................................... 30 6.3.1 Chi tiết các thành phần (element) ................................ ................................ .. 30 6.3.2 6.4 Các action............................................................................................................. 30 2
  3. Luận văn tốt nghiệp Xây d ựng ứng dụng thu thập dữ liệu web tự động Cấu trúc Database ................................ ................................................................. 30 6.5 6.6 Front..................................................................................................................... 33 6.6.1 Bot Manager ................................ ................................................................. 33 6.7 Core ..................................................................................................................... 35 6.7.1 Robot ............................................................................................................ 35 Quản lý tiến trình của Robot (Robot process) ............................................ 36 6.7.1.1 Thực hiện quy trình thu thập dữ liệu .......................................................... 38 6.7.1.2 6.7.2 Crawler ......................................................................................................... 39 6.7.2.1 Simple Crawler: ................................ ................................ ........................ 40 6.7.2.2 Advanced Crawler: ................................................................................... 42 6.7.2.2.1 wdeBrowser ................................ ................................ ........................ 42 6.7.2.2.2 Ví dụ ................................................................................................... 43 6.7.3 Extractor ....................................................................................................... 44 6.7.3.1 Expression Extractor ................................................................................. 45 6.7.3.2 XPath Extractor......................................................................................... 45 6.7.3.3 Selector Extractor...................................................................................... 46 3
  4. Luận văn tốt nghiệp Xây d ựng ứng dụng thu thập dữ liệu web tự động 4 Phân tích 4.1 Quá trình thu thập dữ liệu tổng quát Xem xét mô hình tổng quát của một website cung cấp danh bạ về các doanh nghiệp trong nhiều lĩnh vực. Danh bạ này có thể đ ược chia làm nhiều mục lớn (category) về các lĩnh vực lớn, trong mỗi category lại phân ra làm nhiều phân mục nhỏ (sub-category) về các lĩnh vực nhỏ, trong mỗi sub category lại phân ra làm nhiều phân mục nhỏ hơn nữa, cứ thế cho đến phân mục nhỏ nhất, phân mục nhỏ nhất sẽ chứa danh sách các liên kết đến các trang chi tiết về một doanh nghiệp nào đó nằm trong phân mục này. Các trang chi tiết này chính là các trang cấp thấp nhất, nội dung của trang này sẽ chứa các thông tin mà người sử dụng website quan tâm như: tên doanh nghiệp, mô tả về doanh nghiệp, địa chỉ liên lạc, số điện thoại, địa chỉ email v.v… Mô hình trang web kiểu này được gọi là mô hình Master – Detail [1], trong trường hợp tổng quát, các trang cấp N chính là trang master của trang cấp N+1 và trang cấp N+1 là trang detail của trang cấp N, và cấp N+1 được gọi là thấp hơn cấp N. Lưu ý rằng ở mỗi cấp có thể sẽ có sự phân trang (pagination – danh sách các category thu ộc cùng 1 cấp sẽ không chỉ nằm trong 1 trang mà có thể nằm trong nhiều trang). Ta gọi những trang hiển thị danh sách các category lớn nhất là những trang cấp 1, từ một trong những trang cấp 1 nếu ta chọn 1 category nào đó thì sẽ dẫn đến một trang hiển thị các sub-category thuộc catego ry đ ã chọn, những trang này ta gọi là những trang cấp 2, và cứ thế cho đến cấp thấp nhất. 4
  5. Luận văn tốt nghiệp Xây d ựng ứng dụng thu thập dữ liệu web tự động Hình 4-1. Một trang web danh bạ Giả sử một tình huống như sau: một người sử dụng tên là John muốn thu thập các thông tin về các doanh nghiệp nằm trong một lĩnh vực nào đó như tên doanh nghiệp, địa chỉ email, để phục vụ mục đích gửi thư quảng cáo. Nếu như John không có một công cụ hỗ trợ nào thì anh ta sẽ phải thực hiện công việc thu thập thông tin này một cách thủ công. Trình tự công việc John phải làm có thể sẽ như sau: 1. Từ trang chủ website, John lần lượt click vào các liên kết phân mục để vào được phân mục của lĩnh vực kinh doanh mong muốn. 2. Sau khi đ ã vào được phân mục của lĩnh vực John mong muốn, John sẽ thấy danh sách các doanh nghiệp thuộc lĩnh vực này được liệt kê ra. Anh ta phải click vào đường dẫn dẫn đến trang chi tiết của doanh nghiệp đầu tiên. 3. Ở trang thông tin chi tiết này (một trang cấp N, cấp thấp nhất), John chọn những thông tin mà anh ta mong mu ốn (ở dạng chữ) và copy các thông tin đó, lưu vào đâu đó mà John muốn, có thể là một tài liệu Microsoft Excel. 5
  6. Luận văn tốt nghiệp Xây d ựng ứng dụng thu thập dữ liệu web tự động 4. Sau khi lấy được thông tin của doanh nghiệp này, John phải trở lại trang danh sách doanh nghiệp trước đó (trang cấp N-1) và click vào đường dẫn dẫn đến tra ng chi tiết của doanh nghiệp thứ hai. John lại lặp lại công việc của b ước thứ 3. 5. Nếu số doanh nghiệp thuộc lĩnh vực này quá nhiều thì danh sách các doanh nghiệp có thể sẽ bị phân thành nhiều trang, và nếu John đã duyệt hết thông tin của các doanh nghiệp nằm trong trang đ ầu tiên, anh ta sẽ phải chuyển sang trang thứ hai của danh sách (cũng bằng một đường dẫn hoặc một nút do website cung cấp) để tiếp tục công việc của mình. Qua một trình tự khá tổng quát của công việc thu thập thông tin như trên, ta có thể rút ra một số nhận xét như sau:  Khi John click chu ột để vào các trang phân mục con, hoặc để vào trang thông tin chi tiết, công việc này chính là đ ể chuyển từ trang này sang trang khác. Tuy nhiên đối tượng trên trang web mà John có thể click chuột vào được, không phải lúc nào cũng là một hyperlink mà đó có thể là một nút bấm hoặc một đối tượng điều khiển nào đó khác. Và cũng tùy thuộc vào công nghệ sử dụng của website mà không phải bao giờ chuyển trang, URL của trang mới cũng khác URL của trang cũ. Trang web có thể sử dụng các đoạn mã client-side như JavaScript để thực hiện một HTTP POST method, postback các tham số ẩn (hidden input) để chuyển trang mà URL không bị thay đổi (công nghệ ASP.NET), hoặc cũng chính những đoạn mã JavaScript nhưng trang web chỉ load lại phần nội dung cần thiết mà không khiến web browser phải load một trang mới (công nghệ Ajax [1]). Tuy nhiên mọi công nghệ vẫn phải dựa vào một nền tảng đó là HTTP. Nhờ đặc điểm này mà việc tạo ra một công cụ giả lập được việc “click chuột” của người duyệt Web là hoàn toàn khả thi, với điều kiện chúng ta phải cung cấp cho công cụ biết cụ thể các thông tin cần thiết như: cần chuyển đến URL nào, cần GET hoặc POST các tham số gì, hoặc cần thực thi các đoạn mã JavaScript nào, v.v… Thư viện của cURL sẽ giúp chúng ta đạt đ ược một phần của các mục tiêu này.  Khi đã vào được trang chi tiết chứa những thông tin mong muốn, John chọn các thông tin mà anh ta mong muốn, copy-paste để lưu lại. Có thể thấy rằng công việc này khá dễ d àng đối với con người, tuy nhiên đ ối với máy tính lại là cả một vấn đề không nhỏ. Các trang web được viết ra để phục vụ cho đối tượng chính là con người, các nội dung thể hiện trên trang web luôn có ngữ nghĩa riêng của nó mà chỉ có con người mới có thể hiểu đ ược. Tuy nhiên, để ý một điều rằng, các website tuy rằng rất đa dạng 6
  7. Luận văn tốt nghiệp Xây d ựng ứng dụng thu thập dữ liệu web tự động vàphong phú, nhưng các trang web nằm trong cùng một website lại thường được thiết kế với một cấu trúc tương tự nhau, gọi là web template. Các web template d ựa vào cách thiết kế, sắp đặt các phần tử HTML, kết hợp với Cascading Style Sheets (CSS), đem lại một cấu trúc nhất quán cho toàn bộ website. Lấy ví dụ cụ thể đối với các trang thông tin chi tiết về doanh nghiệp nêu trên, các trang này sẽ thường có chung một template, tức là sự sắp xếp các thẻ HTML trong các trang này hầu hết là giống nhau, chỉ có phần nội dung chữ b ên trong các thẻ này là khác nhau vì nó thể hiện cho thông tin của các doanh nghiệp riêng biệt. Chính vì lý do này, khi đã có đ ược nội dung của toàn bộ trang web, chúng ta hoàn toàn có thể trích xuất đ ược phần nội dung mong muốn, giả lập cho công việc copy-paste của John, với điều kiện đ ược cung cấp vị trí chính xác của phần dữ liệu mong muốn trong template của trang web. XPath và Perl Expression có thể giúp chúng ta đạt được mục đích này. Một lưu ý nhỏ rằng: nội d ung của trang web phải ở một dạng chuẩn tựa XML để XPath có thể chỉ ra được đúng vị trí dữ liệu ta mong muốn, cũng như đ ể tránh các lỗi có thể xảy ra (chẳng hạn do người thiết kế web viết cẩu thả - b ad HTML), và dạng chuẩn đó tựa XML đó chính là XHTML. Thư viện Tidy sẽ giúp ứng dụng chuyển đổi nội dung HTML thành XHTML. Trên đây chỉ là một ví dụ tổng quát của b ài toán thu thập dữ liệu tự động. Trong thực tế sẽ có nhiều khác biệt phát sinh, ví dụ người sử dụng không chỉ mong muốn trích xuất các thông tin ở trang detail cấp thấp nhất mà anh ta còn muốn một số thông tin ở các trang cấp cao hơn, chẳng hạn thu thập thông tin các doanh nghiệp của nhiều lĩnh vực, kèm với thông tin về lĩnh vực nằm trong trang phân mục. Ứng dụng sẽ phải cung cấp khả năng trích xuất được thông tin nằm trong một hoặc nhiều trang có cấp bất kỳ, các dữ liệu trích xuất được sẽ đ ược lưu vào cơ sở dữ liệu để tiện cho việc tra cứu, sử dụng về sau. 4.2 Phân loại các trang Web dựa vào cách thức chuyển trang Theo như cách phân loại Web ở phần 2.1.4, chúng ta có thể thấy đ ược cái nhìn tổng quan về các Web tĩnh và đ ộng, cũng như có được cái nhìn chung về khả năng và giới hạn hoạt động của các Web crawler, so với thành phần crawler của ứng dụng cần xây dựng. Tuy nhiên để có thể đi vào các vấn đề chi tiết, cụ thể hơn trong việc hiện thực các kỹ thuật sử dụng bởi ứng dụng, ta cần phải phân loại lại các trang Web dựa vào cách thức chuyển trang từ trang đó sang các trang Web khác, hoặc thay đổi từ nội dung này sang nội dung khác trong cùng một trang web. Đây là vấn đề cốt lõi quyết định hoạt động của thành phần Crawler của ứng dụng 7
  8. Luận văn tốt nghiệp Xây d ựng ứng dụng thu thập dữ liệu web tự động vì thành phần này quan tâm đến việc làm thế nào để lấy đ ược nội dung của các trang Web một cách tự động. Cách thức chuyển trang này phụ thuộc vào kỹ thuật sử dụng của người lập trình web. Nhìn chung có thể phân ra làm 2 loại sau: A. Loại I: Kỹ thuật chuyển trang sử dụng các phương thức HTTP GET, HTTP POST thông thường. Các trang web loại này không sử dụng JavaScript, hoặc có sử dụng JavaScript nhưng không làm ảnh hưởng đến cách thức chuyển trang hoặc nội dung của trang web. Giả sử một trang web X có thể dẫn đến một trang web Y khác và Y là một trang cần thiết cho quá trình thu thập dữ liệu mong muốn. Trang web X sẽ được xếp vào loại I nếu như ta có thể đến đ ược trang Y (hoặc chính xác hơn là lấy được nội dung HTML của Y) chỉ nhờ vào duy nhất một yêu cầu HTTP GET hoặc HTTP POST đơn giản. Ví dụ: Y đ ược dẫn đến từ X bởi các liên kết hyperlink đơn thu ần (GET) - Y đ ược dẫn đến từ X bởi một form submit (GET hoặc POST) - Y đ ược dẫn đến từ X bởi một yêu cầu GET hoặc POST, chương trình thực thi trên - máy chủ có sử dụng đến cookie ho ặc các biến session đ ể tạo ra nội dung của Y. Với nhiều ứng dụng web xây dựng bằng ASP.NET, khi người duyệt web tác động - một điều khiển (control) trên X, một đoạn mã JavaScript được thực thi để postback một hoặc nhiều tham số chứa trong các hidden input, máy chủ nhận các tham số, xử lý và chuyển người d ùng đ ến trang Y. Kỹ thuật này về bản chất cũng là một HTTP POST đơn thu ần với các tham số nằm ẩn trong nội dung HTML. B. Loại II: kỹ thuật chuyển trang hoặc sử dụng đến các đoạn mã nhúng client-side như JavaScript, làm thay đổi cấu trúc DOM hoặc nội dung bên trong của trang web, hoặc không thể xếp vào loại I. Giả sử một trang web X có thể dẫn đến một trang web Y khác và Y là một trang cần thiết cho quá trình thu thập dữ liệu mong muốn. Trang web X sẽ đ ược xếp vào lo ại II nếu như ta không thể đến đ ược Y (hoặc chính xác hơn là lấy đ ược nội dung HTML của Y) chỉ bằng một yêu cầu HTTP GET hoặc HTTP POST. Ví dụ: Công nghệ Ajax: sử dụng JavaScript để thực hiện các yêu cầu GET hoặc POST, - tuy nhiên chỉ để lấy và nhận dữ liệu, dữ liệu nhận được từ máy chủ lại được 8
  9. Luận văn tốt nghiệp Xây d ựng ứng dụng thu thập dữ liệu web tự động JavaScript xử lý (chẳng hạn thay đổi cấu trúc DOM của trang web) để hiển thị kết quả lên cho người duyệt web. Web browser cũng không phải load trang web mới. 4.3 Các khả năng ứng dụng cần cung cấp Từ những phân tích trên, nhóm nhận thấy ứng dụng cần xây dựng đ òi hỏi phải có các khả năng chính sau đây: (tên của ứng dụng được tạm gọi là WDE – Web Data Extractor) Người sử dụng có thể cho WDE biết anh ta muốn bắt đầu quá trình thu thập dữ - liệu từ trang web nào, d ựa theo cách anh ta thực hiện thủ công. Người sử dụng có thể cho WDE biết anh ta muốn trình tự chuyển trang (chuyển - p hân trang, chuyển đến trang chi tiết cấp thấp hơn, hoặc thay đ ổi nội dung trên cùng trang web) như thế nào, d ựa theo kỹ thuật chuyển trang được hiện thực bởi trang web. Người sử dụng có thể cho WDE biết ở mỗi trang được duyệt qua, phần dữ liệu nào - trong nội dung của trang cần đ ược trích xuất. Người sử dụng có thể cho WDE biết mỗi dữ liệu trích xuất được sẽ được lưu vào - đ âu và như thế nào. Bốn khả năng trên cùng thể hiện chung cho một khả năng lớn duy nhất: ứng dụng có khả năng giúp người sử dụng mã hóa các tri thức, cung cấp các chỉ dẫn quan trọng cho ứng dụng. Khi thực hiện theo cách thủ công, người thu thập cần phải thực hiện lặp đi lặp lại các chuỗi thao tác một cách phí công sức do các trang web trong cùng một website thường d ùng chung một web template. Do đó, nếu như WDE có thể giúp người sử dụng đặc tả đ ược các chuỗi thao tác (lặp lại) này, WDE sẽ có thể trích xuất dữ liệu một cách tự động và hiệu quả. Nhóm đ ã sử dụng ngôn ngữ XML làm ngôn ngữ thể hiện các đặc tả này vì tính cấu trúc rõ ràng của XML. Tuy nhiên, một khó khăn không nhỏ đó là: người sử dụng cũng cần p hải có hiểu biết về cấu trúc của các trang web cần trích xuất thông tin cũng như cách thức các trang này liên kết với nhau. Lợi điểm của cách tiếp cận này đó là người sử dụng chỉ cần đặc tả một lần duy nhất trước khi thực thi ứng dụng. Ngoài ra theo như các phân tích ở phần trước, thực tế không chỉ có các thao tác là chuyển trang bằng hyperlink và trích xuất dữ liệu bằng copy – paste, mà còn có các tình hu ống khác như: các trang cần xác thực danh tính (authentication), các trang cần nhập liệu vào form và submit, các trang sử dụng Ajax, dữ liệu sau khi trích xuất cần được xử lý thêm v.v… WDE cũng cần phải hỗ trợ người d ùng đ ặc tả cách xử lý đối với các trường hợp này (ví 9
  10. Luận văn tốt nghiệp Xây d ựng ứng dụng thu thập dữ liệu web tự động dụ login bằng username và password gì, nhập liệu các giá trị gì vào form, d ữ liệu sau khi trích xu ất được thì cần xử lý như thế nào …). Bên cạnh đó, WDE cũng cần cho phép người sử dụng quản lý các quá trình thu thập dữ liệu của mình, hay nói cách khác là qu ản lý các Robot, mỗi Robot đ ược sử dụng cho một bài toán thu thập dữ liệu. Các Robot cũng có thể chạy song song (đa tiến trình) đ ể có thể đem lại hiệu quả công việc cao hơn. Một số các khả năng mở khác sẽ được đề cập chi tiết hơn ở các phần sau của báo cáo này. 10
  11. Luận văn tốt nghiệp Xây d ựng ứng dụng thu thập dữ liệu web tự động 5 Thiết kế 5.1 Sơ đồ Use Case Hình 5-1. Sơ đồ Use Case của ứng dụng WDE Sơ đồ trên là các tác vụ mà người sử dụng có thể thực hiên trong chương trình, chi tiết ý nghĩa các tác vụ được liệt kê ở b ảng dưới đây: STT Tên Ý nghĩa Ghi chú Khởi tạo một Robot mới Dữ liệu đầu vào của Robot 1 Add Robot không được vi phạm với cấu trúc XML của chương trình Thay đổi cấu hình của Robot Dữ liệu đầu vào của Robot 2 Edit Robot không được vi phạm với cấu trúc XML của chương trình 3 Delete Robot Xóa Robot 11
  12. Luận văn tốt nghiệp Xây d ựng ứng dụng thu thập dữ liệu web tự động Kích họat Robot chạy Toàn bộ thông tin, d ữ liệu 4 Start Robot thu thập được đều bị xóa trước khi Robot đ ược chạy. Tạm dừng Robot Có thể resume để Robot 5 Pause Robot tiếp tục quá trình thực thi. Tiếp tục chạy Robot đang 6 Resume Robot tạm dừng Hủy bỏ quá trình thực thi Nếu người d ùng 7 Cancel Robot Start của một Robot Robot trở lại thì toàn bộ thông tin, dữ liệu thu thập được trong lần chạy trước sẽ bị xóa. Xu ất dữ liệu thu thập được Các định dạng tập tin hỗ 8 Export Data ra tập tin để người dùng có trợ: SQL, CSV, XLS, thể sử dụng về sau XLSX Thay đ ổi Thay đổi đường đi có sẵn 9 connection Thống kê Robot 10 Statistic 5.2 Kiến trúc tổng quan Kiến trúc của ứng dụng ở mức cao nhất được chia làm hai thành phần chính: FRONT và CORE. FRONT là thành phần front-end của ứng dụng, còn CORE là thành phần cốt lõ i của ứng dụng (back-end), thực hiện các công việc crawl và trích xuất dữ liệu. Hai thành phần này tương tác với nhau để cùng vận hành. 12
  13. Luận văn tốt nghiệp Xây d ựng ứng dụng thu thập dữ liệu web tự động Hình 5-2. Kiến trúc tổng quan của WDE Bản thân thành phần FRONT sử dụng kiến trúc Model-View-Controller (MVC) [1] cho các module con. Các module trong FRONT như Bot Manager, Bot Statistics sẽ đảm nhiệm vai trò qu ản lý, thực thi hoặc dừng các Bot, lưu lại các thông số trong quá trình thực thi ứng dụng, thể hiện lên cho người sử dụng. Phần giao diện của ứng dụng cũng nằm trong thành phần FRONT này. 13
  14. Luận văn tốt nghiệp Xây d ựng ứng dụng thu thập dữ liệu web tự động Thành phần CORE bao gồm hai module quan trọng đó là Crawler và Extractor, đảm nhiệm vai trò chức năng chính của ứng dụng. Tuy nhiên để nâng cao khả năng mở rộng cho ứng dụng, hai module con này được gộp chung lại vào một module lớn hơn, đó là module Robot – đ ại diện cho một Bot. 5.3 Thành phần FRONT Trong FRONT có hai thành phần chính là Bot Manager và Bot Statistics. Kiến trúc chung của FRONT là mô hình MVC. Hình 5-3. Kiến trúc của thành phần FRONT 5.3.1 M ô hình MVC MVC (Model-View-Controller) là một mẫu kiến trúc phần mềm được sử dụng rất rộng rãi trong công nghệ phần mềm. MVC đem lại sự tách bạch giữa logic ứng dụng (domain logic) với dữ liệu bên dưới và giao diện thể hiện, tạo nhiều thuận lợi cho việc phát triển, kiểm thử và bảo trì do giao diện thể hiện và dữ liệu b ên dưới thường ít liên quan đ ến nhau. Model đ ại diện cho các dữ liệu b ên dưới của ứng dụng, bao đóng các trạng thái của ứng dụng (ap plication state). Các dữ liệu này thường đ ược thể hiện như các cấu trúc dữ liệu. Trong các ứng dụng lớn sử dụng mô hình MVC, các d ữ liệu trong model được quản lý, truy xu ất, thay đổi bởi Data Access Layer [1], tuy nhiên MVC không ràng buộc điều này và việc có hiện thực các data access object trong model hay không là do quyết định của người lập trình. Trong thành phần FRONT các lớp model không sử dụng các data access object. Ví d ụ trong module Bot Manager của FRONT, model là một class duy nhất có các function giúp xóa, sửa, tạo mới các bot, hoặc thực hiện các công việc liên quan đ ến database. 14
  15. Luận văn tốt nghiệp Xây d ựng ứng dụng thu thập dữ liệu web tự động View: khi model có sự thay đổi, nó sẽ thông báo đến các view liên quan để các view này có thể cập nhật. Một model có thể có nhiều view tương ứng với nó, các View này giú p thể hiện model d ưới dạng phù hợp để có thể tương tác với người sử dụng. Ví dụ trang giao diện giúp qu ản lý các Bot chính là view của Bot Manager module. Controller tạm gọi là phần “điều khiển”, đảm nhiệm việc nhận yêu cầu từ các view và chuyển thành các lời gọi hàm gọi xuống model object, sau đó controller cũng giúp chọn view đích để ho àn tất việc phản hồi của yêu cầu (response). Controller thể hiện cho cách ứng xử của ứng dụng (application behavior). Trong Bot Manager, controller là cầu nối giữa giao diện qu ản lý Bot và model object, ngoài ra cũng là cầu nối giữa người sử dụng với thành phần CORE của ứng dụng. Hình 5-4. Mô hình MVC 5.3.2 Bot Manager 5 .3.2.1 Các trạng thái của Bot Một trong những trách nhiệm của việc quản lý Bot đó là qu ản lý trạng thái của một Bot. Sơ đồ sau đây thể hiện các trạng thái của Bot và sự dịch chuyển giữa các trạng thái: 15
  16. Luận văn tốt nghiệp Xây d ựng ứng dụng thu thập dữ liệu web tự động Hình 5-5. Sơ đồ các trạng thái của Bot Có 4 trạng thái như sau:  Ready: đây là trạng thái sẵn sàng của Bot. Từ trạng thái này người sử dụng chỉ có thể có một lựa chọn ra lệnh đó là Start (khởi động chạy). Trạng thái Ready có thể đạt được bằng một trong những cách sau: Sau khi người sử dụng submit input XML, bot manager parse, xử lý input này - thành các setting và lưu vào database, lúc này bot sẵn sàng cho lần chạy đầu tiên. Bot đang chạy và người sử dụng ra lệnh dừng (S top), lúc này bot trở về trạng thái - sẵn sàng cho lần chạy lại tiếp theo. Bot đang được tạm dừng (Paused) và người sử dụng quyết định hủy sự thực thi - của bot (Cancel). Quá trình chạy của Bot gặp lỗi và người sử dụng quyết định ngừng không chạy - tiếp bằng lệnh Cancel.  Started: đây là trạng thái đang thực thi của Bot. Từ trạng thái này, người sử dụng có thể quay trở lại trạng thái Ready nếu sử dụng lệnh Stop , ho ặc chuyển đến trạng thái Paused nếu sử dụng lệnh tạm dừng Pause. Nếu có lỗi xảy ra trong quá trình thực thi, 16
  17. Luận văn tốt nghiệp Xây d ựng ứng dụng thu thập dữ liệu web tự động Bot sẽ tự động chuyển đến trạng thái Error. Trạng thái Started có thể đạt đ ược thông qua các cách sau: Người sử dụng ra lệnh start khi Bot đang ở Ready - Bot đang b ị tạm dừng (Paused) và người sử dụng quyết định chọn Resume đ ể Bot - tiếp tục quá trình thực thi. Bot đang ở trạng thái bị lỗi (Error) và người sử dụng quyết định chon Resume đ ể - Bot tiếp tục quá trình thực thi.  Paused: đây là trạng thái tạm dừng của Bot. Từ trạng thái này nếu người sử dụng hủy quá trình thực thi bằng Cancel thì Bot trở về trạng thái Ready, sẵn sàng cho một lần chạy lại khác; nếu người sử dụng cho Bot quay lại thực thi tiếp bằng Resume thì trạng thái của Bot sẽ trở lại Started. Để đến được trạng thái Paused này chỉ có một trường hợp đó là người sử dụng ra lệnh tạm dừng Bot bằng lệnh Pause.  Error: trạng thái lỗi của Bot. Trong quá trình chạy nếu Bot gặp một lỗi (nặng) thì Bot sẽ tự động chuyển đến trạng thái Error. Trạng thái này cho người sử dụng hai lựa chọn đó là Resume – quay trở lại và tiếp tục quá trình thực thi và Cancel – ngừng luôn quá trình thực thi, trở về trạng thái Ready. 5 .3.2.2 Các lệnh tạo mới, xóa, sửa thông tin Robot  Tạo mới Robot: Khi tạo mới một Robot (Bot), WDE sẽ yêu cầu người sử dụng nhập dữ liệu đặc tả đầu vào dưới dạng XML. Sau khi người sử dụng submit, đặc tả đầu vào được lưu vào cơ sở dữ liệu và trạng thái của Bot vừa tạo sẽ ở trạng thái Ready. 17
  18. Luận văn tốt nghiệp Xây d ựng ứng dụng thu thập dữ liệu web tự động Hình 5-6. Quá trình tạo mới một Bot 18
  19. Luận văn tốt nghiệp Xây d ựng ứng dụng thu thập dữ liệu web tự động  Chỉnh sửa thông tin Robot: Người sử dụng có thể thay đổi đặc tả đầu vào sau khi đ ã tạo Bot. Nếu Bot đang chạy thì ứ ng dụng sẽ tự ngừng Bot để Bot trở về trạng thái Ready. Sau khi chỉnh sửa, ứng dụng sẽ đọc lại đặc tả XML và cập nhật lại vào cơ sở dữ liệu. Hình 5-7. Quá trình chỉnh sửa một Bot  Xóa Bot: khi xóa một Bot, toàn bộ thông tin cũng như d ữ liệu trích xuất được trong các lần chạy trước của Bot trong cơ sở dữ liệu sẽ bị xóa. Hình 5-8. Quá trình xóa một Bot 19
  20. Luận văn tốt nghiệp Xây d ựng ứng dụng thu thập dữ liệu web tự động Hình 5-9. Quá trình nhận dữ liệu đặc tả đầu vào XML 5.3.3 Statistics TODO 5.4 Thành phần CORE CORE là thành phần cốt lõi của WDE, thực hiện các chức năng chính của ứng dụng đó là crawl các trang web và trích xuất dữ liệu từ chúng. Đối tượng giúp CORE thực hiện các tác vụ này và cũng là đối tượng quan trọng nhất trong CORE, đó là Robot. Có thể hiểu Robot như một đối tượng điều khiển, phối hợp hai đối tượng khác là Crawler và Extractor, đây là hai thực thể có chức năng tách bạch và cùng được Robot sử dụng để hoàn thành công việc trích 20
ADSENSE

CÓ THỂ BẠN MUỐN DOWNLOAD

LV.26: Bộ 320 Luận Văn Thạc Sĩ Y Học
320 tài liệu
1253 lượt tải
THÔNG TIN
TRỢ GIÚP
HỖ TRỢ KHÁCH HÀNG
Theo dõi chúng tôi

Chịu trách nhiệm nội dung:

Nguyễn Công Hà - Giám đốc Công ty TNHH TÀI LIỆU TRỰC TUYẾN VI NA

LIÊN HỆ

Địa chỉ: P402, 54A Nơ Trang Long, Phường 14, Q.Bình Thạnh, TP.HCM

Hotline: 093 303 0098

Email: support@tailieu.vn

Giấy phép Mạng Xã Hội số: 670/GP-BTTTT cấp ngày 30/11/2015 Copyright © 2022-2032 TaiLieu.VN. All rights reserved.

 

Đồng bộ tài khoản
3=>0