Luận văn tốt nghiệp "Xây dựng hệ thống tìm kiếm thông tin tiếng Việt dựa trên các chỉ mục là các từ ghép"

Chia sẻ: Ngoc Hanh | Ngày: | Loại File: PDF | Số trang:118

0
294
lượt xem
135
download

Luận văn tốt nghiệp "Xây dựng hệ thống tìm kiếm thông tin tiếng Việt dựa trên các chỉ mục là các từ ghép"

Mô tả tài liệu
  Download Vui lòng tải xuống để xem tài liệu đầy đủ

Trong thời đại bùng nổ thông tin như hiện nay, thông tin được lưu trữ trên máy tính ngày càng nhiều do đó việc tìm kiếm thông tin chính xác là nhu cầu thiết yếu đối với mọi người trong mọi lĩnh vực. Internet hiện nay đã trở thành một kho tư liệu khổng lồ mà việc tìm kiếm thông tin trên kho tư liệu này cần phải được hỗ trợ bởi các công cụ tìm kiếm (search engine) tốt. Các hệ thống tìm kiếm thông tin thông dụng như Google, yahoo search đã đáp ứng được phần nào nhu...

Chủ đề:
Lưu

Nội dung Text: Luận văn tốt nghiệp "Xây dựng hệ thống tìm kiếm thông tin tiếng Việt dựa trên các chỉ mục là các từ ghép"

  1. LUẬN VĂN TỐT NGHIỆP XÂY DỰNG HỆ THỐNG TÌM KIẾM THÔNG TIN TIẾNG VIỆT DỰA TRÊN CÁC CHỈ MỤC LÀ CÁC TỪ GHÉP Giáo viên hướng dẫn : Sinh viên thực hiện :
  2. Xây d ng h th ng tìm ki m thông tin ti ng Vi t d a trên các ch m c là các t ghép IC M N Chúng em xin g i l i c m n chân thành nh t n th y H B o Qu c, ng i ã n tình h ng d n, giúp chúng em trong su t th i gian th c hi n lu n v n này. Chúng con c m n Cha, M và gia ình, nh ng ng i ã d y d , khuy n khích, ng viên chúng con trong nh ng lúc khó kh n, t o m i u ki n cho chúng con nghiên c u h c t p. Chúng em c m n các th y, cô trong khoa Công Ngh Thông Tin ã dìu d t, gi ng d y chúng em, giúp chúng em có nh ng ki n th c quý báu trong nh ng n m h c qua. m n ch Lê Thúy Ng c và các b n ã t n tình óng góp ý ki n cho lu n v n a chúng tôi. c dù r t c g ng nh ng lu n v n c a chúng em không tránh kh i sai sót, mong nh n c s thông c m và góp ý c a th y cô và các b n. Tháng 7 n m 2005 Sinh viên Nguy n Th Thanh Hà – Nguy n Trung Hi u Nguy n Th Thanh Hà - 0112215 1 Nguy n Trung Hi u - 0112216
  3. Xây d ng h th ng tìm ki m thông tin ti ng Vi t d a trên các ch m c là các t ghép NH N XÉT C A GIÁO VIÊN H NG D N …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… ………………………………………………………………………………….... …………………………………………………………………………………… Ngày…… tháng……n m 2005 Ký tên Nguy n Th Thanh Hà - 0112215 2 Nguy n Trung Hi u - 0112216
  4. Xây d ng h th ng tìm ki m thông tin ti ng Vi t d a trên các ch m c là các t ghép NH N XÉT C A GIÁO VIÊN PH N BI N …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… …………………………………………………………………………………… ………………………………………………………………………………….... …………………………………………………………………………………… Ngày…… tháng……n m 2005 Ký tên Nguy n Th Thanh Hà - 0112215 3 Nguy n Trung Hi u - 0112216
  5. Xây d ng h th ng tìm ki m thông tin ti ng Vi t d a trên các ch m c là các t ghép CL C DANH SÁCH CÁC B NG...................................................................................8 DANH SÁCH CÁC HÌNH V ..............................................................................8 Ph n 1 : TÌM HI U LÝ THUY T ..........................................................................11 Ch ng 1: T NG QUAN V TÌM KI M THÔNG TIN ...................................11 1. Gi i thi u v tìm ki m thông tin ......................................................................11 1.1 Khái ni m v tìm ki m thông tin ................................................................11 1.2 M t s v n trong vi c tìm ki m thông tin: .............................................11 2. H tìm ki m thông tin – IRS ............................................................................12 3. Các thành ph n c a m t h tìm ki m thông tin [1.1] ........................................13 4. So sánh IRS v i các h th ng thông tin khác ...................................................14 4.1 H qu n tr c s d li u (DBMS)..............................................................15 4.2 H qu n lý thông tin (IMS) ........................................................................15 4.3 H h tr ra quy t nh (DSS)....................................................................16 4.4 H tr l i câu h i (QAS) ............................................................................16 4.5 So sánh IRS v i các h th ng thông tin khác..............................................17 Ch ng 2: XÂY D NG M T H TH NG TÌM KI M THÔNG TIN ............18 1. Ki n trúc c a h tìm ki m thông tin. [1.3]........................................................18 2. M t s mô hình xây d ng m t h tìm ki m thông tin [1.2]..........................19 2.1 Mô hình không gian vector ........................................................................19 2.2 Tìm ki m Boolean .....................................................................................21 2.3 Tìm ki m Boolean m r ng .......................................................................22 2.4 M r ng trong vi c thêm vào tr ng s c a câu h i .....................................23 2.4.1 M r ng cho s t tu ý ......................................................................23 2.4.2 Thêm toán t t ng ..........................................................................24 2.5 Mô hình xác su t........................................................................................24 2.6 ánh giá chung v các mô hình .................................................................25 3. Các b c xây d ng m t h tìm ki m thông tin. [3.2]...................................25 3.1 Tách t t ng cho t p các tài li u............................................................25 3.2 L p ch m c cho tài li u .............................................................................25 3.3 Tìm ki m ...................................................................................................26 3.4 S p x p các tài li u tr v (Ranking) ..........................................................26 4. Nh ng khó kh n trong vi c xây d ng m t h th ng tìm ki m thông tin ti ng Vi t .....................................................................................................................26 4.1 Khó kh n trong vi c tách t ti ng Vi t .......................................................27 4.2 V n b ng mã ti ng Vi t .........................................................................27 Nguy n Th Thanh Hà - 0112215 4 Nguy n Trung Hi u - 0112216
  6. Xây d ng h th ng tìm ki m thông tin ti ng Vi t d a trên các ch m c là các t ghép 4.3 Các khó kh n khác .....................................................................................27 Ch ng 3: TÁCH T T NG........................................................................29 1. Tách t trong Ti ng Anh .................................................................................29 2. Tách t trong Ti ng Vi t .................................................................................29 2.1 M t s c m chính v t ti ng Vi t [2.2]..............................................29 2.1.1 Ti ng...................................................................................................29 2.1.2 T .......................................................................................................30 2.2 Tách t t ng ti ng Vi t .........................................................................30 3. Các ph ng pháp tách t ti ng Vi t.................................................................30 3.1 fnTBL (Fast Transformation-based learning) [3.1].....................................30 3.1.1 Mô t ...................................................................................................30 3.1.2 Áp d ng tách t ti ng Vi t...................................................................31 3.2 Longest Matching [1.4]..............................................................................37 3.3 K t h p gi a fnTBL và Longest Matching.................................................37 Ch ng 4: L P CH M C ..................................................................................38 1. Khái quát v h th ng l p ch m c...................................................................38 2. Ph ng pháp l p ch m c [1.1] ........................................................................38 2.1 Xác nh các t ch m c.............................................................................38 2.2 Các ph ng pháp tính tr ng s c a t ........................................................40 2.2.1 T n s tài li u ngh ch o....................................................................40 2.2.2 nhi u tín hi u (The Signal – Noise Ratio) ......................................40 2.2.3 Giá tr phân bi t t (The Term Discrimination Value) .........................42 2.3 L p ch m c t ng cho tài li u ti ng Anh................................................43 3. L p ch m c cho tài li u ti ng Vi t ..................................................................45 4. T p tin ngh ch o tài li u ...............................................................................46 4.1 Phân bi t gi a t p tin ngh ch o và t p tin tr c ti p ..................................46 4.2 T i sao s d ng t p tin ngh ch o l p ch m c .....................................47 Ph n 2 : PHÂN TÍCH VÀ THI T K ....................................................................49 Ch ng 5: PHÂN TÍCH.......................................................................................49 1. S UseCase h th ng ..................................................................................49 2. S L p........................................................................................................51 2.1 S các l p th hi n................................................................................51 2.2 S các l p x lý ....................................................................................52 3. Tách t ............................................................................................................53 3.1 S UseCase...........................................................................................53 3.2 S Tu n t ............................................................................................53 Nguy n Th Thanh Hà - 0112215 5 Nguy n Trung Hi u - 0112216
  7. Xây d ng h th ng tìm ki m thông tin ti ng Vi t d a trên các ch m c là các t ghép 3.3 S C ng tác...........................................................................................54 3.4 S L p ..................................................................................................54 4. L p ch m c.....................................................................................................55 4.1 S UseCase...........................................................................................55 4.2 S Tu n t ............................................................................................56 4.2.1 T o m i ch m c .................................................................................56 4.2.2 C p nh t ch m c.................................................................................57 4.3 S C ng tác...........................................................................................58 4.3.1 T o m i ch m c .................................................................................58 4.3.2 C p nh t ch m c.................................................................................59 4.4 S L p ..................................................................................................60 5. Tìm ki m.........................................................................................................61 5.1 S UseCase...........................................................................................61 5.2 S Tu n t ............................................................................................61 5.3 S C ng tác...........................................................................................62 5.4 S L p ..................................................................................................63 Ch ng 6: THI T K VÀ CÀI T ..................................................................64 1. C u trúc l u tr d li u....................................................................................64 1.1 T p tin l u n i dung tài li u .......................................................................64 1.1.1 C u trúc DTD / XSD ...........................................................................64 1.1.2 Tài li u XML ......................................................................................66 1.2 T p tin sau khi tách t tài li u ....................................................................67 1.2.1 C u trúc DTD / XSD ...........................................................................67 1.2.2 Tài li u XML ......................................................................................68 1.3 T p tin ch a các t không th hi n n i dung c a v n b n (stop list) ...........70 1.3.1 C u trúc DTD / XSD ...........................................................................70 1.3.2 Tài li u XML ......................................................................................71 1.4 T p tin ch m c o ( Inverted ). ................................................................71 1.4.1 C u trúc DTD / XSD ...........................................................................71 1.4.2 Tài li u XML ......................................................................................73 1.5 T p tin sau khi tách t câu h i....................................................................74 1.5.1 C u trúc DTD / XSD ...........................................................................74 1.5.2 Tài li u XML ......................................................................................75 1.6 T p tin ch a các t c a câu h i sau khi lo i b các t trong danh sách StopList ...........................................................................................................76 1.6.1 C u trúc DTD / XSD ...........................................................................76 1.6.2 Tài li u XML ......................................................................................77 1.7 T p tin ch a các t trong câu h i và các tài li u liên quan..........................77 1.7.1 C u trúc DTD / XSD ...........................................................................77 Nguy n Th Thanh Hà - 0112215 6 Nguy n Trung Hi u - 0112216
  8. Xây d ng h th ng tìm ki m thông tin ti ng Vi t d a trên các ch m c là các t ghép 1.7.2 Tài li u XML ......................................................................................79 1.8 T p tin ch a t ng quan gi a câu h i và các tài li u .............................80 1.8.1 C u trúc DTD / XSD ...........................................................................80 1.8.2 Tài li u XML ......................................................................................82 2. Chi ti t các l p i t ng ................................................................................83 2.1 Các l p trong quá trình tách t ...................................................................83 2.1.1 S các l p......................................................................................83 2.1.2 L p tách t ghép..................................................................................83 2.1.3 L p tách t ..........................................................................................86 2.1.4 L p giao di n tách t ...........................................................................89 2.2 Các l p trong quá trình l p ch m c ...........................................................91 2.2.1 S các l p.......................................................................................91 2.2.2 L p l p ch m c...................................................................................92 2.2.3 L p giao di n t o m i ch m c ............................................................94 2.2.4 L p giao di n c p nh t ch m c ...........................................................96 2.3 Các l p trong quá trình tìm ki m................................................................98 2.3.1 S các l p.......................................................................................98 2.3.2 L p tìm ki m.......................................................................................99 2.3.3 L p giao di n tìm ki m ..................................................................... 105 3. M t s màn hình giao di n khác .................................................................... 109 3.1 Màn hình chính c a ch ng trình............................................................. 109 3.2 Màn hình tìm ki m nhi u câu h i............................................................. 110 3.3 Màn hình tìm ki m chính ( giao di n Web) .............................................. 112 3.4 Màn hình tr v các tài li u tìm c ( giao di n Web) ............................ 113 3.5 Màn hình chi ti t c a m t tài li u ( giao di n Web).................................. 114 Ph n 3 : T NG K T..............................................................................................115 1. Ch ng trình th nghi m............................................................................... 115 2. ánh giá k t qu t c ............................................................................. 115 3. H ng phát tri n............................................................................................ 116 TÀI LI U THAM KH O ................................................................................. 117 1. Sách............................................................................................................... 117 2. Lu n v n........................................................................................................ 117 3. Website ......................................................................................................... 117 Nguy n Th Thanh Hà - 0112215 7 Nguy n Trung Hi u - 0112216
  9. Xây d ng h th ng tìm ki m thông tin ti ng Vi t d a trên các ch m c là các t ghép DANH SÁCH CÁC B NG ng 1-1 So sánh IRS v i các h th ng thông tin khác ..........................................................17 ng 4-1 Cách t p tin ngh ch o l u tr ...............................................................................47 ng 4-2 Cách t p tin tr c ti p l u tr ...................................................................................47 ng 4-3 Thêm m t tài li u m i vào t p tin ngh ch o.........................................................48 ng 5-1 Danh sách các Actor...............................................................................................50 ng 5-2 Danh sách các UseCase ..........................................................................................50 DANH SÁCH CÁC HÌNH V Hình 1-1 Môi tr ng c a h tìm ki m thông tin.....................................................................13 Hình 1-2 T ng quan v ch c n ng c a m t h tìm ki m thông tin..........................................14 Hình 2-1 H tìm ki m thông tin tiêu bi u...............................................................................18 Hình 3-1 Quá trình h c..........................................................................................................35 Hình 3-2 Giai n xác nh t cho tài li u m i.....................................................................36 Hình 4-1 Các t c s p theo th t ....................................................................................39 Hình 4-2 Quá trình ch n t làm ch m c................................................................................45 Hình 5-1 S Use-case c a h th ng...................................................................................49 Hình 5-2 S các l p th hi n.............................................................................................51 Hình 5-3 S các l p x lý .................................................................................................52 Hình 5-4 S Use-case tách t ............................................................................................53 Hình 5-5 S tu n t tách t ...............................................................................................53 Hình 5-6 S c ng tác tách t .............................................................................................54 Hình 5-7 S l p tách t .....................................................................................................54 Hình 5-8 S use-case l p ch m c .....................................................................................55 Hình 5-9 S tu n t t o m i ch m c ................................................................................56 Hình 5-10 S tu n t c p nh t ch m c ............................................................................57 Hình 5-11 S c ng tác t o m i ch m c ............................................................................58 Hình 5-12 S c ng tác c p nh t ch m c ...........................................................................59 Hình 5-13 S l p l p ch m c ...........................................................................................60 Hình 5-14 S use-case tìm ki m .......................................................................................61 Hình 5-15 S tu n t tìm ki m..........................................................................................61 Hình 5-16 S c ng tác tìm ki m .......................................................................................62 Hình 5-17 S l p tìm ki m ...............................................................................................63 Hình 6-1 S l p tách t .....................................................................................................83 Hình 6-2 L p tách t ghép.....................................................................................................83 Nguy n Th Thanh Hà - 0112215 8 Nguy n Trung Hi u - 0112216
  10. Xây d ng h th ng tìm ki m thông tin ti ng Vi t d a trên các ch m c là các t ghép Hình 6-3 L p tách t .............................................................................................................86 Hình 6-4 L p giao di n tách t ..............................................................................................89 Hình 6-5 Màn hình tách t .....................................................................................................89 Hình 6-6 Màn hình chi ti t tách t .........................................................................................90 Hình 6-7 S l p l p ch m c .............................................................................................91 Hình 6-8 L p l p ch m c......................................................................................................92 Hình 6-9 L p giao di n t o m i ch m c................................................................................94 Hình 6-10 Màn hình t o m i ch m c ....................................................................................95 Hình 6-11 L p Màn hình c p nh t ch m c............................................................................96 Hình 6-12 Màn hình c p nh t ch m c ...................................................................................97 Hình 6-13 S l p tìm ki m ...............................................................................................98 Hình 6-14 L p x lý tìm ki m ...............................................................................................99 Hình 6-15 L p giao di n tìm ki m.......................................................................................105 Hình 6-16 Màn hình tìm ki m .............................................................................................106 Hình 6-17 Xem t khóa câu h i...........................................................................................106 Hình 6-18 Xem t khóa tài li u ...........................................................................................107 Hình 6-19 Màn hình chính...................................................................................................109 Hình 6-20 Màn hình tìm ki m nhi u câu h i........................................................................110 Hình 6-21 Giao di n tìm ki m trên Web ..............................................................................112 Hình 6-22 Giao di n các tài li u tr v sau khi tìm ki m ......................................................113 Hình 6-23 Giao di n chi ti t n i dung c a tài li u ................................................................114 Nguy n Th Thanh Hà - 0112215 9 Nguy n Trung Hi u - 0112216
  11. Xây d ng h th ng tìm ki m thông tin ti ng Vi t d a trên các ch m c là các t ghép U Trong th i i bùng n thông tin nh hi n nay, thông tin c l u tr trên máy tính ngày càng nhi u do ó vi c tìm ki m thông tin chính xác là nhu c u thi t y u i i m i ng i trong m i l nh v c. Internet hi n nay ã tr thành m t kho t li u kh ng mà vi c tìm ki m thông tin trên kho t li u này c n ph i c h tr b i các công c tìm ki m (search engine) t t. Các h th ng tìm ki m thông tin thông d ng nh Google, Yahoo Search ã áp ng c ph n nào nhu c u ó c a m i ng i. Tuy nhiên, các h th ng này c xây d ng x lý và tìm ki m các v n b n ti ng Châu Âu, chúng ch a th t s phù h p cho các v n b n ti ng Vi t. Do ó nhu c u ph i có m t công c tìm ki m “hi u” và x lý t t các v n b n tí ng Vi t. Các h tìm ki m thông tin u ph i th c hi n giai n l p ch m c (indexing) cho v n b n trích các t ch m c (index term) bi u di n t t nh t n i dung c a v n n. Giai n này ph thu c vào ngôn ng c a v n b n và ph ng pháp x lý t ng ngôn ng ó. Hi n nay ch a có nhi u h th ng tìm ki m thông tin trên kho tài li u ti ng Vi t có khai thác các c tr ng c a ti ng Vi t cho vi c l p ch m c. Vì v y m c tiêu c a lu n v n này nh m xây d ng m t h th ng tìm ki m thông tin b ng ti ng Vi t có s d ng các k t qu c a x lý ngôn ng t nhiên t ng xác nh c các ch m c là các t (word) hay t ghép (compound word) c a ti ng Vi t. Nguy n Th Thanh Hà - 0112215 10 Nguy n Trung Hi u - 0112216
  12. Xây d ng h th ng tìm ki m thông tin ti ng Vi t d a trên các ch m c là các t ghép Ph n 1 : TÌM HI U LÝ THUY T Ch ng 1: NG QUAN V TÌM KI M THÔNG TIN 1. Gi i thi u v tìm ki m thông tin 1.1 Khái ni m v tìm ki m thông tin Tìm ki m thông tin là tìm ki m trong m t t p tài li u l y ra các thông tin mà ng i tìm ki m quan tâm. 1.2 ts v n trong vi c tìm ki m thông tin: t nh ng n m 40, các v n trong vi c l u tr thông tin và tìm ki m thông tin ã thu hút s chú ý r t l n. V i m t l ng thông tin kh ng l thì vi c tìm ki m chính xác và nhanh chóng càng tr nên khó kh n h n. V i s ra i c a máy tính, r t nhi u ý t ng l n c a ra nh m cung c p m t h th ng tìm ki m thông minh và chính xác. Tuy nhiên, v n tìm ki m sao cho hi u qu v n ch a c gi i quy t. nguyên t c, vi c l u tr thông tin và tìm ki m thông tin thì n gi n. Gi s có m t kho ch a các tài li u và m t ng i mu n tìm các tài li u liên quan n yêu c u a mình. Ng i ó có th c t t c các tài li u trong kho, gi l i các tài li u liên quan và b i các tài li u không liên quan. Rõ ràng gi i pháp này không th c t b i vì t n r t nhi u th i gian. Nguy n Th Thanh Hà - 0112215 11 Nguy n Trung Hi u - 0112216
  13. Xây d ng h th ng tìm ki m thông tin ti ng Vi t d a trên các ch m c là các t ghép i s ra i c a máy vi tính t c cao, máy tính có th “ c” thay cho con ng i trích ra các tài li u có liên quan trong toàn b t p d li u. Tuy nhiên v n lúc này là làm sao xác nh c tài li u nào liên quan n câu h i. M c ích c a t h th ng tìm ki m thông tin t ng là truy l c c t t c các tài li u có liên quan n yêu c u. 2. tìm ki m thông tin – IRS Sau ây là nh ngh a v h th ng tìm ki m thông tin c a m t s tác gi : [2.1] Salton (1989): “H th ng tìm ki m thông tin x lý các t p tin l u tr và nh ng yêu c u v thông tin, xác nh và tìm t các t p tin nh ng thông tin phù h p v i nh ng yêu c u v thông tin. Vi c truy tìm nh ng thông tin c thù ph thu c vào s t ng t gi a các thông tin c l u tr và các yêu c u, c ánh giá b ng cách so sánh các giá tr c a các thu c tính i v i thông tin c l u tr và các yêu c u v thông tin.” Kowalski (1997) : “H th ng truy tìm thông tin là m t h th ng có kh n ng l u tr , truy tìm và duy trì thông tin. Thông tin trong nh ng tr ng h p này có th bao g m v n b n, hình nh, âm thanh, video và nh ng it ng a ph ng ti n khác.” Hi u n gi n th ng tìm ki m thông tin là m t h th ng h tr cho ng i d ng tìm ki m thông tin m t cách nhanh chóng và d dàng. Ng i s d ng có th a vào nh ng câu h i, nh ng yêu c u (d ng ngôn ng t nhiên) và h th ng s tìm ki m trong t p các tài li u (d ng ngôn ng t nhiên) ã c l u tr tìm ra nh ng Nguy n Th Thanh Hà - 0112215 12 Nguy n Trung Hi u - 0112216
  14. Xây d ng h th ng tìm ki m thông tin ti ng Vi t d a trên các ch m c là các t ghép tài li u có liên quan, sau ó s s p x p các tài li u theo m c liên quan gi m d n và tr v cho ng i s d ng. 3. Các thành ph n c a m t h tìm ki m thông tin [1.1] m: t p các tài li u (DOCS) ã c l u tr trong kho d li u, t p các yêu c u (REQS) c a ng i dùng, và m t s ph ng pháp tính t ng quan (SIMILAR) xác nh các tài li u áp ng cho các yêu c u. Hình 1-1 Môi tr ng c a h tìm ki m thông tin Theo lý thuy t thì m i liên h gi a các câu h i và các tài li u có th so sánh m t cách tr c ti p. Nh ng trên th c t thì u này không th c vì các câu h i và các t p tài li u u d ng v n b n, ch có con ng i c vào thì th y ngay c m i liên h gi a chúng, nh ng ây ch là m t h th ng máy móc không th suy lu n nh con ng i c. Chính vì th xác nh c m i liên h gi a các câu h i và các t p tài li u ph i qua m t b c trung gian. Nguy n Th Thanh Hà - 0112215 13 Nguy n Trung Hi u - 0112216
  15. Xây d ng h th ng tìm ki m thông tin ti ng Vi t d a trên các ch m c là các t ghép Hình 1-2 T ng quan v ch c n ng c a m t h tìm ki m thông tin Tr c h t chuy n i các câu h i thành các t riêng bi t bi u hi n cho n i dung c a câu h i g i là ngôn ng ch m c (Indexing language - LANG). Tách t trong các t p tài li u và l p ch m c cho tài li u. Lúc này có th so sánh tr c ti p gi a các t a câu h i và các t ch m c c a t p tài li u. Và t ó ta s d dàng h n xác nh t ng quan gi a các câu h i và t p tài li u. 4. So sánh IRS v i các h th ng thông tin khác th ng tìm ki m thông tin c ng t ng t nh nhi u h th ng x lý thông tin khác. Hi n nay các h th ng thông tin quan tr ng nh t là: h qu n tr c s d li u (DBMS), h qu n lý thông tin (MIS), h h tr ra quy t nh (DSS), h tr l i câu h i (QAS) và h tìm ki m thông tin (IR). Nguy n Th Thanh Hà - 0112215 14 Nguy n Trung Hi u - 0112216
  16. Xây d ng h th ng tìm ki m thông tin ti ng Vi t d a trên các ch m c là các t ghép 4.1 qu n tr c s d li u (DBMS) t c h th ng thông tin t ng nào c ng d a trên m t t p các m c cl u tr (g i là s d li u) c n thi t cho vi c truy c p. Do ó h qu n tr c s d li u n gi n là m t h th ng c thi t k nh m thao tác và duy trì u khi n c s d li u. DBMS t ch c l u tr các d li u c a mình d i d ng các b ng. M i m t c s li u c l u tr thành nhi u b ng khác nhau. M i m t c t trong b ng là m t thu c tính, và m i m t dòng là m t b d li u c th . Trong m i m t b ng có m t thu c tính duy nh t i di n cho b ng, nó không c trùng l p và ta g i ó là khoá chính. Các ng có m i liên h v i nhau thông qua các khoá ngo i. DBMS có m t t p các l nh tr cho ng i s d ng truy v n n d li u c a mình. Vì v y mu n truy v n n CSDL trong DBMS ta ph i h c h t các t p l nh này. Nh ng ng c l i nó s cung c p cho ta các d li u y và hoàn toàn chính xác. Hi n nay DBMS c s d ng r ng rãi trên th gi i. M t s DBMS thông d ng : Access, SQL Server, Oracle. 4.2 qu n lý thông tin (IMS) qu n lý thông tin là h qu n tr c s d li u nh ng có thêm nhi u ch c nh ng v vi c qu n lý. Nh ng ch c n ng qu n lý này ph thu c vào giá tr c a nhi u ki u d li u khác nhau. Nói chung b t k h th ng nào có m c ích c bi t ph c v cho vi c qu n lý thì ta g i nó là h qu n lý thông tin. Nguy n Th Thanh Hà - 0112215 15 Nguy n Trung Hi u - 0112216
  17. Xây d ng h th ng tìm ki m thông tin ti ng Vi t d a trên các ch m c là các t ghép 4.3 h tr ra quy t nh (DSS) h tr ra quy t nh s d a vào các t p lu t c h c, t nh ng lu t ã h c rút ra nh ng lu t m i, sau khi g p m t v n nó s c n c vào vào t p các lu t a ra nh ng quy t nh thay cho con ng i. th ng này ang c áp d ng nhi u cho công vi c nh n d ng và chu n óan nh. 4.4 tr l i câu h i (QAS) tr l i câu h i cung c p vi c truy c p n các thông tin b ng ngôn ng t nhiên. Vi c l u tr c s d li u th ng bao g m m t s l ng l n các v n liên quan n các l nh v c riêng bi t và các ki n th c t ng quát. Câu h i c a ng i dùng có th d ng ngôn ng t nhiên. Công vi c c a h tr l i câu h i là phân tích câu truy n c a ng i dùng, so sánh v i các tri th c c l u tr , và t p h p các v n có liên quan l i a ra câu tr l i thích h p. Tuy nhiên, h tr l i câu h i ch còn ang th nghi m. Vi c xác nh ý ngh a a ngôn ng t nhiên d ng nh v n là ch ng ng i l n có th s d ng r ng rãi h th ng này. Nguy n Th Thanh Hà - 0112215 16 Nguy n Trung Hi u - 0112216
  18. Xây d ng h th ng tìm ki m thông tin ti ng Vi t d a trên các ch m c là các t ghép 4.5 So sánh IRS v i các h th ng thông tin khác IRS DBMS QAS MIS Các ph n t i dung có ki u d Các s ki n Tìm ki m trong các tài li u ã c rõ ràng. li u. nh ngh a. Gi ng DBMS nh ng h tr Các s ki n thêm nh ng Các v n b n Các ph n t rõ ràng và các th t c( Tính u tr ngôn ng t li u ki n th c ng, tính nhiên. ng b ng. ng quát. trung bình, phép chi u…) Các câu truy Các câu truy Các câu truy lý n không n có c u n không chính xác. trúc. gi i h n. ng 1-1 So sánh IRS v i các h th ng thông tin khác Nguy n Th Thanh Hà - 0112215 17 Nguy n Trung Hi u - 0112216
  19. Xây d ng h th ng tìm ki m thông tin ti ng Vi t d a trên các ch m c là các t ghép Ch ng 2: XÂY D NG M T H TH NG TÌM KI M THÔNG TIN 1. Ki n trúc c a h tìm ki m thông tin. [1.3] t h th ng thông tin tiêu bi u nh sau: Hình 2-1 H tìm ki m thông tin tiêu bi u th ng tìm ki m thông tin g m có 3 b ph n chính : b ph n phân tích v n n, b ph n l p ch m c, b ph n so kh p và s p x p các tài li u tr v . Nguy n Th Thanh Hà - 0112215 18 Nguy n Trung Hi u - 0112216
  20. Xây d ng h th ng tìm ki m thông tin ti ng Vi t d a trên các ch m c là các t ghép (1) ph n phân tích v n b n: b ph n này có nhi m v phân tích các v n n thu th p c thành các t riêng bi t. T ng t , khi ng i dùng nh p câu truy v n thì câu truy v n c ng c phân tích thành các t riêng bi t. (2) ph n l p ch m c : các t trích c t các v n b n thu th p cs c b ph n này l a ch n làm các t ch m c. Các t ch m c ph i là các t th hi n c n i dung c a v n b n. (3) ph n so kh p và s p x p các tài li u tr v : Các t trích c t câu truy v n và các t ch m c c a v n b n s c so kh p v i nhau tìm ra các tài li u liên quan n câu truy v n. M i tài li u có m t t ng quan v i câu h i. Các tài li u này s c s p x p theo t ng quan gi m d n và tr v cho ng i s d ng. 2. t s mô hình xây d ng m t h tìm ki m thông tin [1.2] c tiêu c a các h th ng tìm ki m thông tin là tr v các tài li u càng liên quan n câu h i càng t t. Vì th ng i ta ã a ra r t nhi u mô hình tìm ki m nh m tính toán m t cách chính xác t ng quan này. Sau ây là m t s mô hình tìm ki m b n: 2.1 Mô hình không gian vector Mô hình không gian vector tính toán t ng quan gi a câu h i và tài li u b ng cách nh ngh a m t vector bi u di n cho m i tài li u, và m t vector bi u di n cho câu i [ Salton, 1875]. Mô hình d a trên ý t ng chính là ý ngh a c a m t tài li u thì ph thu c vào các t c s d ng bên trong nó. Vector tài li u và vector câu h i sau ó s c tính toán xác nh t ng quan gi a chúng. t ng quan càng l n ch ng tài li u ó càng liên quan n câu h i. Nguy n Th Thanh Hà - 0112215 19 Nguy n Trung Hi u - 0112216

CÓ THỂ BẠN MUỐN DOWNLOAD

Đồng bộ tài khoản