Luận văn Cử nhân Tin học: Tìm hiểu công nghệ Grid computing và ứng dụng thử nghiệm trong bài toán quản trị mạng

Chia sẻ: Nguyễn Thị Ngọc Huỳnh | Ngày: | Loại File: PDF | Số trang:0

Thêm vào BST

Báo xấu

243
lượt xem 45
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Luận văn Cử nhân Tin học: Tìm hiểu công nghệ Grid computing và ứng dụng thử nghiệm trong bài toán quản trị mạng nhằm nghiên cứu các vấn đề chung của công nghệ Grid computing, bộ Globus Toolkit, tiến hành cài đặt một môi trường Grid với bộ Globus Toolkit, đề xuất mô hình và tiến hành thử nghiệm ứng dụng.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Luận văn Cử nhân Tin học: Tìm hiểu công nghệ Grid computing và ứng dụng thử nghiệm trong bài toán quản trị mạng

TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN TP.HCM KHOA CÔNG NGHỆ THÔNG TIN BỘ MÔN CÔNG NGHỆ PHẦN MỀM SINH VIÊN THỰC HIỆN Nguyễn Mạnh Dũng 0112132 Nguyễn Đăng Thành 0112280 TÌM HIỂU CÔNG NGHỆ GRID COMPUTING VÀ ỨNG DỤNG THỬ NGHIỆM TRONG BÀI TOÁN QUẢN TRỊ MẠNG LUẬN VĂN CỬ NHÂN TIN HỌC GIÁO VIÊN HƯỚNG DẪN Thầy Cao Đăng Tân TP. HỒ CHÍ MINH, 12/2005
Lời cảm ơn Lời cảm ơn Nhóm thực hiện xin bày tỏ lòng biết ơn và tri ân sâu sắc đến tất cả mọi người đã giúp đỡ, hỗ trợ thực hiện luận văn này, một điểm mốc rất quan trọng trong cuộc đời và sự nghiệp của chúng em. Chúng em xin cảm ơn Khoa Công nghệ Thông tin trường Đại học Khoa học Tự nhiên TP.HCM đã cho phép và tạo điều kiện để chúng em thực hiện luận văn này. Luận văn này sẽ không thể hoàn thành nếu không có sự giúp đỡ và chỉ bảo tận tình của thầy Cao Đăng Tân, người thầy hướng dẫn của chúng em. Chúng em xin chân thành biết ơn về những chỉ bảo, định hướng nghiên cứu thực hiện, hỗ trợ, tạo những điều kiện tốt nhất cho chúng em trong suốt quá trình thực hiện đề tài. Chúng con xin bày tỏ lòng biết ơn sâu sắc đến Bố, Mẹ, những bậc sinh thành đã chịu thương, chịu khó nuôi dưỡng, hỗ trợ, động viên, ủng hộ chúng con trong những lúc khó khăn để chúng con có được như ngày hôm nay. Chúng em xin chân thành cảm ơn tất cả quý thầy cô trong khoa Công nghệ Thông tin đã tận tình chỉ bảo, rèn luyện, truyền đạt những tri thức, kỹ năng, kinh nghiệm quý báu cho chúng em trong suốt 4 năm ở giảng đường đại học. Đây là những hành trang quý giá để chúng em vững bước vào đời. Nhóm thực hiện xin chân thành cảm ơn tất cả các anh chị, bạn bè, đặc biệt là các thầy cô Phòng máy Mạng, thầy Trần Minh Triết, thầy Lu Boun Vinh, đã nhiệt tình động viên, ủng hộ, chia sẻ những kinh nghiệm, kiến thức quý báu, tài liệu, hỗ trợ không những trong quá trình thực hiện luận văn mà còn trong suốt thời gian học tập dưới mái trường này. Mặc dù đã hết sức nỗ lực và cố gắng, nhưng luận văn chắc chắn không tránh khỏi những thiếu sót. Chúng em kính mong nhận được sự cảm thông và tận tình chỉ bảo, góp ý của quý Thầy Cô và các bạn. Một lần nữa xin gửi đến tất cả mọi người lời cảm ơn chân thành nhất. Xin cảm ơn !. Nhóm thực hiện Nguyễn Mạnh Dũng & Nguyễn Đăng Thành -i-
Lời nói đầu Lời nói đầu Công nghệ Grid Computing ra đời đánh dấu một bước phát triển mới trong lĩnh vực điện toán hiệu năng cao. Nó cho phép tận dụng năng lực xử lý, lưu trữ cùng các tài nguyên nhàn rỗi khác để cung cấp một môi trường tính toán có năng lực xử lý lớn, khả năng lưu trữ dồi dào để giải quyết các bài toán phức tạp - khó có thể giải quyết được với các công nghệ hiện hành hoặc giải quyết được nhưng với chi phí rất cao - trong khoa học, thương mại. Grid Computing giúp tận dụng tối đa tài nguyên, tăng cường hợp tác, giảm chi phí đầu tư trong khi vẫn cung cấp năng lực tính toán như mong muốn. Trong những năm vừa qua, nhiều tổ chức, tập đoàn công nghệ thông tin lớn đã chọn công nghệ Grid Computing làm chiến lược phát triển của mình, đã đầu tư nghiên cứu nhằm sớm đưa công nghệ Grid Computing vào thực tế. Công nghệ này đang ngày càng thu hút được sự quan tâm chú ý từ khắp nơi trên thế giới. Có thể nói công nghệ Grid Computing là một xu hướng phát triển mới trong ngành công nghệ thông tin. Hiện nay, đất nước ta đang thực hiện công cuộc công nghiệp hoá, hiện đại hóa, trong đó việc rút ngắn sự tụt hậu, phát triển về khoa học công nghệ là yếu tố then chốt quyết định đến thành công của công cuộc đổi mới. Song song với quá trình phát triển, ngày càng có nhiều bài toán mới, đòi hỏi năng lực xử lý lớn xuất hiện trong khoa học, thương mại và quản lý đất nước. Các công nghệ tính toán hiện hành cũng được áp dụng nhưng không thể triển khai rộng rãi để có thể giải quyết hết các nhu cầu do chi phí đầu tư quá lớn. Việc nghiên cứu, áp dụng công nghệ Grid Computing là một giải pháp tốt để giải quyết các tình huống này. Hơn nữa, công nghệ Grid Computing hiện nay còn khá mới mẻ, đang trong giai đoạn hoàn thiện, việc cùng tham gia nghiên cứu với cộng đồng thế giới sẽ giúp chúng ta học hỏi kinh nghiệm, tiến tới làm chủ công nghệ, từ đó có thể phát triển theo hướng đi của riêng mình, đáp ứng nhu cầu tính toán hiệu năng cao ngày càng tăng của đất nước. - ii -
Lời nói đầu Với tinh thần tham gia nghiên cứu, học hỏi công nghệ, đề tài luận văn “Tìm hiểu công nghệ Grid Computing và ứng dụng thử nghiệm trong bài toán quản trị mạng” được thực hiện nhằm đi những bước đầu tiên trong quá trình nghiên cứu, phát triển, ứng dụng Grid vào thực tế. Luận văn nghiên cứu các vấn đề chung của công nghệ Grid Computing, bộ Globus Toolkit, tiến hành cài đặt một môi trường Grid với bộ Globus Toolkit, đề xuất mô hình và cài đặt thử nghiệm ứng dụng hỗ trợ quản trị mạng trên nền Grid. Luận văn được trình bày gồm 8 chương với nội dung như sau: Chương 1. Đặt vấn đề : Giới thiệu sơ lược về công nghệ Grid Computing và lĩnh vực quản trị mạng, đồng thời xác định mục tiêu của đề tài. Chương 2. Tổng quan về công nghệ Grid Computing : Giới thiệu các vấn đề của công nghệ Grid Computing, tìm hiểu và so sánh các phần mềm nền tảng Grid để có cái nhìn khá toàn diện về công nghệ Grid Computing hiện nay. Chương 3. Giới thiệu bộ Globus Toolkit phiên bản 3.2 : Giới thiệu mô hình và các cơ chế hoạt động của các thành phần trong bộ Globus Toolkit 3.2. Ở đây không thiên về giới thiệu chi tiết các triển khai cụ thể, điều này có thể tham khảo từ các tài liệu hướng dẫn sử dụng. Chương 4. Phát triển ứng dụng với Globus Toolkit 3.2 : Giới thiệu các vấn đề cần quan tâm khi xây dựng một ứng dụng Grid với bộ Globus Toolkit 3.2. Chương 5. Quản trị mạng và các hệ thống quản trị : Giới thiệu tổng quan về lĩnh vực quản trị mạng cũng như các hệ thống quản trị mạng. Chương 6. Hệ thống quản trị Grid NetManager : Giới thiệu mô hình hệ thống quản trị mạng dựa trên nền công nghệ tính toán Grid Computing. Chương 7. Phân tích, thiết kế, cài đặt thử nghiệm ứng dụng Grid NetManager. Chương 8. Kết luận : Là chương cuối cùng của luận văn, tóm lại các vấn đề đã nghiên cứu tìm hiểu, đề ra hướng phát triển trong tương lai. - iii -
Mục lục Mục lục Lời cảm ơn .........................................................................................................i Lời nói đầu ........................................................................................................ii Mục lục.............................................................................................................iv Danh sách hình ...............................................................................................viii Danh sách bảng .................................................................................................x Một số thuật ngữ ..............................................................................................xi Các chữ viết tắt................................................................................................xii Tóm tắt luận văn.............................................................................................xiii Chương 1. Mở đầu..........................................................................................1 1.1. Công nghệ Grid Computing (tính toán lưới) .............................................................. 1 1.2. Vấn đề quản trị mạng.................................................................................................. 3 1.3. Mục tiêu đề tài ............................................................................................................ 4 Chương 2. Tổng quan về công nghệ Grid Computing ...................................5 2.1. Khái niệm Grid ........................................................................................................... 5 2.1.1. Theo dòng lịch sử ................................................................................................ 5 2.1.2. Khái niệm............................................................................................................. 6 2.1.3. Tài nguyên của Grid ............................................................................................ 7 2.2. Phân loại Grid & Grid Topology ................................................................................ 9 2.2.1. Các kiểu Grid ....................................................................................................... 9 2.2.2. Đồ hình Grid (Grid Topology)........................................................................... 11 2.3. Các thách thức, yêu cầu của công nghệ Grid............................................................ 15 2.3.1. Quản lý tài nguyên (Resource Management) .................................................... 15 2.3.2. Bảo mật (Security) ............................................................................................. 17 2.3.3. Quản lý thông tin ............................................................................................... 19 2.3.4. Quản lý dữ liệu .................................................................................................. 20 2.3.5. Phát triển ứng dụng............................................................................................ 20 2.3.6. Các vấn đề khác ................................................................................................. 20 2.3.7. Các việc cần làm ................................................................................................ 21 2.4. Ích lợi & Ứng dụng................................................................................................... 22 2.5. Các thành phần cơ bản của một hệ thống cơ sở hạ tầng Grid................................... 24 2.6. Kiến trúc Grid ........................................................................................................... 27 2.6.1. Bản chất Kiến trúc Grid ..................................................................................... 27 2.6.2. Chi tiết Kiến trúc Grid tổng quát ....................................................................... 28 2.6.3. Kiến trúc Grid trong thực tế ............................................................................... 35 2.7. Chuẩn hoá Grid......................................................................................................... 36 2.8. Giới thiệu các dự án Grid middleware chính............................................................ 40 2.8.1. UNICORE.......................................................................................................... 40 2.8.2. Globus................................................................................................................ 43 - iv -
Mục lục 2.8.3. Legion ................................................................................................................ 43 2.8.4. GridBus.............................................................................................................. 45 2.8.5. So sánh............................................................................................................... 48 Chương 3. Giới thiệu bộ Globus Toolkit phiên bản 3.2...............................52 3.1. Giới thiệu .................................................................................................................. 52 3.1.1. Giới thiệu ........................................................................................................... 52 3.1.2. Lịch sử phát triển ............................................................................................... 53 3.2. Các công nghệ, chuẩn liên quan ............................................................................... 53 3.2.1. Service Oriented Architeture (SOA).................................................................. 53 3.2.2. Web Service....................................................................................................... 56 3.2.3. OGSA................................................................................................................. 58 3.2.4. OGSI và Grid Service ........................................................................................ 65 3.3. Kiến trúc Globus Toolkit .......................................................................................... 74 3.3.1. Mô hình kiến trúc GT2 ...................................................................................... 75 3.3.2. Mô hình kiến trúc GT3 ...................................................................................... 76 3.4. Các thành phần chính................................................................................................ 79 3.4.1. Sercurity Infrastructure ...................................................................................... 79 3.4.2. Resource Management....................................................................................... 94 3.4.3. Information Service ......................................................................................... 107 3.4.4. Data Management ............................................................................................ 113 3.4.5. Thành phần mới trong GT3 ............................................................................. 114 Chương 4. Phát triển ứng dụng với bộ Globus Toolkit 3.2........................115 4.1. Khởi đầu dự án........................................................................................................ 115 4.1.1. Định hướng phát triển hệ thống ....................................................................... 115 4.1.2. Đánh tính khả thi của ứng dụng khi chạy trên Grid......................................... 117 4.2. Các yêu cầu cần quan tâm khi xây dựng ứng dụng ................................................ 118 4.2.1. Khả năng mở rộng (Scalability)....................................................................... 118 4.2.2. Bảo mật ............................................................................................................ 118 4.2.3. Tính mềm dẻo của ứng dụng (Flexibility) ....................................................... 119 4.2.4. Các kết nối với bên ngoài ................................................................................ 119 4.2.5. Hiệu suất ứng dụng(Performance) ................................................................... 120 4.2.6. Độ tin cậy (Reliability) .................................................................................... 121 4.2.7. Quản trị hệ thống (Management)..................................................................... 122 4.2.8. Đồ hình hệ thống (System Topology).............................................................. 123 4.2.9. Môi trường đa nền tảng.................................................................................... 123 4.2.10. Định dạng file ................................................................................................ 124 4.2.11. Việc cài đặt hệ thống ..................................................................................... 124 4.2.12. Vấn đề thông tin Grid .................................................................................... 124 4.2.13. Tính tiện dụng................................................................................................ 124 4.3. Thiết kế tổng quan .................................................................................................. 125 4.4. Một số vấn đề cần quan tâm trong thiết kế chi tiết và viết mã ............................... 126 4.4.1. Kiến trúc ứng dụng .......................................................................................... 127 4.4.2. Xem xét sử dụng ngôn ngữ lập trình ............................................................... 130 4.4.3. Vấn đề phụ thuộc của công việc vào môi trường hệ thống.............................. 131 4.4.4. Đồ hình công việc ............................................................................................ 132 4.5. Triển khai cài đặt các Grid Service......................................................................... 133 -v-
Mục lục 4.5.1. Các bước xây dựng và triển khai Grid Service................................................ 134 4.5.2. Xây dựng client................................................................................................ 140 Chương 5. Quản trị mạng và các hệ thống quản trị....................................142 5.1. Quản trị mạng ......................................................................................................... 142 5.1.1. Khái niệm......................................................................................................... 142 5.1.2. Các lĩnh vực quản trị mạng.............................................................................. 142 5.2. Hệ thống quản trị mạng .......................................................................................... 144 5.2.1. Mô hình và hoạt động ...................................................................................... 144 5.2.2. Một số chức năng cơ bản của một hệ thống quản trị mạng ............................. 146 5.2.3. Hệ thống quản trị mạng trong thực tế .............................................................. 148 5.3. Hệ thống Intrusion Detection System (IDS)........................................................... 149 5.3.1. Khái niệm......................................................................................................... 149 5.3.2. Các hướng tiếp cận .......................................................................................... 149 5.4. Giới thiệu một số công cụ hỗ trợ quản trị mạng ..................................................... 150 5.4.1. Ethereal ............................................................................................................ 150 5.4.2. Snort................................................................................................................. 152 Chương 6. Hệ thống quản trị Grid NetManager.........................................153 6.1. Giới thiệu ý tưởng................................................................................................... 153 6.2. Yêu cầu chức năng của một hệ thống quản trị mạng.............................................. 154 6.3. Mô hình thành phần và hoạt động của hệ thống ..................................................... 155 6.3.1. Mô hình thành phần ......................................................................................... 155 6.3.2. Cách thức hoạt động ........................................................................................ 157 6.4. Phân tích và định hướng phát triển ứng dụng......................................................... 158 6.5. Giới hạn vấn đề thực hiện của luận văn.................................................................. 159 Chương 7. Phân tích, thiết kế và cài đặt thử nghiệm ứng dụng .................161 7.1. Phân tích ................................................................................................................. 161 7.1.1. Ngữ cảnh hệ thống ........................................................................................... 161 7.1.2. Lược đồ Use Case ............................................................................................ 162 7.1.3. Đặc tả Use Case ............................................................................................... 163 7.1.4. Mô tả các dòng sự kiện .................................................................................... 167 7.2. Thiết kế ................................................................................................................... 179 7.2.1. Sơ đồ các đối tượng cài đặt.............................................................................. 179 7.2.2. Thiết kế giao diện ............................................................................................ 180 7.3. Cài đặt & Triển khai ............................................................................................... 183 7.3.1. Công cụ và môi trường phát triển ứng dụng.................................................... 183 7.3.2. Mô hình cài đặt ................................................................................................ 184 7.3.3. Mô hình triển khai............................................................................................ 184 7.3.4. Thử nghiệm...................................................................................................... 185 Chương 8. Kết luận.....................................................................................186 8.1. Đánh giá.................................................................................................................. 186 8.1.1. Về luận văn ...................................................................................................... 186 8.1.2. Về ứng dụng..................................................................................................... 186 8.2. Hướng phát triển, mở rộng của luận văn ................................................................ 187 8.2.1. Về luận văn ...................................................................................................... 187 - vi -
Mục lục 8.2.2. Về ứng dụng..................................................................................................... 187 8.3. Lời kết..................................................................................................................... 188 Phụ lục...........................................................................................................189 A. Các tiêu chí đánh giá tính khả khi của một dự án Grid............................................. 189 B. Định dạng file GWSDL ............................................................................................ 191 C. Kỹ thuật cài đặt các chức năng cơ bản của Grid Service .......................................... 193 C.1. Kỹ thuật cài đặt Operation Provider................................................................... 193 C.2. Thêm thành phần dữ liệu (Service Data Element (SDE)).................................. 196 C.3. Cài đặt cơ chế Notification................................................................................. 199 C.7. Cài đặt kỹ thuật tạo service động (Transient service) ........................................ 202 C.5. Kỹ thuật Logging (Ghi vết)................................................................................ 205 C.6. Kỹ thuật quản lý chu trình sống của service (Lifecycle Management).............. 206 D. Các interface của một OGSI Service ........................................................................ 208 E. Cấu trúc một chứng chỉ điện tử ................................................................................. 211 Tài liệu tham khảo.........................................................................................213 Các Website...................................................................................................216 - vii -
Danh sách hình Danh sách hình Hình 2-1 Tài nguyên Grid dưới quan điểm của người dùng, là một khối thống nhất có được nhờ sự ảo hoá. ................................................................................................................ 9 Hình 2-2 Hình thức hoạt động của Grid Tính toán.............................................................. 10 Hình 2-3 Các đồ hình Grid. ................................................................................................. 11 Hình 2-4 Đồ hình SimpleGrid ............................................................................................. 12 Hình 2-5 Đồ hình IntraGrid ................................................................................................. 13 Hình 2-6 Đồ hình ExtraGrid ................................................................................................ 14 Hình 2-7 Các minh họa về đồ hình InterGrid. ..................................................................... 15 Hình 2-8 Kiến trúc Grid tổng quát....................................................................................... 29 Hình 2-9 Quan điểm của các lập trình viên về kiến trúc Grid. ........................................... 34 Hình 2-10 Kiến trúc Grid trong thực tế với các thành phần. ............................................... 35 Hình 2-11 Các dự án Grid tương ứng với các tầng.............................................................. 36 Hình 2-12 Mối quan hệ giữa các chuẩn về Grid Service..................................................... 39 Hình 2-13 Mô hình kiến trúc hoạt động của UNICORE ..................................................... 41 Hình 2-14 Kiến trúc của Legion. ......................................................................................... 44 Hình 2-15 Kiến trúc GridBus............................................................................................... 46 Hình 2-16 So sánh giữa UNICORE, Globus, Legion và GridBus. ..................................... 49 Hình 3-1 Các thành phần của kiến trúc SOA....................................................................... 54 Hình 3-2 Kiến trúc của bộ Globus Toolkit. ......................................................................... 75 Hình 3-3 Mô hình các thành phần của một hệ thống sử dụng GT2..................................... 76 Hình 3-4 Mô hình tổ chức các thành phần GT3. ................................................................. 77 Hình 3-5 Các thành phần của GSI. ...................................................................................... 80 Hình 3-6 Quy trình khởi tạo để sử dụng GSI....................................................................... 87 Hình 3-7 Thủ tục chứng thực và phân quyền với GSI......................................................... 88 Hình 3-8 Cơ chế ủy quyền trong GSI. ................................................................................. 89 Hình 3-9 Thủ tục uỷ quyền của một proxy trong GSI. ........................................................ 90 Hình 3-10 Kiến trúc quản lý tài nguyên trong Globus Toolkit............................................ 95 Hình 3-11 Các trạng thái của một công việc. ...................................................................... 98 Hình 3-12 Các thành phần và cơ chế hoạt động của pre-WS GRAM ................................. 99 Hình 3-13 Cơ chế hoạt động có DUROC trong pre-WS GRAM. ..................................... 101 Hình 3-14 Các thành phần và cơ chế hoạt động của WS-GRAM. ................................... 105 Hình 3-15 Mô hình quản lý thông tin trong Grid của Globus Toolkit............................... 107 Hình 3-16 Ví dụ tổ chức dữ liệu của MDS2...................................................................... 109 Hình 3-17 Mô hình tổ chức dữ liệu phân cấp trong MDS2. .............................................. 110 Hình 3-18 Các thành phần và cơ chế hoạt động của MDS2............................................. 111 Hình 4-1 Luồng ứng dụng song song. ............................................................................... 128 Hình 4-2 Luồng ứng dụng tuần tự. .................................................................................... 128 Hình 4-3 Luồng ứng dụng mạng........................................................................................ 129 Hình 4-4 Các file cần thiết để triển khai Grid Service với Ant. ........................................ 139 Hình 5-1 Mô hình hệ thống quản trị mạng ........................................................................ 144 Hình 5-2 Màn hình giao diện Ethereal............................................................................... 151 Hình 6-1 Mô hình thành phần ứng dụng Grid NetManager. ............................................. 155 Hình 6-2 Mô hình các thành phần của ứng dụng Grid NetManager thử nghiệm. ............. 160 Hình 7-1 Ngữ cảnh hệ thống.............................................................................................. 161 Hình 7-2 Sơ đồ Usecase ứng dụng Grid NetManager thử nghiệm.................................... 162 - viii -
Danh sách hình Hình 7-3 Sơ đồ lớp cài đặt lớp đối tượng. ......................................................................... 179 Hình 7-4 Màn hình chính ứng dụng Grid NetManager thử nghiệm .................................. 181 Hình 7-5 Màn hình Packet Capture Configue ................................................................... 182 Hình 7-6 Mô hình cài đặt................................................................................................... 184 Hình 7-7 Sơ đồ triển khai ứng dụngGrid NetManager thử nghiệm................................... 184 Hình 7-8 Mô hình cài đặt thử nghiệm................................................................................ 185 Hình 8-1 Lớp triển khai interface của Grid service bằng kỹ thuật kế thừa........................ 194 Hình 8-2 Cài đặt intrface củaGrid service bằng kỹ thuật Operation Provider................... 194 Hình 8-3 Ví dụ về SDE của MathService.......................................................................... 196 Hình 8-4 Sơ đồ hoạt động của cơ chế Notification trong GT3.......................................... 200 Hình 8-5 Cấu trúc một chứng chỉ điện tử. ......................................................................... 211 - ix -
Danh sách bảng Danh sách bảng Bảng 2-1 Các đặc tính của tài nguyên. ................................................................................ 16 Bảng 2-2 Bảng so sánh các đặc tính của các middleware ................................................... 50 Bảng 3-1 Bảng các interface chuẩn quy định bởi OGSA. ................................................... 61 Bảng 3-2 Các thuộc tính cơ bản của một service data......................................................... 72 Bảng 3-3 Các file cấu hình GSI của GT3. ........................................................................... 92 Bảng 3-4 Bảng các công cụ cấu hình GSI. .......................................................................... 93 Bảng 3-5 Bảng các hàm API về GSI của GT3 .................................................................... 94 Bảng 3-6 Bảng các hàm API của pre-WS GRAM............................................................. 102 Bảng 3-7 Các thành phần của GT Core ............................................................................. 114 Bảng 6-1 Các thành phần của ứng dụng Grid NetManager............................................... 156 Bảng 7-1 Danh sách các actor............................................................................................ 162 Bảng 7-2 Danh sách các usecase ....................................................................................... 162 Bảng 7-3 Danh sách các đối tượng cài đặt. ....................................................................... 180 Bảng 7-4 Danh sách các giao diện..................................................................................... 180 Bảng 7-5 Mô tả màn hình chính. ....................................................................................... 182 Bảng 7-6 Mô tả màn hình cấu hình bắt packet. ................................................................. 183 Bảng 7-7 Các thành phần triển khai................................................................................... 184 Bảng 8-1 Các tiêu chí đánh giá tính khả thi của ứng dụng Grid........................................ 190 Bảng 8-2 Các hàm callback trong GT3. ............................................................................ 206 Bảng 8-3 Các interface của một OGSI Service ................................................................. 211 -x-
Một số thuật ngữ Một số thuật ngữ Các tiêu chuẩn lọc packet. Capture filter Máy khách, sử dụng dịch vụ. Client Là một thành phần tạo lập và quản lý các Grid Factory service instance. Là một hệ thống tính toán sử dụng công nghệ Grid Grid Computing Công nghệ tính toán lưới. Grid Computing Một thể hiện của Grid service. Grid service instance Môi trường mà trên đó các Grid Service có thể Hosting environment thực thi. Giao diện của một OGSA Service. Interface (OGSA) Chu trình sống của Grid Service Lifecyle Là phần mềm cho phép tổ chức, tích hợp các tài Middleware nguyên và các chức năng vào Grid Là một nút của Grid, có thể là các máy tính hay Node, Host các thiết bị tính toán khác. Các giao thức quy định các thức liên lạc giữa các Protocol thành phần thông qua hệ thống mạng. Là một thành phần đại diện cho người dùng Grid Proxy thực thi các tác vụ. Máy chủ, cung cấp dịch vụ. Server Một dịch vụ Grid theo khái niệm đưa ra bởi Service, Grid OGSA. service(OGSA), Thành phần dữ liệu của một Service Service data Là một đơn vị tham gia đóng góp tài nguyên cho Site Grid, có hệ thống quản trị riêng. Người sử dụng dịch vụ Grid User Tổ chức ảo, là một liên minh tạm thời giữa các tổ Virtual Organization chức trong Grid dùng để chia sẽ tài nguyên. - xi -
Các chữ viết tắt Các chữ viết tắt Certificate Authority CA Distinguished Name DN Enterprise JavaBeans EJB Global Grid Forum GGF Grid Service Handle GSH Grid Security Infrastructure GSI Grid Service Referance GSR Globus Toolkit Version x GT{x} Grid Web Services Description Language GWSDL Metacomputing Directory Service MDS Open Grid Services Architecture OGSA Open Grid Services Infrastructure OGSI Public Key Infrastructure PKI Registrant Authority RA Service Data Element SDE Service Oriented Architeture SOA Secure Sockets Layer SSL Uniform Resource Indicator URI Web Services Description Language WSDL Web Services Resource Framework WSRF - xii -
Tóm tắt luận văn Tóm tắt luận văn 1. Thông tin chung về đề tài: Tên đề tài: “Tìm hiểu công nghệ Grid Computing và ứng dụng thử nghiệm trong bài toán quản trị mạng” GVHD: Thầy CAO ĐĂNG TÂN. Sinh viên thực hiện: 1. MSSV : 0112132 Họ và tên : Nguyễn Mạnh Dũng. 2. MSSV : 0112280 Họ và tên : Nguyễn Đăng Thành. 2. Tóm tắt nội dung luận văn Luận văn thực hiện nghiên cứu tìm hiểu các vấn đề chung của công nghệ Grid Computing như bản chất, các thách thức, yêu cầu, kiến trúc, ích lợi, các chuẩn liên quan, cũng như các dự án chính về cơ sở hạ tầng Grid nhằm đưa ra một tầm nhìn tổng quan về công nghệ Grid Computing hiện nay. Tìm hiểu về mô hình, hoạt động các thành phần, chi tiết các chuẩn sử dụng, một số vấn đề khi phát triển ứng dụng Grid với bộ Globus Toolkit phiên bản 3.2. Nghiên cứu, tìm hiểu lĩnh vực quản trị mạng và các hệ thống quản trị, các hệ thống phát hiện xâm nhập, từ đó đề xuất mô hình ứng dụng hệ thống quản trị mạng sử dụng công nghệ Grid Computing làm nền tảng tính toán và tiến hành cài đặt thử nghiệm một số chức năng của ứng dụng. 3. Một số từ khoá liên quan đến tài Grid, Grid computing, Globus, Grid sevice, network management, tính toán lưới, … 4. Lĩnh vực áp dụng Tính toán lưới. Quản trị mạng. 5. Các thuật toán, phương pháp, quy trình chính được nghiên cứu, ứng dụng trong đề tài 6. Các công cụ, công nghệ chính được nghiên cứu, ứng dụng trong đề tài - xiii -
Tóm tắt luận văn • Hệ điều hành và môi trường mạng Linux Redhat 9.0 • Môi trường lập trình C/C++ trong Linux với thư viện giao diện đồ hoạ GTK. • Bộ Globus Toolkit 3.2 và phát triển ứng dụng với nó. - xiv -
Chương 1. Mở đầu Chương 1. Mở đầu 1.1. Công nghệ Grid Computing (tính toán lưới) Với những tiến bộ trong nền công nghiệp sản xuất phần cứng máy tính, các thế hệ máy tính ngày nay đã trở nên mạnh và rẻ hơn rất nhiều so với các thế hệ trước đó. Cùng với sự hữu ích, máy tính đã trở nên phổ dụng khắp nơi trên thế giới, đi sâu vào mọi công việc của con người, từ công việc hàng ngày, công sở, kinh doanh đến sản xuất, nghiên cứu khoa học. Do đó số lượng máy tính hiện nay trên thế giới là rất lớn với tổng cộng năng lực xử lý và lưu trữ khổng lồ. Tuy nhiên, các ứng dụng ngày nay chỉ mới sử dụng được một phần rất nhỏ năng lực xử lý và lưu trữ do các ứng dụng chỉ chạy trên các máy tính cục bộ, đơn lẻ, phân tán khắp nơi theo địa lý. Từ đó dẫn đến lãng phí rất lớn. Một câu hỏi được đặt ra là làm sao tận dụng tốt hơn năng lực của máy tính. Mặt khác, theo đà phát triển, con người càng ngày càng đối mặt với nhiều vấn đề lớn, phức tạp trong khoa học, thương mại đòi hỏi năng lực xử lý tính toán, lưu trữ lớn : - Trong khoa học : Cách đây 10 năm các nhà sinh học đã rất vui mừng khi họ có thể giả lập một đơn phân tử trên máy tính, ngày nay họ muốn giả lập hàng ngàn phân tử thuốc, protein và tác dụng tương hỗ giữa chúng để tạo ra các loại thuốc mới. Để nghiên cứu các hạt cơ bản và tương tác giữa chúng, hàng năm ngành Vật lý Năng lượng cao (High Energy Physics) tạo ra khoảng 10 Petabytes (dung lượng của khoảng 20 triệu đĩa CD-ROM) dữ liệu. Hay các nhà vật lý địa cầu thực hiện theo dõi bầu khí quyển, tầng ozone, hàng ngày phải lưu trữ và phân tích khoảng 100 Gigabytes dữ liệu ảnh chụp từ vệ tinh. Ở đây cho thấy cần phải có năng lực lưu trữ rất lớn. Việc phân tích, giải mã bộ gen người, các dự án nghiên cứu vũ trụ,… cũng cần năng lực xử lý rất lớn. -1-
Chương 1. Mở đầu Vấn đề hợp tác giữa hàng ngàn nhà khoa học trên toàn thế giới, hỗ trợ việc chia sẻ một lượng lớn dữ liệu, thực hiện các tính toán phức tạp trực tuyến trên các dữ liệu đó. - Trong thương mại: Các bài toán phân tích xử lý số liệu kinh tế của các quốc gia, các công ty đa quốc gia, … Các công ty cung cấp dịch vụ mạng cho hàng triệu người dùng trên toàn thế giới. Các bài toán mô phỏng, giả lập trong thiết kế sản phẩm công nghiệp… Bài toán xử lý thông tin trong quản trị mạng, các hệ thống phát hiện tấn công, xâm nhập mạng. ….. Một máy tính đơn, một nhóm các máy tính(cluster) hay thậm chí một siêu máy tính chuyên dụng cũng không thể đáp ứng được nhu cầu tính toán, lưu trữ ngày càng lớn như vậy. Một số bài toán cũng có thể được giải quyết nhưng rất khó khăn, với chi phí rất cao mà không phải quốc gia, tổ chức nào cũng thực hiện được (đặc biệt là các nước đang phát triển), còn những bài toán khác có thể nói là không thể giải quyết được với công nghệ tính toán hiện nay. Thực tế khiến người ta nảy sinh ý tưởng phải kết hợp các máy tính phân tán khắp nơi trên thế giới trở thành một siêu máy tính khổng lồ nhằm tận dụng năng lực tính toán, lưu trữ hiện đang lãng phí để giải quyết các bài toán phức tạp trên đây với chi phí thấp hơn. Trước đây, khi các công nghệ mạng chưa phát triển thì ý tưởng trên hầu như chưa thực hiện được. Nhưng hiện nay, các công nghệ mạng máy tính đã phát triển vượt bậc, hiệu năng mạng tăng gấp đôi sau mỗi 9 tháng, ý tưởng về “siêu máy tính” toàn cầu đã có cơ sở để trở thành hiện thực. Đến những năm cuối thế kỷ XX, các dự án nghiên cứu đầu tiên về lĩnh vực này đã khai sinh ra công nghệ Grid Computing. Công nghệ Grid Computing ra đời được dự đoán là công nghệ nền tảng của thế kỷ XXI, làm thay đổi cách thức chúng ta tính toán, giống như Internet đã từng làm -2-
Chương 1. Mở đầu thay đổi cách thức trao đổi thông tin trong thế kỷ XX. Công nghệ Grid Computing đã mở ra cơ hội mới cho các nước không có nền công nghiệp thiết kế, chế tạo phần cứng máy tính mạnh, tạo ra các siêu máy tính để giải quyết các bài toán của riêng mình với chi phí thấp và độ làm chủ cao. Ở Việt Nam, nhu cầu ứng dụng công nghệ thông tin vào các hoạt động nghiên cứu Khoa học-Kỹ thuật, quản lý Kinh tế-Xã hội ngày càng cao, đòi hỏi phải xử lý những khối lượng dữ liệu lớn, khối lượng tính toán khổng lồ với chi phí thấp (vì chúng ta còn nghèo, kinh phí đầu tư cho ngành Công nghệ thông tin chưa cao). Do đó, việc nghiên cứu, phát triển ứng dụng công nghệ Grid Computing vào thực tế được xem là một giải pháp quan trọng để giải quyết các bài toán trên. Hiện nay, chúng ta mới đang đi những bước đầu tiên… 1.2. Vấn đề quản trị mạng Ngày nay, mạng máy tính đã trở nên phổ biến khắp nơi với quy mô ngày càng lớn. Do đó, công việc của bộ phận quản trị hệ thống mạng, đảm bảo cho hệ thống hoạt động ổn định, hiệu năng cao, đáp ứng nhu cầu người dùng là một công việc hết sức khó khăn. Để thực hiện tốt công việc của mình, bộ phận quản trị cần một hệ thống theo dõi, giám sát các hoạt động trên mạng nhằm : Xác định các lỗi thiết bị, cấu hình trong hệ thống mạng. Tối ưu, quản lý hiệu quả tài nguyên mạng Lập tài liệu về các mức độ đe doạ đối với hệ thống, để lập kế hoạch đối phó, giảm thiểu nguy cơ hệ thống bị xâm hại. Quản lý thông tin hoạt động của người dùng, phát hiện và ngăn chặn các hoạt động xâm phạm hệ thống mạng. Công việc quản lý trên đòi hỏi không những phải phân tích dữ liệu chạy trong hệ thống mạng theo thời gian thực mà còn phải phân tích các dữ liệu ghi vết (log) về các hoạt động trong hệ thống. Hiện nay, lượng dữ liệu lưu thông trong mạng máy tính là rất lớn, nên 1 máy tính PC không thể thu thập và xử lý được mà cần một máy lớn hoặc các thiết bị chuyên dụng hơn. Việc đưa vào sử dụng các thiết bị chuyên dụng có chi phí rất cao, không thích hợp cho các hệ thống mạng vừa và nhỏ. Do đó, hướng tiếp cận sử dụng công nghệ Grid Computing để tận dụng thời gian nhàn rỗi -3-
Chương 1. Mở đầu của các máy PC trong hệ thống mạng để xử lý thông tin, hỗ trợ các nhà quản trị mạng được đưa ra. 1.3. Mục tiêu đề tài Nhằm tìm hiểu, góp phần vào việc phát triển và ứng dụng công nghệ Grid Computing vào thực tiễn, đề tài: “Tìm hiểu công nghệ Grid Computing và ứng dụng thử nghiệm trong bài toán quản trị mạng” được thực hiện với một số mục tiêu: + Tìm hiểu về công nghệ Grid Computing hiện nay để có một bức tranh tổng quan về công nghệ, các vấn đề, các hướng giải quyết chủ yếu của nó nhằm làm tiền đề tham khảo cho việc ứng dụng, phát triển công nghệ Grid trong tương lai. + Cài đặt, tìm hiểu mô hình, kiến trúc, môi trường, cách thức lập trình và phát triển ứng dụng của bộ Globus Toolkit, một bộ công cụ xây dựng Grid hàng đầu hiện nay. + Tìm hiểu về quản trị mạng và các hệ thống quản trị mạng. + Nghiên cứu và đề xuất mô hình hệ thống quản trị mạng trên nền tảng công nghệ Grid Computing. Xây dựng thử nghiệm một số chức năng điển hình của hệ thống quản trị để hiểu biết thêm về kỹ thuật xây dựng và phát triển ứng dụng Grid. Hệ thống quản trị mạng chỉ là một công cụ hỗ trợ, việc sử dụng thông tin, thiết lập các chiến lược, chính sách quản trị là nhiệm vụ của các nhà quản trị mạng. Các chương tiếp theo trình bày những vấn đề đã nghiên cứu, tìm hiểu được. -4-
Chương 2. Tổng quan về công nghệ Grid Computing Chương 2. Tổng quan về công nghệ Grid Computing 2.1. Khái niệm Grid 2.1.1. Theo dòng lịch sử Mặc dù công nghệ Grid Computing được nhắc đến rất nhiều trong thời gian gần đây, nhưng thực ra nhiều ý tưởng cơ bản về Grid đã xuất hiện dưới dạng này hay dạng khác trong lịch sử tính toán. Ví dụ như ý tưởng “chia sẻ năng lực tính toán” đã xuất hiện từ những năm 60- 70 của thế kỷ XX, lúc đó toàn bộ năng lực tính toán được chia sẻ từ các máy mainframe. Năm 1965, những người phát triển hệ điều hành Multics (tiền thân của hệ điều hành Unix) đã đề cập đến việc sử dụng năng lực tính toán như là một tiện ích, một quan điểm rất gần với quan điểm về Grid hiện nay. Đó là một hệ thống cung cấp năng lực tính toán tương tự như hệ thống cung cấp điện, nước hiện đang được sử dụng trong cuộc sống hàng ngày. Người dùng khi muốn sử dụng tài nguyên tính toán để xử lý công việc, chỉ cần cắm thiết bị vào hệ thống cung cấp, sử dụng và trả tiền giống như khi cắm thiết bị điện vào lưới điện. Tuy trước đó đã có nhiều ý tưởng về Grid nhưng nguồn gốc của Grid chính thức được xác định vào năm 1990, khi thuật ngữ “siêu tính toán” (metacomputing) ra đời, dùng để mô tả các dự án kết nối các trung tâm siêu máy tính của Mỹ nhằm kết hợp sức mạnh xử lý của nhiều siêu máy tính lại với nhau. Đến năm 1995, 2 dự án siêu tính toán quan trọng, ảnh hưởng lớn đến các công nghệ nền tảng trong các dự án Grid ngày nay là FAFNER (Factoring via Network-Enabled Recursion) và I-WAY(Information Wide Area Year) ra đời. Khái niệm Grid ra đời ở phòng thí nghiệm Argonne National Laboratory vào tháng 7/1997, sau đó được đưa vào quyển sách "The Grid: Blueprint for a New Computing Infrastructure" viết bởi tiến sỹ Ian Foster (Argonne National -5-