Grid Computing và Xây Dựng Tính Toán Lưới Trên Nên Tảng Alchemi

Chia sẻ: Hồ Sĩ Sơn | Ngày: | Loại File: DOCX | Số trang:39

Thêm vào BST

Báo xấu

317
lượt xem 73
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Công nghệ Grid Computing ra đời đánh dấu một bước phát triển mới .Trong lĩnh vực điện toán hiệu năng cao. Nó cho phép tận dụng năng lực xử lý, lưu trữ cùng các tài nguyên nhàn rỗi khác để cung cấp một môi tr ng tính toán có năng l c x lý l n, kh năng l u tr d i ườ ự ử ớ ả ư ữ ồ dào để giải quyết các bài toán phức tạp - khó có thể giải quyết được với các công nghệ hiện hành hoặc giải quyết được nhưng với chi phí rất cao -...

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Grid Computing và Xây Dựng Tính Toán Lưới Trên Nên Tảng Alchemi

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI Viện Toán Ứng Dụng và Tin Học BÁO CÁO ĐỒ ÁN 1 Đề tài : Grid Computing và Xây Dựng Tính Toán Lưới Trên Nên Tảng Alchemi Giảng viên hướng dẫn : Th.s Đoàn Duy Trung Sinh viên thực hiện : Hồ Sĩ Sơn Lớp : toán tin 1-k54 Lời nói đầu Công nghệ Grid Computing ra đời đánh dấu một bước phát triển mới .Trong lĩnh vực điện toán hiệu năng cao. Nó cho phép tận dụng năng lực xử lý, lưu trữ cùng các tài nguyên nhàn rỗi khác để cung cấp một môi
trường tính toán có năng lực xử lý lớn, khả năng lưu trữ dồi dào để giải quyết các bài toán phức tạp - khó có thể giải quyết được với các công nghệ hiện hành hoặc giải quyết được nhưng với chi phí rất cao - trong khoa học, thương mại. Grid Computing giúp tận dụng tối đa tài nguyên, tăng cường hợp tác, giảm chi phí đầu tư trong khi vẫn cung cấp năng lực tính toán như mong muốn. Hiện nay, đất nước ta đang thực hiện công cuộc công nghiệp hoá, hiện đại hóa, trong đó việc rút ngắn sự tụt hậu, phát triển về khoa học công nghệ là yếu tố then chốt quyết định đến thành công của công cuộc đổi mới. Song song với quá trình phát triển, ngày càng có nhiều bài toán mới, đòi hỏi năng lực xử lý lớn xuất hiện trong khoa học, thương mại và quản lý đất nước. Các công nghệ tính toán hiện hành cũng được áp dụng nhưng không thể triển khai rộng rãi để có thể giải quyết hết các nhu cầu do chi phí đầu tư quá lớn. Việc nghiên cứu, áp dụng công nghệ Grid Computing là một giải pháp tốt để giải quyết các tình huống này. Hơn nữa, công nghệ Grid Computing hiện nay còn khá mới mẻ, đang trong giai đoạn hoàn thiện, việc cùng tham gia nghiên cứu với cộng đồng thế giới sẽ giúp chúng ta học hỏi kinh nghiệm, tiến tới làm chủ công nghệ, từ đó có thể phát triển theo hướng đi của riêng mình, đáp ứng nhu cầu tính toán hiệu năng cao ngày càng tăng của đất nước. với tinh thần tham gia nghiên cứu, học hỏi công nghệ, đề tài Đồ án “Tìm hiểu công nghệ Grid computing và xây dựng tính toán lưới trên nên tảng Alchemi “ được thực hiện nhằm đi những bước đầu tiên trong quá trình nghiên cứu, phát triển, ứng dụng Grid vào thực tế. Đồ án nghiên cứu các vấn đề chung của công nghệ Grid Computing, xây dựng tính toán lưới trên nền tảng Alchemi.tính toán một số bài toán với Alchemi ,hiệu suất bài toán với Alchemi Mục lục Chương I - Tổng quan Grid Computing 1.1.Định nghĩa…………………………………………………………… 1.2. Lịch sử phát triển………………………………………………… 1.3. Tài nguyên Grid Computing……………………………………… 1.4. Lợi ích và ứng dụng……………………………………………… Hồ sĩ Sơn Trang 2
Chương II – Kiến trúc và thành phần grid computing 2.1. Kiến trúc Grid .............................................................................. 2.1.1. Tầng Fabric……………………………………………………… 2.1.2. Tầng Connectivity……………………………………………… 2.1.3.Tầng Resource…………………………………………………… 2.1.4. Tầng Colective………………………………………………….. 2.1.5. Tầng Application………………………………………………… 2.2,Thành phần………………………………………………………… 2.2.1 .Phân chia theo mô hình chức năng…………………………… 2.2.2.các thành phần theo mô hình vật lí……………………………… Chương III – Một số Grid Middleware chính 3.1. Khái niệm Grid Middleware……………………………………… 3.2. Một số Grid Middleware ……………………………………… 3.2.1. Unicore………………………………………………………… 3.2.2. Globus…………………………………………………………… 3.2.3. Gridbus………………………………………………………… 3.2.4. Alchemi………………………………………………………… 3.3. So sánh các Grid Middleware…………………………………… Chương IV – Xây dựng hệ thống Grid Computing trên nền tảng Alchemi 4.1. Giới thiệu ………………………………………………………… 4.2. Cài đặt, cấu hình và hoạt động…………………………………… 4.2.4. Manager Platform........................................................................ 4.3 xây dưng bài toán............................................................................ 4.4. Kết quả thực hành………………………………………………… Tài liệu tham khảo……………………………………………………… Phần nhận xét giáo viên hướng dẫn……………………………………. Chương I. Tổng quan về công nghệ Grid Computing Định nghĩa 1.1 Một định nghĩa về Grid khá hoàn chỉnh được đưa ra bởi tiến sỹ Ian Foster như sau :“Grid là một loại hệ thống song song, phân tán cho phép chia sẻ, lựa chọn, kết hợp các tài nguyên phân tán theo địa lý, thuộc nhiều tổ chức khác nhau dựa trên tính sẵn sàng, khả năng, chi phí của chúng và yêu cầu về chất lượng dịch vụ (QoS) của người dùng để giải quyết các bài toán, ứng dụng có quy mô lớn trong khoa học, kỹ thuật và thương mại. Hồ sĩ Sơn Trang 3
Từ đó hình thành nên các “tổ chức ảo” (Virtual Organization (VO)), các liên minh tạm thời giữa các tổ chức và tập đoàn, liên kết với nhau để chia sẻ tài nguyên và/hoặc kỹ năng nhằm đáp ứng tốt hơn các cơ hội kinh doanh hoặc các dự án có nhu cầu lớn về tính toán và dữ liệu, toàn bộ việc liên minh này dựa trên các mạng máy tính”Một hệ thống Grid có những đặc trưng sau: 1. Có sự kết hợp, chia sẻ các tài nguyên không được quản lý tập trung Grid tích hợp và phối hợp tài nguyên, người dùng thuộc nhiều vùng quản lý khác nhau, nhiều đơn vị khác nhau trong một tổ chức, hay nhiều tổ chức khácnhau. Công nghệ Grid tập trung giải quyết các vấn đề về bảo mật, chính sách quản trị, chi phí, thành viên,… nảy sinh trong quá trình chia sẻ và sử dụng tài nguyên. 2. Sử dụng các giao diện và giao thức chuẩn, mang tính mở, đa dụng.Grid được xây dựng trên các giao thức và giao diện tổng quát, đa dụng đểgiải quyết các vấn đề cơ bản như chứng thực người dùng, phân quyền, tìm kiếm và truy xuất tài nguyên. 3. Đáp ứng yêu cầu cao về chất lượng dịch vụ.Grid cho phép sử dụng phối hợp các tài nguyên để cung cấp nhiều loại dịch vụ với các mức chất lượng khác nhau, liên quan đến ví dụ như thời gian đáp ứng, hiệu suất, tính sẵn sàng, bảo mật, cho phép kết hợp nhiều kiểu tài nguyên để đáp ứng nhu cầu phức tạp của người dùng. Mục tiêu là phải phối hợp làm sao để khả năng của hệ thống sau khi kết hợp phải lớn hơn hẳn tổng khả năng của từng đơn vị cấu thành nên Grid. Lịch sử phát triển 1.2 Năm 1990, khi thuật ngữ “siêu tính toán”(metacomputing) ra đời, dùng để mô tả các dự án kết nối các trung tâm siêu máy tính của Mỹ nhằm kết hợp sức mạnh xử lý của nhiều siêu máy tính lại với nhau. Đến năm 1995, 2 dự án siêu tính toán quan trọng, ảnh hưởng lớn đến các công nghệ nền tảng trong các dự án Grid ngày nay là FAFNER (Factoring via Network- Enabled Recursion) và I-WAY(Information Wide Area Year) ra đời.Khái niệm Grid ra đời ở phòng thí nghiệm Argonne National Laboratory vào tháng 7/1997.Năm 1998. IanFoster đã từng tham gia dự án I-WAY, Carl Kesselman là người tham gia dự án Globus Toolkit, một dự án nền tảng của công nghệ Grid và Metacomputing.Từ đó đến nay, việc phát triển công nghệ Grid trở nên rất sôi động với sự tham gia nghiên cứu, đầu tư của nhiều tổ chức, tập đoàn công nghệ thông tin, nhiều quốcgia, và đã thu được những thành tựu lớn 1.3 Tài nguyên của Grid Các tài nguyên của Grid bao gồm các loại sau: 1.3.1 Tài nguyên tính toán Đây là tài nguyên phổ biến nhất, là các chu kỳ tính toán (computing cycles) được cung cấp bởi bộ vi xử lý của các thiết bị trong Grid. Các bộ vi xử lý không cần phải cùng loại mà có thể có tốc độ, Hồ sĩ Sơn Trang 4
kiến trúc, chạy phần mềm khác nhau.Có 3 cách để khai thác tài nguyên tính toán của Grid: 1. Cách đơn giản nhất là chạy các ứng dụng hiện có trên một node của Grid hay vì chạy trên máy tính cục bộ. 2. Thiết kế ứng dụng, tách các công việc thành các phần riêng rẽ để có thể thực thi song song trên nhiều bộ xử lý khác nhau. 3. Chạy ứng dụng thực thi nhiều lần trên nhiều node khác nhau trong Grid. 1.3.2 Tài nguyên lưu trữ Tài nguyên phổ biến thứ nhì trong Grid là tài nguyên lưu trữ. Mỗi thiết bị trong Grid thường cung cấp một số dung lượng lưu trữ phục vụ cho việc thực thi ứng dụng trên Grid. Tài nguyên lưu trữ có thể là bộ nhớ trong, ổ đĩa cứng hoặc các thiết bị lưu trữ khác. Bộ nhớ trong thường dùng để lưu trữ dữ liệu tạm thời cho ứng dụng, trong khi các thiết bị lưu trữ ngoài có thể được sử dụng để tăng không gian lưu trữ, tăng hiệu suất, khả năng chia sẻ và đảm bảo tính tin cậy của dữ liệu. 1.3.3 Tài nguyên mạng: Cơ chế quản lý: có tác dụng làm cho việc lưu chuyển trong mạng được tốt hơn, hiệu quả hơn thông qua các quyền ưu tiên, chế … Cơ chế thẩm tra: cho phép xác định các đặc điểm của mạng. + Các kho mã nguồn: là nơi quản lý tất cả các loại tài nguyên và tất cả các phiên bản của mã nguồn … + Các bộ sưu tập: là cơ chế bắt buộc để hiện thực và truy vấn các bộ sưu tập cũng như các thao tác cập nhật như trong cơ sở dữ liệu quan hệ …. 1.3.4. Phần mềm, ứng dụng Grid có thể được cài đặt các phần mềm mà có thể quá mắc để cài trên tất cả mọi máy tính trong Grid. Các phần mềm này chỉ cần được cài trên một số node. Thông qua Grid, khi một công việc cần đến chúng, nó sẽ gửi dữ liệu đến node đã được cài đặt phần mềm và cho thực thi. Đây có thể là một giải pháp tốt để tiết kiệm chi phí về bản quyền phần mềm. 1.4. Ích lợi & Ứng dụng Một số ích lợi khi sử dụng công nghệ Grid Computing: 1. Khai thác, tận dụng các tài nguyên nhàn rỗi.Hầu hết các tổ chức đều có một lượng lớn các tài nguyên tính toán nhàn rỗi, các máy tính cá nhân thường chỉ sử dụng hết5% thời gian xử lý CPU, ngay cả các server cũng thường “rảnh rỗi”. Grid có thể tối ưu sử dụng các tài nguyên nhàn rỗi này theo nhiều cách khác nhau, ví dụ, gửi một công việc trên một máy tính đang bận rộn đến một máy khác rảnh rỗi hơn để xử lý, hoặc phân nhỏ một công việc rồi gửi các công việc con đến các máy tính nhàn rỗi khác cho xử lý song song,…Grid cho phép kết hợp nhiều không gian lưu trữ nhàn rỗi để tạo thành một không gian lưu trữ lớn hơn, được cấu hình để tăng hiệu suất, độ tin cậy hơn so với các máy đơn lẻ thông qua các cơ chế quản lý Hồ sĩ Sơn Trang 5
dữ liệu.Một chức năng của Grid nữa là cân bằng sử dụng tài nguyên tốt hơn. Một tổ chức thường gặp các vấn đề không mong đợi khi các hoạt động đòi hỏi thêm nhiều tài nguyên hơn. Với Grid, có thể chuyển hoạt động đến các tài nguyên nhàn rỗi khác, hoặc có thể thêm các tài nguyên mới một cách dễ dàng, từ đó làm tăng khả năng chịu đựng của hệ thống. Grid có thể quản lý nhiều loại tài nguyên, do đó có thể cho phép theo dõi tổng quan về các hoạt động sử dụng tài nguyên trong các tổ chức lớn, hỗ trợ hoạch định các chiến lược sử dụng tài nguyên. 2. Sử dụng CPU song song Khả năng sử dụng các CPU song song là một đặc tính tuyệt vời của Grid,ngoài việc hỗ trợ các nhu cầu tính toán của các nhà khoa học, sức mạnh tính toán do Grid cung cấp có thể giúp giải quyết các bài toán đòi hỏi năng lực xử lý lớn trong các ngành khác như y dược, tính toán tài chính, kinh tế, khai thác dầu hoả, dự báo thời tiết, công nghiệp vũ trụ, thiết kế sản phẩm,và rất nhiều lĩnh vực khác. 3. Cho phép hợp tác trên toàn thế giới Một trong những đóng góp quan trọng của công nghệ Grid Computing là cho phép và đơn giản hoá hợp tác chia sẻ, làm việc giữa một cộng đồng rộng lớn trên toàn thế giới. 4. Cho phép chia sẻ, sử dụng tất cả các loại tài nguyên Không chỉ cho phép chia sẻ các chu kỳ tính toán, dữ liệu, Grid có thể cho phép chia sẻ tất cả các loại tài nguyên mà trước đây chưa được chia sẻ, như băng thông mạng, các thiết bị đặc biệt, phần mềm, bản quyền, các dịch vụ,… Ví dụ, nếu một người dùng muốn tăng băng thông kết nối Intenet của mình lên để thực hiện một ứng dụng khai thác dữ liệu, ứng dụng đó có thể được gửi đến nhiều máy tính trong Grid có các kết nối Internet riêng, từ đó băng thông truy cập Internet của anh ta tăng lên rất nhiều lần,… 5. Tăng tính tin cậy cho các hệ thống máy tính. Các hệ thống trong Grid thường rẻ và phân tán theo địa lý, do đó, nếu có sự cố về nguồn điện hay các lỗi hệ thống khác tại một vị trí, toàn bộ phần còn lại không bị ảnh hưởng. Các phần mềm quản trị Grid có khả năng thực thi lại công việc trên một node khác khi phát hiện có lỗi hệ thống. Nếu quan trọng hơn nữa, trong các hệ thống theo thời gian thực, nhiều bản dự phòng của các các công việc quan trọng có thể được chạy trên nhiều máy tính khác nhau trong Grid để đảm bảo độ tin cậy tối đa. 6. Tăng khả năng quản trị các hệ thống Mục tiêu ảo hoá tất cả các tài nguyên và cung cấp giao diện quản lý đơn nhất các hệ thống hỗn tạp đem lại những cơ hội mới để quản trị tốt hơn trong các cơ sở hạ tầng công nghệ thông tin lớn, phân tán. Bên cạnh đó, đối với tầm quản lý vĩ mô, có nhiều dự án sử dụng cơ sở hạ tầng công thông tin, Grid cho phép quản lý độ ưu tiên sử dụng tài nguyên của các dự án này. Trước đây, mỗi dự án thường chịu trách nhiệm quản lý một số tài nguyên, thường xảy ra tình trạng các tài nguyên của dự án này đang nhàn rỗ trong khi dự án khác đang gặp vấn đề, thiếu tài nguyên do gặp các sự kiện không lường trước. Với tầm nhìn rộng hơn do Grid cung cấp, các tình huống trên có thể được giải Hồ sĩ Sơn Trang 6
quyết dễ dàng.Trên đây giới thiệu một số ích lợi khi sử dụng công nghệ Grid Computing, Grid còn mang lại rất nhiều lợi ích khác mà không thể kể hết ở đây, tuỳ vào tình huống cụ thể mà đem lại các lợi ích khác nhau. Vấn đề là phải hiểu rõ bản chất Grid, sử dụng tốt các công cụ nhằm khai khác tốt nhất trong các tình huống cụ thể. Công nghệ Grid Computing có thể được ứng dụng trong các bài toán trong khoa học lẫn thương mại: + Đòi hỏi năng lực xử lý lớn (High-performance computing), yêu cầu rút ngắn thời gian hoàn thành kết quả càng nhanh càng tốt. + Hướng dữ liệu, đòi hỏi phải thu thập, lưu trữ, phân tích một lượng lớn dữ liệu, mang tính phân tán. + Cần sự hợp tác, chia sẻ giữa các cộng đồng. 2.kiến trúc grid computing Kiến trúc Grid, theo Ian Foster, là một kiến trúc phân tầng như trong Hình 1 .Các thành phần trong một tầng có chung đặc điểm, tính chất, có thể được xây dựng từ bất cứ tầng dưới nào. Các thành phần được phân tầng dựa theo vai trò của chúngtrong hệ thống Grid. Đây là một kiến trúc mở. Kiến trúc này chỉ quy định các yêu cầu chung nhất về thiết kế và triển khai với mục đích chính là để tham khảo. Việc xây dựng, cài đặt cụ thể tuỳ thuộc vào từng dự án, từng lĩnh vực ứng dụng. Dưới đây là chi tiết của kiến trúc: Hình 1 Kiến trúc Grid tổng quát. 2.1.1. Tầng Fabric Chức năng chính của tầng này là cung cấp các loại tài nguyên chia sẻ, được phép truy cập của mạng lưới thông qua các giao thức mạng lưới. Các loại tài nguyên này bao gồm: tài nguyên tính toán, các hệ thống lưu trữ dữ liệu, các catalog thông tin, các tài nguyên mạng và các đầu cảm biến (sensors). Các thành phần ở tầng này được triển khai ở mức cục bộ; các thao tác Hồ sĩ Sơn Trang 7
tài nguyên đặc biệt diễn ra trên các tài nguyên đặc biệt trong tầng này chính là một kết quả của các thao tác được chia sẽ ở tầng cao hơn. Như vậy là có một sự ràng buộc tinh vi, chặt chẽ giữa các chức năng được cài đặt ở lớp nền với các thao tác chia sẻ được hỗ trợ ở tầng khác. Các loại tài nguyên trong tầng này đều bị ràng buộc bởi hai cơ chế : Cơ chế quản lý tài nguyên (Resource Management Mechanism): cho phép cung cấp khả năng điều phối chất lượng dịch vụ. Cơ chế thẩm tra (Enquiry Mechanism): cho phép tìm hiểu cấu trúc, tình trạng và các tính năng của tài nguyên . Các phân loại tài nguyên chính trong tầng tác chế: + Tài nguyên tính tóan: là các cơ chế bắt buộc tuân thủ khi bắt đầu chạy chương trình, cho phép kiểm soát, điều khiển việc thi hành các tiến trình. Cơ chế quản lý: cho phép quản lý các loại tài nguyên đã được xác định rõ vị trí làm cho các tiến trình đạt được lợi ích nhiều hơn . Cơ chế thẩm tra: có khả năng xác định rõ phần cứng , phầm mềm nhờ các thông tin về tình trạng của hệ thống (tải hiện thời, tình trạng hàng đợi …) + Tài nguyên lưu trữ: là cơ chế bắt buộc cho việc lấy về và tải lên các tập tin từ hệ thống lưu trữ, cho phép đọc một phần của tập tin cũng như cho phép chọn lọc dữ liệu từ các tập tin ở xa. Cơ chế quản lý: làm cho việc di chuyển tập tin dễ dàng hơn (không gian, băng thông đĩa, băng thông mạng, tải của CPU …) Cơ chế thẩm tra: xác định tình trạng phần cứng và phần mềm thông qua các thông tin tải. Thí dụ dung lượng đĩa còn trống, băng thông sử dụng … + Tài nguyên mạng: Cơ chế quản lý: có tác dụng làm cho việc lưu chuyển trong mạng được tốt hơn, hiệu quả hơn thông qua các quyền ưu tiên, chế … Cơ chế thẩm tra: cho phép xác định các đặc điểm của mạng. + Các kho mã nguồn: là nơi quản lý tất cả các loại tài nguyên và tất cả các phiên bản của mã nguồn … + Các bộ sưu tập: là cơ chế bắt buộc để hiện thực và truy vấn các bộ sưu tập cũng như các thao tác cập nhật như trong cơ sở dữ liệu quan hệ … 2.1.2. Tầng Connectivity Đây là tầng quan trọng để tạo nên hạt nhân của các giao thức xác thực và truyền thông bắt buộc của các giao dịch đặc trưng trong hệ thống mạng lưới. Giao thức truyền thông cho phép chuyển đổi dữ liệu qua lại giữa các loại tài nguyên ở tầng chế tác. Giao thức xác thực được xây dựng trên các dịch vụ truyền thông để cung cấp các cơ chế mã hóa và bảo mật trong việc kiểm tra xác thực người dùng và tài nguyên mạng lưới. Truyền thông bao gồm các công đoạn: truyền thông tin, định tuyến và đặt tên. Những giao thức này tương tự như các giao thức trong TCP/IP: Internet Protocol (IP) , Transport Protocols (TCP , UDP) và các giao thức tầng ứng dụng (DNS , OSPF , RSVP …) Hồ sĩ Sơn Trang 8
Các vấn đề bảo mật phức tạp trong mạng lưới được giải quyết bằng các giải pháp xây dựng và nâng cấp từ các chuẩn đã có. Trong truyền thông hiện có rất nhiều các chuẩn bảo mật được phát triển trong ngữ cảnh Internet. Giải pháp xác thực trong môi trường mạng lưới các tổ chức ảo bao gồm các đặc điểm sau : + Cơ chế đăng nhập một lần (Single Sign On): người dùng chỉ cần đăng nhập vào mạng lưới một lần duy nhất. Sau đó hệ thống phải quản lý người dùng đã xác thực và cho phép truy cập các tài nguyên được phép trong lớp chế tác mà không yêu cầu cung cấp các thông tin xác thực nữa. + Cơ chế ủy quyền (Delegation, Proxy): người dùng có thể ủy quyền lại cho một chương trình trong một khoảng thời gian xác định truy cập đến các loại tài nguyên mà anh ta được phép sử dụng. Chương trình này cũng có thể ủy quyền có điều kiện một phần các tập quyền của nó cho chương trình con khác. Hệ thống mạng lưới phải hiểu, kiểm soát chặt chẽ và đáp ứng tốt cơ chế ủy quyền này một cách trong suối đối với chương trình được trao ủy quyền. + Cơ chế tích hợp đa giải pháp bảo mật địa phương (Integration with various local security solutions): Đặc điểm của mạng lưới là mỗi site chứa tài nguyên mạng lưới đều có cơ chế bảo mật tại chỗ không giống nhau (các cơ chế xác thực như Kerberos, LDAP, Active Directory, username/password,... ). Cơ chế bảo mật mạng lưới phải có khả năng giao tiếp bên trong với các cơ chế bảo mật địa phương mà không yêu cầu thay thế toàn bộ các giải pháp bảo mật hiện có, nhưng cần có cơ chế ánh xạ bảo mật trong các môi trường cục bộ khác nhau. + Cơ chế quan hệ tin tưởng dựa trên người dùng (User-based Trust Relationships): người dùng có thể sử dụng các loại tài nguyên có được từ sự kết hợp của nhiều nhà cung cấp khác nhau. Việc kết hợp đó không bắt buộc các nhà cung cấp tài nguyên phải tác động qua lại lẫn nhau nhựng phải đảm bảo cấu hình của cơ chế bảo mật hiện có. Ví dụ, xem xét trường hợp một người dùng có quyền sử dụng hai site A và site B. Khi đó người dùng có quyền dùng site A và B cùng một lúc mà không cần phải thông qua các quản trị viên của các site A và B, khi các site này đã được thiết lập cơ chế quan hệ tin tưởng dựa trên người dùng. Giải pháp bảo mật của mạng lưới cũng đồng thời cung cấp khả năng hỗ trợ cơ chế bảo vệ truyền thông một cách linh hoạt và khả năng hỗ trợ này được cho là đáng tin cậy hơn giao thức TCP/IP truyền thống trên Internet. 2.1.3. Tầng Resource Tầng này được xây dựng trên nền tảng sẵn có của tầng kết nối . Đây là tầng dùng để xác định các giao thức chính cho các quá trình thương lượng, khởi tạo, kiểm tra, điều khiển, tính toán và kiểm toán chi phí của các thao tác được chia sẻ trên các tài nguyên. Những giao thức trong tầng tài nguyên sẽ gọi các chức năng trong tầng chế tác để truy cập và sử dụng các Hồ sĩ Sơn Trang 9
loại tài nguyên cục bộ. Có hai loại giao thức chính trong các giao thức của tầng tài nguyên: + Giao thức thông tin (Information protocol): cho phép lấy các thông tin về cấu trúc, tình trạng của một loại tài nguyên nào đó trong mạng lưới. + Giao thức quản lý (Management protocol): dùng để sắp xếp quản lý thứ tự các truy cập đến các tài nguyên được chia sẻ. 2.1.4. Tầng Collective Trong khi tầng tài nguyên chỉ cho phép truy cập đến một loại tài nguyên đơn thì tầng kết hợp tập thể lại chứa các giao thức và dịch vụ cho phép giao tiếp giữa các tài nguyên trong mạng lưới. Tầng này bao gồm các dịch vụ chính như sau: + Các dịch vụ thư mục (Directory Services): cho phép các thành phần tham gia trong hệ thống mạng lưới tổ chức ảo tìm hiểu sự tồn tại và các thuộc tính của các loại tài nguyên của họ. Một dịch vụ thư mục cũng cho phép người dùng truy vấn các thuộc tính của tài nguyên, loại tài nguyên, tính khả dụng … + Các dịch vụ chứa chấp, lập lịch, môi giới (Co-allocation, Scheduling & Broker Services): cho phép các thành phần tham gia vào mạng lưới tổ chức ảo gởi yêu cầu đến một hay nhiều máy chủ cho các mục đích chứa chấp, lập lịch và môi giới truy cập các tài nguyên tương ứng. + Các dịch vụ giám sát và dự báo (Monitoring and Diagnostic Services): cho phép hệ thống hỗ trợ kiểm soát tài nguyên trong mạng lưới các tổ chức ảo. + Các dịch vụ nhân bản dữ liệu (Data Replication Services): cho phép hỗ trợ việc quản lý lưu trữ tài nguyên trong mạng lưới tổ chức ảo (kể cả mạng và năng lực tính toán) tạo điều kiện cho truy cập tài nguyên đến mức cao nhất có thể. + Các hệ thống lập trình hỗ trợ mạng lưới (Grid-enable Programming Systems): tương tự như mô hình lập trình giao tiếp ứng dụng (API) thông thường, nhưng dùng trong môi trường mạng lưới. Hệ thống này cho phép sử dụng các dịch vụ mạng lưới để xác định các thông tin tài nguyên, thực hiện cơ chế bảo mật mạng lưới, định vị trí tài nguyên và tất cả những gì có liên quan đến mạng lưới. + Hệ thống quản lý tải và môi trường cộng tác (Workload Management System & Collaboration Framework): tương tự như môi trường giải quyết vấn đề PSE (Problem Solving Environment), hệ thống này cung cấp các đặc tả, cách dùng và quản lý đa bước, quản lý tính đồng bộ, đa luồng, đa thành phần… trong các tiến trình tính toán. + Dịch vụ tìm kiến phần mềm (Software Discovery Service): hỗ trợ tìm kiếm và lựa chọn phần mềm cài đặt và làm nền tảng cho mạng lưới. 2.1.5. Tầng Application Đây là tầng cuối cùng trong kiến trúc mạng lưới, bao gồm tất cả các Hồ sĩ Sơn Trang 10
ứng dụng hướng tới người dùng trong môi trường mạng lưới của các tổ chức ảo. Về nguyên tắc, người sử dụng có thể tương tác với mạng lưới thông qua tầng ứng dụng một cách trong suốt mà không nhận biết được sự có mặt của các tầng khác trong mạng lưới Các thành phần trong mô hình tính toán lưới. 2.2 Để tạo thành một hệ thống theo tính toán lưới, chúng phải bao gồm nhiều thành phần. Có hai tiêu chí để đánh giá và chia công việc theo t ừng thành phần. 2.2.1 Phân chia theo mô hình chức năng. Về mặt chức năng thì lưới gồm các thành phần sau: ổng tương tác (Grid portal): là một giao diện cho phép người dùng sử dụng các ứng dụng lưới, do đó lưới trở nên trong suốt với người dùng. Thành phần bảo mật (Security): là cơ chế đảm bảo các hoạt động như xác thực, cấp quyền, bảo mật-toàn vẹn dữ liệu và tính sẵn sàng của dữ liệu. Chức năng an ninh nút (Node Security Function): chức năng này chịu tránh nhiệm xác thực và bảo mật cho từng nút trong quá trình giao tiếp giữa nó và các thành phần khác bên trong mạng lưới. Nó phụ thuộc vào hệ điều hành và các hệ thống lưới cụ thể, thường thấy là cơ chế cấp chứng ch ỉ quyền truy cập. Bộ lập lịch (Scheduler): là phần phối hợp quá trình thực thi của nhiều công việc song song. Đơn giản, người sử dụng có thể chọn nút thích h ợp đ ể chạy tác vụ, sau đó chỉ việc kích hoạt lệnh để định tuy ến công vi ệc đó t ới nút đã chọn. Thành phần môi giới (Broker): sau khi người dùng được xác nhận quyền gia nhập vào mạng lưới bởi thành phần an ninh nút, thành ph ần này sẽ chỉ rõ ứng dụng của người dùng được sử dụng tài nguyên nào và đảm bảo tài nguyên được sẵn sàng sử dụng theo tham số truyền vào. Quản lý, phân bổ tài nguyên (grid resource allocation manager, GRAM): cung cấp dịch vụ để kích hoạt từng công việc trên từng tài nguyên cụ thể; kiểm tra trạng thái công việc; đọc kết quả khi công việc đó kết thúc. Các thông tin của thành phần này sau đó sẽ được bộ lập lịch sử dụng. Tài nguyên (Resource): tài nguyên lưới bao gồm bộ xử lý, bộ lưu trữ, các ứng dụng và các thành phần. Quản lý dữ liệu (Data management): dữ liệu có thể nằm ở tài nguyên, hoặc là kết quả thực thi của một tác vụ nào đó. Thành phần quản lý dữ liệu phải đảm bảo an toàn và ổn định trong quá trình di chuyển dữ liệu giữa các lưới. Giao thức (Protocol): là thành phần đảm bảo lien kết các thành phần chức năng kể trên để có thể hoạt động và tương tác được với nhau trong mạng lưới. Hồ sĩ Sơn Trang 11
Các thành phần theo mô hình vật lý 2.2.2 Thành phần mạng (Networks): mạng đóng vai trò là c ơ s ở h ạ t ầng đ ể truyền số liệu và các thông tin giám sát công việc giữa các điểm trong mạng lưới. Băng thông mạng là một thuộc tính rất quan trọng liên quan đên hiệu suất lưới. Thành phần tính toán (Computation): được cung cấp bởi các b ộ x ử lý trong lưới, chúng đa dạng về tốc độ, kiến trúc, nền tảng phần mềm và lưu trữ. Thành phần lưu trữ (Storage): dữ liệu có thể được lưu trữ phân tán trên nhiều thiết bộ xử lý hoặc một mạng SAN. Mỗi bộ xử lý th ường cung c ấp một dung lượng lưu trữ nhất định. Hệ thống file thường được dùng là NFS, DFS hoặc GPFS Phần mềm và bản quyền (Software and License): về ph ương di ện phần mềm trong môi trường tính toán lưới thì mức độ ổn định c ủa ứng dụng phần mềm và bản quyền phần mềm là hai vất đề cần được quan tâm nhất. Các thiết bị đặc biệt: một vài nút trên lưới có thể có nh ững thiết bị đ ặc biệt, chẳng hạn các thiết bị quân sự, y tế, hay các thi ết b ị chuyên d ụng khác. Chương 3 – Một số Grid Middleware chính 3.1 Định nghĩa Grid Middleware: Grid middleware là gói phần mềm nằm giữa lớp ứng dụng và hệ điều hành. Grid middleware quản lý sercurity, truy cập và trao đổi thông tin: Cung cấp khả năng kết nối số lượng lớn user Che dấu các tài nguyên chia sẽ rời rạc như máy tính, trung tâm dữ liệu,các thiết bị khác…Cung cấp các công cụ để quản lý,khởi tạo các liên kết trao đổi thông tin. Nhiêm vụ và lợi ích của grid middleware: Có 3 mục đích:Xây dựng các giao tiếp, và các giao thức có tính mục đích chung, tính mở và tính chuẩn. Bởi vì hệ thống lưới được xây dưng trên những giao tiếp và giao thức với rất nhiều mục đích khác nhau. Những giao tiếp và giao thức này điều chỉ ra được các kết quả cơ bản, mang tính nền tảng như về việc xác nhận, xác thực, khám phá tài nguyên, truy xuất tài nguyên. Do đó, việc xây dựng các giao tiếp, giao thức chuẩn và mở là rất quan trọng, nếu không, chúng ta chỉ xây dựng được những ứng dụng mang tính đặc thù mà thôi.Định nghĩa các giao thức chuẩn: Nó định nghĩa nội dung và chuỗi các sự kiện trao đổi thông điệp sử dụng các thao tác yêu cầu từ xa. Điều này rất quan trọng và thiết để thực hiện tính interoperability (nghĩa là khả năng mà 2 thực thể khác nhau có thể làm việc với nhau, và được thực hiện bởi các giao thức thông thường) mà hệ thống lưới phụ thuộc vào. Hồ sĩ Sơn Trang 12
Cung cấp các API chuẩn: đó là các giao diện lập trình ứng dụng chuẩn, định nghĩa các giao tiếp chuẩn để viết mã thư viện, và cấu trúc các thành phần của Grid bằng cách cho phép các thành phần mã được sử dụng lại.Khi có grid middleware thì giúp tránh cho các nhà phát triển ứng dụng không cần lập trình các mức thấp, tránh error-prone flatform như việc lập trình mạng mức socket.Giảm chi phí thời gian phát triển phần mềm khi tập trung phát triển chuyên môn trước rồi mới phát triển ứng dụng bằng cách tái sử dụng framework chứ không cần xây dựng lại từ đầu.Cung cấp các trừu tượng hướng mạng ở mức cao gần với yêu cầu ứng dụng cho việc phát triển hệ thống rời rạc.Cung cấp nhiều dịch vụ phát triển, như đăng nhập và bảo mật giúp cho việc hoạt động hiệu quả trong môi trường mạng. Kiến trúc Grid Middleware : Hịnh 2 Các thành phần của middleware nằm giữa Application và Fabric. Grid Middleware nằm giữa hai lớp:lớp ứng dụng (application), Lớp kết cấu (fabric) Grid middleware gồm 2 lớp chính:lớp Collection ,lớp Resource và lớp connectivity 3.2 Một số Grid Middleware 3.2.1 Globus Toolkit Giới thiệu Globus là phần mềm nguồn mở được dùng để xây dựng các hệ thống lưới và các ứng dụng trên nền tảng lưới. Tookit này cung cấp các dịch vụ và thư viện điểu khiển, khám phá và quản lý tài nguyên, quản lý tập tin, cung cấp các cơ chế bảo mật dữ liệu cho người dùng trong hệ thống lưới. Các dịch vụ, giao tiếp và giao thức của nó cho phép người dùng có thể dễ dàng truy xuất tới các tài nguyên ở xa ngay trên máy cục bộ của mình.Globus được phát triển bởi tổ chức Globus Alliance, phiên bản 1.0 ra Hồ sĩ Sơn Trang 13
đời vào năm 1998, phiên bản gần đây nhất là phiên bản5.0 ra đời vào tháng 1 năm 2010. Kiến trúc Cấu trúc của Globus gồm 3 nhóm dịch vụ chính, các dịch vụ này được truy xuất thông qua một tầng bảo mật (security layer). Ba nhóm dịch vụ đó là: dịch vụ quản lý tài nguyên (Resource Management), dịch vụ quản lý thông tin (Information Service), dịch vụ quản lý dữ liệu (Data Management). Globus đóng gói các dịch vụ này lại với nhau, chúng có thể được sử dụng một cách độc lập hoặc kết hợp chung với nhau để phát triển ứng dụng. Hình 3: Kiến trúc của Globus Toolkit Tầng local-service chứa các dịch vụ của hệ điều hành, dịch vụ mạng như là TCP/IP, Tầng chính chứa các công cụ để xây dựng các cơ chế bảo mật, gửi các công việc để thực thi (job submission), quản lý tài nguyên, quản lý thông tin tài nguyên. Tầng cao hơn cung cấp các dịch vụ và công cụ để tương tác với các dịch vụ bên dưới và hiện thực các chức năng còn thiếu. Tầng bảo mật GSI Tầng này cung cấp các phương thức xác thực của người dùng trong môi trường lưới và cơ chế bảo một trong trao đổi dữ liệu. Nó dựa trên nền tảng SSL, PKI và chuẩn X.509. Tầng GSI cung cấp các dịch vụ, giao thức và thư viện để thực thi các vấn đề bảo mật trong môi trường lưới như:Xác thực một lần (single sign-on) trong việc sử dụng các dịch vụ của hệ thống lưới thông qua chứng nhận (certificate) của người dùng.Xác thực việc sử dụng tài nguyên thông qua certificate của host Mã hóa dữ liệu Ủy quyền Người dùng muốn truy cập vào các tài nguyên của hệ thống lưới cần phải có một certificate subject ánh xạ với một tài khoản trên máy Hồ sĩ Sơn Trang 14
ở xa được cung cấp bởi người quản trị của hệ thống. Chứng thực này cần phải được ký bởi một tổ chức (CA) mà hệ thống tin tưởng. Hầu hết các dịch vụ đòi hỏi người dùng phải được xác thực trước khi sử dụng các chức năng của nó. Điều này đảm bảo việc chống thoái thác trách nhiệm và bảo mật dữ liệu cho cả người sử dụng lẫn hệ thống. Quản lý tài nguyên (resource management) Gói này gồm các thành phần chính sau: Globus resource allocation manager (GRAM): GRAM cung cấp khả năng thực thi các công việc trên các máy ở xa, và trả kết quả thực hiện lại cho trình khách. Khi người dùng gửi một công việc lên gatekeeper deamon trên máy ở xa, thì gatekeeper deamon sẽ kiểm tra xem người dùng này đã được xác thực hay chưa. Nếu người dùng này đã được xác thực thì nó sẽ tạo một job manager để quản lý và điều khiển việc thực thi công việc này. Tùy thuộc vào biểu thời gian (scheduler) của hệ thống mà job manager có được tao ra ngay lập tức hay không. Có nhiều loại biểu thời gian như: Portable batch system (PBS), Load sharing facility (LSF), và Load Leveler. Trong GRAM chứa Globus resource specification language (RSL) dùng để chứa các thông tin về tài nguyên mà một công việc cần để thực thi như số lượng CPU, kích thước tối thiểu của bộ nhớ,… Globus access to secondary storage (GASS): GASS là cơ chế truy cập tới các tập tin trong hệ thống, nó cho phép ứng dụng có thể đọc, ghi các tập tin trên hệ thống từ xa. GASS sử dụng GSI để đảm bảo đúng quyền hạn khi đọc ghi dữ liệu trên hệ thống. Dịch vụ cung cấp thông tin của tài nguyên (Information services) Gói này cung cấp thuộc tính của các nút (node) tham gia vào hệ thống lưới. Monitoring and dscovery service (MDS) cung cấp các hổ trợ để thông báo và truy vấn các thông tin tài nguyên của hệ thống. MDS gồm ba tầng: tầng dưới cùng là Information providers (IPs), nó chịu trách nhiệm tập hợp dữ liệu về thông tin, trạng thái của tài nguyên; tầng thứ hai là Grid resource information service (GRIS), nó chịu trách nhiệm trả lời các truy vấn về thông tin của tài nguyên và cập nhật vào cache; tầng trên cùng là Grid information index service (GIIS), nó làm đề mục (index) cho thông tin tài nguyên được cung cấp bởi GRIS và GIIS khác mà đăng ký với nó. Quản lý dữ liệu (Data management) Gói này cung cấp các tiện ích và thư viện để truyền tải, lưu trữ và quản lý các tập dữ liệu lớn. Nó gồm 2 thành phần chính: GridFTP: Đây là giao thức mở rộng của giao thức FTP nhằm đảm bảo dữ liệu được chuyển đổi trong môi trường lưới được bảo mật, đáng tin cậy và hiệu quả. Ngoài ra, nó được chạy trên tầng GSI nhằm đảm bảo quá trình truyền nhận được xác thực đúng người, đúng quyền. Hồ sĩ Sơn Trang 15
Replica location and management: thành phần này hỗ trợ một file có thể được lưu trữ nhiều nơi trong môi trường lưới. Replica location service (RLS) chịu trách nhiệm tạo và xóa các bản sao (replica) 3.2.2 UNICORE Giới thiệu UNICORE cung cấp một môi trường lưới bao gồn client và server. UNICORE hỗ trợ việc truy cập tới các tài nguyên tính toán và dữ liệu trong môi trường lưới một cách dễ dàng, liền mạch và an toàn. Kiến trúc Hình 4 : Kiến trúc của UNICORE UNICORE được thiết kế theo kiến trúc ba tầng (Hình 4). Theo cách nhìn từ phía người dùng đầu cuối, UNICORE là hệ thống khách-chủ được xây dựng theo mô hình ba tầng gồm: Tầng người dùng: người dùng chạy UNICORE client trên máy trạm hoặc máy cá nhân. Tầng máy chủ: Mỗi trung tâm máy tính tham gia định nghĩa một hoặc một vài Usite (UNICORE Grid site) để trình khách có thể kết nối vào. Tầng hệ thống: Usite cung cấp cơ chế truy cập đến các tài nguyên tính toán và tài nguyên dữ liệu. Chúng được tổ chức thành một hoặc một vài Vsite (Virtual site). Vsite có thể xem như là một hệ thống thực thi và lưu trữ tại các máy trung tâm. Hồ sĩ Sơn Trang 16
UNICORE client bao gồm hai thành phần: JPA (job preparation agent) và JMC (job monitor component). JPA dùng để khởi tạo các công việc, JMC điều khiển việc nhận kết quả thực thi công việc. Các công việc, trạng thái của một yêu cầu và kết quả thực thi được mô tả trong AJO (abstract job object). Trình khách kết nối với UNICORE Usite gateway và gửi công việc thông qua các AJO. UNICORE gateway là lối vào duy nhất cho tất cả các kết nối với Usite. Nó cung cấp một địa chỉ và một cổng để người dùng có thể kết nối vào bằng cách sử dụng giao thức SSL. UNICORE Vsite gồm hai thành phần: NJS (network job supervisor) và TSI (target system interface). NJS quản lý tất cả các công việc được gửi vào hệ thống UNICORE, thực hiện việc xác thực người dùng bằng cách tìm kiếm một chứng thực hợp lệ của người dùng trong cơ sở dữ liệu của nó UUDB. TSI nhận các công việc từ NJS và đưa chúng vào hệ thống để thực thi. Tổng quan về quá trình thực hiện một công việc trong UNICORE middleware Trình khách UNICORE tạo, thao tác, quản lý các công việc, đồng bộ các công việc, di chuyển dữ liệu giữa các hệ thống, các site. Trình khách tạo một AJO để gửi công việc về cho trình chủ. Trình chủ UNICORE sẽ thực thi các công việc sau: Chuyển các AJO thành các action phù hợp với hệ thống. Đồng bộ hóa các action với nhau. Chuyển các công việc và dữ liệu giữa các máy trạm, các hệ thống, và các site với nhau. Quản lý trạng thái: Một đơn vị thực thi của UNICORE là một công việc. NJS sẽ thực thi các công việc do người dùng gửi vào hệ thống. Một công việc có thể có một hoặc nhiều công việc nhỏ. Các công việc nhỏ cũng là một công việc và được xem như là một tác vụ đơn giản. Khi NJS thực thi một công việc, nó sẽ tạo một thư mục trên hệ thống cho công việc này. Thư mục này được xem như là một Uspace của công việc. Tất cả các tập tin sử dụng trong quá trình thực thi công việc sẽ được lưu trữ trong Uspace của công việc. Tất cả các tác vụ thực thi trong quá trình thực thi một công việc đều không được phép truy cập trực tiếp vào các tập tin của hệ thống (Xspace). Thay vào đó, khi một tác vụ nào đó muốn sử dụng một tập tin của hệ thống , nó sẽ chép tập tin đó vào Uspace, lúc nào tất cả các thao tác trên tập tin sẽ được thực hiện trên tập tin được lưu trữ trong Uspace. Khi AJO hoàn thành việc thực thi thì Uspace của nó sẽ được xóa đi. 3.2.3 Gridbus Hồ sĩ Sơn Trang 17
Dự án Gridbus là một dự án mã nguồn mở, thuộc nhiều cơ quan dẫn đầu bởi GRIDS Lab thuộc University of Melbourne, Australia. Nó là cho phép kết hợp các cluster hướng dịch vụ (service-oriented cluster) với các Grid middleware để hỗ trợ các ứng dụng eScience và eBusiness. Nó kết hợp các phần mềm liên quan và đưa ra một tầng trừu tượng nhằm che đi tính đa dạng, hỗn tạp của các tài nguyên và các công nghệ middleware tầng thấp từ góc nhìn của các nhà phát triển ứng dụng. Bên cạnh đó, nó tập trung hiện thực hoá mô hình tính toán tiện ích (ultility computing) trải dài từ các cluster đến Grid và các hệ thống tính toán ngang hàng (peer-to-peer). Gridbus sử dụng mô hình kinh tế trong việc quản lý các tài nguyên chia sẻ và nâng cao tính tiện nghi của các dịch vụ. Từ đó làm tăng khả năng thương mại của các dịch vụ Grid, cho phép quản lý hiệu quả việc cung và cầu tài nguyên. Gridbus hỗ trợ các tiện nghi ở nhiều mức khác nhau: + Mức tài nguyên thô (ví dụ : bán các chu kỳ CPU và tài nguyên lưu trữ) + Mức ứng dụng (ví dụ : các hoạt động phân tích phân tử cho các ứng dụng thiết kế thuốc ). + Tập các dịch vụ đã được kết hợp (ví dụ : môi giới và bán lại các dịch vụ qua nhiều vùng khác nhau). Ý tưởng tính toán kinh tế (computational economy) giúp cho việc tạo nên kiến trúc tính toán hướng dịch vụ trong đó, các người dùng dịch vụ phải trả tiền cho các ứng dụng và nhà cung cấp dựa trên những yêu cầu nhất định, người dùng có thể tối ưu hóa công việc bằng cách chọn các dịch vụ cần thiết trong một giới hạn về chi phí. Hình 5 kiến trúc Gridbus Hình vẽ cho thấy các thành phần của Gridbus trong việc liên kết với các công nghệ middleware khác như Globus, UNICORE và Alchemi. Gridbus cung cấp các phần mềm trong các lĩnh vực sau : • Enterprise Grid Infrastructure (Alchemi) Hồ sĩ Sơn Trang 18
Mặc dù phần lớn các tính toán khoa học đều sử dụng các hệ điều hành dòng Unix, nhưng phần lớn hạ tầng tính toán trong các tổ chức thương mại vẫn còn dựa trên Microsoft Windows. Do đó, Alchemi được phát triển để phục vụ nhu cầu thực hiện các giải pháp Grid tận dụng các khả năng tính toán dư thừa ở các được xây dựng trên nền Microsoft .NET Framework, cung cấp khả năng xây dựng các “desktop Grid”, nó cũng cung cấp mô hình lập trình hướng đối tượng cùng với giao diện Web service cho phép truy cập đến các service từ bất kỳ môi trường lập trình nào hỗ trợ SOAP và XML. • Cluster Economy and Resource Allocation (Libra) Libra là một hệ thống lập lịch cho cluster để đảm bảo rằng các tài nguyên chia sẻ cho các công việc của người dùng để chúng có thể hoàn thành trong một giới hạn về ngân sách do người dùng xác định. • Grid Economy and Virtual Enterprise (Grid Market Directory, compute Power Market) Đây có thể gọi là một thể hiện của cơ chế thị trường cho ngành tính toán kinh tế. Grid Market Directory (GMD) là một dịch vụ đăng ký cho phép các nhà cung cấp dịch vụ có thể đăng ký và phát hành các dịch vụ họ cung cấp và cho phép người tiêu dùng có thể truy vấn để tìm ra dịch vụ phù hợp với nhu cầu. Một số thuộc tính của dịch vụ là điểm truy cập(Access point), cơ chế đầu vào, và chi phí khi sử dụng nó. Compute Power Market (CPM) là một hệ thống lập lịch và quản lý tài nguyên theo cơ chế thị trường. Nó cho phép trao đổi năng lực tính toán nhàn rỗi trong mạng máy tính ngang hàng. Các thành phần của CPM đại diện cho thị trường, nhà cung cấp và tiêu thụ là Market Server, Market Resource Agent, và Market Resource Broker (MRB). Nó hỗ trợ nhiều mô hình kinh tế cho phép trao đổi tài nguyên, tìm kiếm nhà phân phối và tiêu thụ, cho phép đưa vào nhiều cơ chế lập lịch khác nhau. • Grid Trading and Accounting Services (GridBank) GridBank là một dịch vụ kế toán và chi trả trong Grid cung cấp một hạ tầng bảo mật, an toàn cho phép người tiêu dùng dịch vụ (Grid Service Consumers (GSC)) chi trả cho nhà cung cấp dịch vụ (Grid Service Providers (GSP)) về việc sử dụng dịch vụ của mình. • Grid Resource Brokering and Scheduling (Gridbus Broker) Gridbus Resource Broker cung cấp một giao diện trừu tượng đối với sự phức tạp của Grid bằng cách làm trong suốt quá trình truy cập tài nguyên để thực thi công việc trên Grid. Nó sử dụng các yêu cầu của người dùng để tạo ra một tập các công việc, tìm kiếm tài nguyên, lập lịch, thực thi và kiểm soát, và lấy kết quả về khi các công việc kết thúc. Gridbus broker có khả năng định vị và lấy các dữ liệu cần thiết từ nhiều nguồn và chuyển tới nơi xử lý. Nó cũng có khả năng chọn lựa nơi chứa dữ liệu tốt nhất trong nhiều site dựa trên sự có mặt của file và chất lượng đường truyền dữ liệu. Hồ sĩ Sơn Trang 19
• Grid Portals (GMonitor) G-Monitor là một web-portal để kiểm soát và điều khiển tính toán trên Grid. G-Monitor giao tiếp với các resource broker như Gridbus và Nimgrod- G và sử dụng các dịch vụ của chúng để khởi tạo và kiểm soát việc thực thi ứng dụng. Nó cung cấp các thông tin cập nhật về tiến trình thực thi từ mức chi tiết các công việc đến mức tổng quát toàn bộ ứng dụng. Khi kết thúc, người dùng có thể tập hợp các file kết quả thông qua G-Monitor. • Grid Simulation (GridSim) : Bộ toolkit GridSim cung cấp các tiện ích cho việc mô hình, giả lập các tài nguyên và kết nối mạng với các khả năng, cấu hình, vùng quản lý khác nhau. Nó hỗ trợ các thành phần cơ bản xây dựng các ứng dụng, dịch vụ thông tin phục vụ việc tìm kiếm tài nguyên, cung cấp giao diện phục vụ việc cấp phát tài nguyên cho các tác vụ và quản lý việc thực thi. Nó cũng cung cấp một một giao diện mô hình hoá trực quan để tạo các người dùng và tài nguyên. Các tính năng này có thể được sử dụng để giả lập các hệ thống song song và phân tán như resource broker hoặc Grid scheduler để lượng giá hiệu quả của các giải thuật lập lịch,… 3.2.4 .ALchemi . 3.2.4.1 Giới thiệu Cùng với sự tăng trưởng theo cấp số nhân của các máy tính cá nhân trên toàn cầu, ý tưởng xây dựng một siêu máy tính cho phép dựa vào nguồn tài nguyên của các máy tính cá nhân để giải quyết các bài toán có quy mô lớn trong khoa học, kỹ thuật và thương mại…. Mô hình mới này được đặt tên là Internet computing, hoặc cũng được gọi với một vài tên khác là Grid comuting, peer-to-peer (P2P) computing… Grid computing là một loại hệ thống phân tán, bố trí song song, cho phép linh hoạt chia sẻ, tuyển chọn và tập hợp các nguồn tài nguyên độc lập và rải rác về địa lý, tùy theo khả năng sẵn có, công suất hoạt động, chi phí và yêu cầu về chất lượng dịch vụ của người sử dụng. Middleware Alchemi được hình thành và phát triển bởi đại học Melbourne (Úc), cho phép tập hợp sức mạnh tính toán của các máy tính cá nhân tạo ra một siêu máy tính ảo (lưới máy tính) để phát triển các ứng dụng chạy trên lưới đó. Alchemi được thiết kế với mục đích dễ dàng sử dụng mà không mất đi tính linh hoạt, độ tin cậy và khả năng mở rộng. Alchemi là phần mềm mã nguồn mở được phát triển trên nền tảng Microsoft .NET Framework chạy trên hệ điều hành Windows. Một số tính năng chính được hỗ trợ bởi Alchemi: tập hợp các máy tính cá nhân không đồng nhất, thực hiện tính toán trên các nút (nodes), lập trình hướng đối tượng, hỗ trợ webservice cho phép tạo ra mạng lưới toàn cầu….. Alchemi đã được sử dụng để phát triển một số ứng dụng khoa học,thương mại: BLAST (Basic Local Alignment Search Tool) – được sử Hồ sĩ Sơn Trang 20