Bài giảng Tính toán song song và phân tán (Parallel and Distributed Computing) - Chương 1: Giới thiệu chung

Nội dung chinh<br /> <br /> Tính toán song song và phân tán<br /> (Parallel and Distributed Computing)<br /> 1<br /> <br /> PGS.TS. TRẦN VĂN LĂNG<br /> <br /> 2<br /> <br /> —  Xây dựng thuật giải song song.<br /> —  Đánh giá về độ phức tạp của thuật toán song song<br /> —  Tính số phần tử xử lý tối ưu cần thiết.<br /> —  Hiện thực chương trình tính toán song song bằng<br /> <br /> ngôn ngữ C/C++ trên hệ thống phân tán.<br /> <br /> Assoc. Prof. Tran Van Lang, PhD<br /> <br /> Assoc. Prof. Tran Van Lang, PhD<br /> <br /> Tài liệu đọc thêm<br /> 3<br /> <br /> Chương 1<br /> <br /> —  Behrooz Parhami (2002), Introduction to Parallel<br /> <br /> Processing, Klumwer Academic Publishers, p.557.<br /> (eBook)<br /> —  Al Geist, et al. (1994), PVM: Parallel Virtual<br /> Machine, MPT Press, p.298 (eBook)<br /> —  Peter S. Pacheco (1998), An User's Guide to MPI,<br /> University of Francisco, p.51 (eBook)<br /> —  Blaise Barney, Lawrence Livermore National<br /> Laboratory, Introduction to Parallel Computing<br /> (eBook)<br /> Assoc. Prof. Tran Van Lang, PhD<br /> <br /> 4<br /> <br /> GIỚI THIỆU CHUNG<br /> <br /> Assoc. Prof. Tran Van Lang, PhD<br /> <br /> 1<br /> <br /> Một ít về lịch sử<br /> 5<br /> <br /> 6<br /> <br /> —  Năm 1957, dự án LARC (Livermore Automatic<br /> —  Năm 1956, IBM bắt đầu dự án STRETCH để sản<br /> <br /> xuất siêu máy tính cho Los Alamos National<br /> Laboratory (LANL),<br /> —  Tốc độ xử lý gấp 100 lần máy cùng thời.<br /> <br /> Research Computer) thiết kế siêu máy tính cho<br /> (Lawrence Livermore National Laboratory LLNL).<br /> —  Máy tính này sử dụng cho Phòng thí nghiệm Quản<br /> <br /> trị an toàn về năng lượng hạt nhân.<br /> —  Năm 1959, máy tính STRETCH và LARC ra đời<br /> <br /> Assoc. Prof. Tran Van Lang, PhD<br /> <br /> Assoc. Prof. Tran Van Lang, PhD<br /> <br /> Một vài bài viết<br /> <br /> 2. Sự phát triển máy tính nhanh nhất<br /> <br /> 7<br /> <br /> 8<br /> <br /> —  Căn cứ vào chuẩn LINPACK do<br /> <br /> —  S. Gill, Parallel Programming, The Computer<br /> <br /> Journal, Vol.1, pp.2-10, 1958.<br /> —  J. Holland, A Universal Computer Capable of<br /> Executing an Arbitrary Number of Subprograms<br /> Simultaneously, Proceeding East Joint Computer<br /> Conference, Vol.16, pp.108-113, 1959.<br /> —  M.E. Conway, A Multiprocessor System Design,<br /> Proceeding AFIPS Fall Joint Computer<br /> Conference, Vol.4, pp.139-146, 1963<br /> Assoc. Prof. Tran Van Lang, PhD<br /> <br /> Giáo sư Jack Dongara đưa ra<br /> —  Chuẩn được dùng trong<br /> <br /> LINPACK là giải hệ phương<br /> trình tuyến tính dày đặc.<br /> —  Máy nhanh nhất được công bố<br /> <br /> trong hội thảo International<br /> Supercomputer Conference (sáu<br /> tháng một lần –<br /> http://www.top500.org)<br /> Assoc. Prof. Tran Van Lang, PhD<br /> <br /> 2<br /> <br /> Đơn vị đo<br /> <br /> Độ đo lý thuyết và cực đại<br /> <br /> 9<br /> <br /> 10<br /> <br /> —  1 Pflop/s (PetaFlop/s) = 1.000 Tflop/s<br /> —  1 Tflop/s (TetraFlop/s)= 1.000 Gflop/s<br /> —  1 Gflop/s (GigaFlop/s) = 1.000 Mflop/s<br /> —  1 Mflop/s (MegaFlop/s) = 1.000 Kflop/s<br /> —  1 Kflop/s (KiloFlop/s) = 1.000 Flop/s<br /> —  1 Flop/s = 1 Floating Point Operation per Second<br /> <br /> Assoc. Prof. Tran Van Lang, PhD<br /> <br /> —  Rpeak: là độ đo lý thuyết đỉnh điểm<br /> ¡  Xác<br /> <br /> định bằng cách tính số phép tính cộng và nhân được<br /> hoàn thành trong suốt một chu kỳ thời gian của máy.<br /> <br /> ¡  Chẳng<br /> <br /> hạn, máy với 1.5 GHz có thể hoàn thành 4 phép<br /> tính trong một cycle, thì hiệu suất lý thuyết là 6 GFlop/s<br /> <br /> —  Rmax: là độ đo cực đại mà máy tính có thể thực hiện<br /> <br /> được theo chuẩn LINPACK<br /> <br /> Assoc. Prof. Tran Van Lang, PhD<br /> <br /> LINPACK Benchmark<br /> <br /> Benchmark for Distributed-Memory Computers<br /> <br /> 11<br /> <br /> 12<br /> <br /> —  Để cài đặt, có thể dùng phần mềm HPL (High-<br /> <br /> Performance Linpack)<br /> —  Địa chỉ http://www.netlib.org/benchmark/hpl/<br /> <br /> Assoc. Prof. Tran Van Lang, PhD<br /> <br /> Assoc. Prof. Tran Van Lang, PhD<br /> <br /> 3<br /> <br /> Máy nhanh nhất vào 11/2004<br /> 13<br /> <br /> 14<br /> <br /> —  BlueGene/L DD2 beta-System (0.7 GHz PowerPC 440)<br /> ¡ <br /> <br /> 70,72 Tflops (70.720.000.000.000 flops)<br /> <br /> ¡ <br /> <br /> 216 = 65,536 compute nodes<br /> <br /> —  5 máy nhanh nhất 11/2004<br /> <br /> Assoc. Prof. Tran Van Lang, PhD<br /> <br /> Assoc. Prof. Tran Van Lang, PhD<br /> <br /> Tháng 11/2005<br /> 15<br /> <br /> Assoc. Prof. Tran Van Lang, PhD<br /> <br /> Tháng 6/2006<br /> 16<br /> <br /> Assoc. Prof. Tran Van Lang, PhD<br /> <br /> 4<br /> <br /> Tốc độ phát triển<br /> <br /> Tháng 11/2006<br /> <br /> 17<br /> <br /> 18<br /> <br /> Assoc. Prof. Tran Van Lang, PhD<br /> <br /> Assoc. Prof. Tran Van Lang, PhD<br /> <br /> Tháng 6/2007<br /> <br /> Tháng 11/2008<br /> <br /> 19<br /> <br /> 20<br /> <br /> —  Mạnh nhất: máy Roadrunner<br /> <br /> do hãng IBM chế tạo.<br /> ¡  Sử<br /> <br /> dụng hệ điều hành Linux<br /> <br /> ¡  Bộ<br /> <br /> xử lý thuộc loại PowerXCell 8i<br /> 3200 MHz, có tốc độ tính toán<br /> của một bộ xử lý là 12.8 GFlops<br /> <br /> Assoc. Prof. Tran Van Lang, PhD<br /> <br /> Assoc. Prof. Tran Van Lang, PhD<br /> <br /> 5<br /> <br />