Câu hỏi ôn tập kỹ nghệ phần mềm nâng cao

Chia sẻ: Nguyen Dang Nhuong | Ngày: | Loại File: DOC | Số trang:61

Thêm vào BST

Báo xấu

373
lượt xem 130
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Câu 1: Chất lượng của một sản phẩm phần được sản xuất là gì? Đối với phần mềm định nghĩa này có đúng không? Làm thế nào để áp dụng định nghĩa đó - Chất lượng của sản phẩm được thể hiện bằng các đặc trưng phù hợp với các đặc tả của nó. - Định nghĩa này là chung cho mọi sản phẩm. Với phần mềm có một số vấn đề:  Phần mềm có yêu cầu mà chưa có đặc tả  Phần mềm có đặc tả nhưng lại mù mờ  Có những yêu cầu tự nhiên nên không được đặc tả...

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Câu hỏi ôn tập kỹ nghệ phần mềm nâng cao

Mục lục Mục lục..................................................................................................................................................................................................................................1 ................................................................................................................................................................................................................................................5 ÂU HỎI ÔN TẬP KỸ NGHỆ PHẦN MỀM NÂNG CAO....................................................................................................................................................6 1. Chất lượng và đảm bảo chất lượng phần mềm..............................................................................................................................................................6 1.1. Khái niệm về đảm bảo chất lượng.......................................................................................................................................................................6 Câu 1: Chất lượng của một sản phẩm phần được sản xuất là gì? Đối với phần mềm định nghĩa này có đúng không? Làm thế nào để áp dụng định nghĩa đó..................................................................................................................................................................................................................6 Câu2: Cái gì được dùng làm cơ sở để kiểm định chất lượng phần mềm: ................................................................................................................7 Câu 3: Để làm cơ sở cho việc kiểm định chất lượng, đặc tả các yêu cầu phần mềm cần thoả mãn các điều kiện gì? Nêu một vài ví dụ về điều kiện đưa ra.............................................................................................................................................................................................................7 Câu 4: Các nhân tố ảnh hưởng lên chất lượng phần mềm có mấy mức độ? Những loại nhân tố nào ảnh hưởng đến chất lượng?....................7 Câu 5: Nêu các đặc trưng ảnh hưởng lên chất lượng của mỗi loại nhân tố: đặc trưng chức năng, khả năng thích nghi với thay đổi, khả năng thích nghi với môi trường..............................................................................................................................................................................................8 Câu 6: Có thể đo trực tiếp chất lượng phần mềm không? Tại sao? Vậy phải đo bằng cách nào?........................................................................11 Câu 7: Kể ra các độ đo đặc trưng chất lượng chính của McCall? Giải thích nội dung của nó?.............................................................................11 Câu 8: Giải thích nội dung các thuộc tính chất lượng phần mềm sau đây và nêu ra các độ đo liên quan được sử dụng để đo thuộc tính đó:....12 Câu 9: Nêu các đặc trưng chất lượng theo Hawlett? Giải thích nội dung mỗi loại.................................................................................................14 1.2. Tiến hóa của hoạt động đảm bảo chất lượng ...........................................................................................................................................................15 Câu 10: Đảm bảo chất lượng phần mềm xuất phát từ đâu? Tiến triển của nó như thế nào..................................................................................15 Câu 11:Tại sao cần đảm bảo chất lượng phần mềm? Nó đóng vai trò gì trong một doanh nghiệp phát triển phần mềm?................................15 Câu 12: Khi nào cần thực hiện các hoạt động đảm bảo chất lượng phần mềm:....................................................................................................16 Câu 13: Trong một tổ chức ai là người tham gia vào hoạt động đảm bảo chất lượng? Vai trò và trách nhiệm của mỗi đối tượng đó là gì?.....16 Câu 14: Mục tiêu của SQA là gì? Các hoạt động chính đảm bảo chất lượng phần mềm là những hoạt động nào?............................................16 Câu 15: Giải thích nội dung tóm tắt của mỗi hoạt động chính đảm bảo chất lượng?...........................................................................................17 1.3. Rà soát phần mềm........................................................................................................................................................................................................18 Câu 16: Rà soát phần mềm được hiểu là gì (khái niệm, mục tiêu, cách thức áp dụng)? Nêu các lợi ích của việc ra soát?...................................18 Câu 17: Các hình thức của hoạt động rà soát? trình bày khái niệm, mục tiêu của rà soát kỹ thuật chính thức?.....................................................18 Câu 19: Trình bày nội dung cơ bản một cuộc họp rà soát: thành phần, thời gian, công việc cần làm, phương châm , sản phẩm?......................19 Câu 20 Các sản phẩm của cuộc họp rà soát là gì? Nội dung, vai trò của mỗi sản phẩm đó?.................................................................................21 Câu 21 Khi nào tiến hành rà soát? Cần rà soát những sản phẩm gì..........................................................................................................................21 Câu 22: Trình bày nội dung danh mục rà soát của?....................................................................................................................................................21 Trình bày những nội dung cơ bản (mục tiêu, nội dung, danh mục) của...................................................................................................................23 1
2. Các độ đo đặc trưng chất lượng phần mềm..................................................................................................................................................................27 2.1. Các độ đo chỉ số chất lượng chương trình..........................................................................................................................................................27 23. Nêu các ký hiệu và giải thích các độ đo: s1,s2,s3,s4,s5,s6,s7 và D1=1&0, (D2=1-s2/s1), (D3=1-s3/s1), (D4=1-s5/s4), (D5=1-s6/s4), (D6=1- s7/s1)?...........................................................................................................................................................................................................................27 24. Sử dụng công thức Σ wiDi với Σ wi = 1 như thế nào và để làm gì?..................................................................................................................27 25. Giải thích nội dung các thành phần và ý nghĩa độ đo SMI = và cách sử dụng nó?...................................................28 26.Số đo độ phức tạp của McCabedựa trên cái gì và những đại lượng cụ thể nào?...............................................................................................29 - Số đo dựa trên độ phức tạp chu trình trong đồ thị chương trình của một modun..................................................................................................29 + Số chu trình có chu trình lồng nhau.........................................................................................................................................................................29 + Số chu trình trong một chu trình..............................................................................................................................................................................29 - Người ta cũng dùng các miền phẳng của đồ thị phẳng để biểu diễn đồ thị chương trình...................................................................................29 27.đảm bảo chất lượng phần mềm dựa trên thống kê nghĩa là gì?Nó gồm những công việc gì? Kể ít nhất năm nguyên nhân của những khuyết điểm trong phần mềm?...................................................................................................................................................................................29 Là bảo đảm chất lượng thống kê phản ánh một xu thế ngày càng tăng trong công nghiệp...................................................................................29 Công việc bao gồm:.....................................................................................................................................................................................................29 - Thu thập và phân loại thông tin khiếm khuyết phần mềm....................................................................................................................................29 - Cố gắng lần vết để tìm ra nguyên nhân..................................................................................................................................................................29 - Dùng nguyên lý Pare cô lập 20% khiếm khuyết......................................................................................................................................................29 - Sau khi tìm được nguyên nhân sẽ chỉnh sửa các nguyên nhân của khiếm khuyết.................................................................................................29 Các nguyên nhân gây ra khiếm khuyết có thể là:.......................................................................................................................................................29 - Đặc tả không đầy đủ hoặc sai sót (IES)..................................................................................................................................................................29 - Hiểu nhầm khi giao tiếp với khách hàng (MCC).....................................................................................................................................................29 - Lệch hướng dự định khi đặc tả (IDS).....................................................................................................................................................................29 - Vi phạm các chuẩn lập trình (VPS).........................................................................................................................................................................29 - Sai trong biểu diễn dữ liệu (EDR)..........................................................................................................................................................................29 - Không phù hợp với giao diện modun (IMI).............................................................................................................................................................29 - Sai trong logic thiết kế (EDL)..................................................................................................................................................................................29 - Thử nghiệm sai hoặc không đầy đủ (IET). . ..........................................................................................................................................................29 28. Nêu công thức khiếm khuyết của một sản phẩm ở một pha phát triển? và công thức tính khiếm khuyết của sản phẩm cuối cùng? Giải thích ý nghĩa của nó?....................................................................................................................................................................................................29 - Người phát triển cần phải tính chỉ số khiếm khuyết cho mỗi bước chính phát triển phần mềm........................................................................29 - Các thông tin để tính mức độ khiếm khuyết............................................................................................................................................................29 + Di= tổng số các khiếm khuyết...............................................................................................................................................................................29 + Si= số các khiếm khuyết nghiêm trọng.................................................................................................................................................................29 2
+ Mi= Số các khiếm khuyết vừa phải......................................................................................................................................................................29 + Ti =số các khiếm khuyết nhỏ................................................................................................................................................................................29 - Với mỗi bước chính trong phát triển phần mềm cần tính chỉ số pha PIi:..............................................................................................................29 PIi=w1(Si/Di) + w2(Mi/Di) + w3(Ti/Di)...................................................................................................................................................................29 Trong đó w1, w2, w3 là trọng số tương ứng với các khiếm khuyết nghiêm trọng, vừa phải và nhỏ.....................................................................30 Trọng số này ước lượng mức thiệt hại mà loại đó mang lại....................................................................................................................................30 - Chỉ số khiếm khuyết DI được tính như sau:...........................................................................................................................................................30 DI= (PI1 + 2PI2 +. . .+iPIi)/PS..................................................................................................................................................................................30 Trong đó PS là kích cỡ của sản phẩm (là LOC = số dòng mã, hoặc số tuyên bố thiết kế, hoặc số trang tài liệu) tuỳ theo từng bước..............30 Theo công thức: các khiếm khuyết càng về sau càng về sau càng nhân với hệ số lớn...........................................................................................30 29. Tiếp cận hình thức cho SQA nghĩa là gì? Quá trình phòng sạch là gì? Phương châm của kỹ thuật này là gì?.................................................30 Người ta nhận thấy cần phải dùng một cách tiếp cận hình thức hơn trong việc bảo đảm chất lượng phần mềm, cách tiếp cận này sẽ bổ sung cho các hoạt động mô tả ở trên..........................................................................................................................................................................30 Tiếp cận hình thức hoá: đặc tả hình thức cho phép chứng minh tính đúng đắn, kiểm tra lỗi, chuyển tự động thành chương trình . . . làm tăng chất lượng....................................................................................................................................................................................................................30 - Kiểm chứng chương trình một cách hình thức (chứng minh tính đúng đắn) và bảo đảm chất lượng phần mềm thống kê hợp lại với nhau cho ta ta một kỹ thuật cải thiện chất lượng sản phẩm, được gọi là quá trình phòng sạch.....................................................................................30 - Phương châm của kỹ thuật này là: Phòng khiếm khuyết hơn là trừ khiếm khuyết ............................................................................................30 2.2. Các độ đo về sự tin cậy và an toàn......................................................................................................................................................................30 31. Thế nào là thất bại của phần mềm? Có mấy thang bậc? là những thang bậc nào?..........................................................................................30 32. Nêu chỉ tiêu để tính độ tin cậy? Nêu công thức tính độ sẵn sàng? Giải thích ý nghĩa của nó?.........................................................................31 33. Có những mô hình độ tin cậy nào? Nó dựa trên tham biến nào và trên giả thiết nào? Mô hình độ tin cậy gieo hạt dựa trên ý tưởng nào? Mục tiêu để làm gì.......................................................................................................................................................................................................31 34 Độ an toàn phần mềm là cái gì?Có những phương pháp nào để phân tích độ an toàn?......................................................................................32 35. Khảo sát nhu cầu SQA gồm những nội dung gì? nhằm trả lời các câu hỏi gì?nếu có nhu cầu thì mình làm gì?.............................................33 36. Có những vấn đề gì đạt ra khi triển khai SQA? Lợi íchcủa SQA là gì? Nguyên tắc chi phí hiệu quả của SQA là gì?...................................33 3. Kiểm thử phần mềm...................................................................................................................................................................................................33 3.1. Khái niệm về kiểm thử........................................................................................................................................................................................33 37. Tại sao phải kiểm thử phần mềm? Mục tiêu kiểm thử là gì? Từ đó có quan niệm già sai về kiểm thử phần mềm?..................................33 38. Thế nào là một ca kiểm thử tốt? ca kiểm thử thành công? Lợi ích phụ kiểm thử là gì.....................................................................................34 39. Biểu đồ dòng thông tin kiểm thử mô tả cái gì? vẽ biểu đồ của nó?.................................................................................................................35 40. Kể các đối tượng và phương pháp kiểm thử phần mềm? Mỗi phương pháp đó thường được sử dụng vào giai đọan nào của quá trình phát triển?.............................................................................................................................................................................................................................36 41. Một ca kiểm thử là cái gì? Mục tiêu thiết kế ca kiểm thử? các bước để xây dựng một ca kiểm thử?...........................................................36 3
42. Kiểm thử hộp trắng là cái gì? Nó nhằm kiểm tra những nội dung nào?...........................................................................................................36 43. Kiểm thử hộp đen là cái gì? Nó giúp kiểm tra những nội dung nào của đối tượng kiểm thử?........................................................................37 44. Chiến lược kiểm thử phần mềm là cái gì? Nêu các nguyên tắc trong chiến lược kiểm thử phần mềm?.......................................................37 45. Nêu các bước của chiến lược kiểm thử thời gian thực và giải thích nội dung của mỗi bước.........................................................................38 46. Có những loại công cụ tự động nào trợ giúp kiểm thử, mô tả nội dung của mỗi loại......................................................................................38 47. Ai là người phải tham gia kiểm thử phần mềm? Nêu vai trò và trách nhiệm của mối đối tượng?..................................................................38 3.2. Các phương pháp kiểm thử..........................................................................................................................................................................................39 a. Kiểm thử hộp trắng ................................................................................................................................................................................................39 48. Kiểm thử hộp trắng dựa trên cơ sơ nào để thiết kế ca kiểm thử? Thiết kế ca kiểm thử phải đảm bảo điều kiện gì?................................39 49. Đồ thị dòng gồm những yếu tố nào? Xây dựng nó dựa vào đâu? Nó có đặc trưng gì, Đồ thị dòng dùng để làm gì?.....................................39 50. Con đường cơ bản trong đồ thị dòng là cái gì? Độ phức tạp của chu trình là gì? Nêu các công thức tính độ phức tạp? ...............................40 51. Ma trận thử nghiệm được cấu trúc như thế nào? Nó được dùng để làm gì?...................................................................................................41 52 Nêu các loại điều khiển trong cấu trúc điều khiển và cho ví dụ? Có những loại sai nào trong điều kiện khi kiểm thử.................................41 53. Chiến lược kiểm thử phân nhánh nghĩa là gì? Yêu cầu đặt ra cho kiểm thử phân nhánh là gì?.......................................................................42 54. Chiến lược kiểm thử miền là cái gì? Nó dựa trên tư tưởng nào?......................................................................................................................42 55. Chiến lược kiểm thử BRO là cái gì? Nó dựa trên tư tưởng nào?.......................................................................................................................42 57. Kiểm thử điều khiển dòng dữ liệu nghĩa là gì? Cho ví dụ?...............................................................................................................................43 58. Kiểm thử điều khiển vòng lặp nghĩa là gì? Cho ví dụ?.......................................................................................................................................44 59. Mô hình của kiểm thử hộp đen quan tâm đến những nhân tố nào của phần mềm? Nó nhằm tìm ra các loại sai nào? Nêu các phương pháp áp dụng cho nó?...........................................................................................................................................................................................................45 60. Trình bày phương pháp phân hoach: nguyên tắc, mục tiêu và thiết kế ca kiểm thử? Phương châm xác định lớp tương đương là gi?..........46 61. Phân tích giá trị biên nghĩa là gì? Phương châm phân tích giá trị biên là gì?......................................................................................................46 62. Kỹ thuật nhân quả nghĩa là gì? Nêu các bước của ký thuật đó?.......................................................................................................................46 63. Chiến lươc kiểm thử thời gian thực gồm mấy bước? là những bước nào? Giải thích nội dung cơ bản mỗi bước? ....................................47 64. Kiểm thử đơn vị là gì? Quan hệ của nó với hoạt động mã hóa như thế nào?...................................................................................................47 65. Nội dung cụ thể của hoạt động kiểm thử đơn vị liên quan đến những vấn đề gì (tham số, vào ra, dữ liệu cục bộ, thủ tục tính toán, các dòng điều khiển)?........................................................................................................................................................................................................48 66. Kỹ thuật kiểm thử đơn vị sử dụng là gì? vì sao phải sử dụng ký thuật đó? Có những khó khăn thuận lợi gì?..............................................49 67. Kiểm thử tích hợp thực hiện khi nào? Tại sao phải kiểm thử tích hợp?............................................................................................................49 68. Có những phương pháp gì được áp dụng cho kiểm thử tích hợp? mô tả tóm tắt nội dung mỗi phương pháp?..............................................50 69. Nêu các bước kiểm thử tích hợp từ trên xuống? Ưu nhược điểm của cách tiếp cận này?..............................................................................50 70. Nêu các bước kiểm thử tích hợp từ dưới lên? Ưu nhược điểm của cách tiếp cận này?..................................................................................51 71. Các tài liệu kiểm thử tích hợp gồm những loại gì?............................................................................................................................................51 72. Kiểm thử Beta là cái gì? Kiểm thử Alpha là cái gì? Giữa chúng khác nhau cơ bản ở chỗ nào ?......................................................................52 4
73. Nội dung chính của kiểm thử hệ thống ? Nêu một số câu hởi đặt ra cho kiểm thử hệ thống ?......................................................................53 74 Kiểm thử phục hồi là gì ?....................................................................................................................................................................................53 75. Kiểm thử an ninh là gì ?......................................................................................................................................................................................53 76. Kiểm thử áp lực là gì............................................................................................................................................................................................54 77. Kiểm thử thi hành là gì?......................................................................................................................................................................................54 78. Gỡ rối được hiểu là gì ? Nó thực hiện khi nào ? Khó khăn của việc gỡ rối là gì ?..........................................................................................55 79. Trình bày tiến trình gỡ rối ? Cách thức gỡ rối ? ưu nhược điểm của chúng......................................................................................................55 80. Quản lý cấu hình phần mềm là cái gì? Nội dung của hoạt động quản lý cấu hình gồm những công việc gì?...............................................57 81. Cấu hình phần mềm là cái gì? Nội dung các khoản mục chính trong cấu hình phần mềm gồm những gì?....................................................57 82. Quản lý cấu hình nhằm mục tiêu gì?Năm nhiệm vụ của quản lý cấu hình là gì..............................................................................................58 83. Phương pháp gì được áp dụng cho việc quản lý cấu hình? Mốc giới là cái gì? Sử dụng mốc giới để kiểm soát sự thay đổi như thế nào? ......................................................................................................................................................................................................................................59 84. Trình bày tiến trình kiểm soát sự thay đổi? ........................................................................................................................................................59 85. Phiên bản là cái gì? Làm thế nào để kiểm soát các phiên bản...........................................................................................................................60 86.Kiểm toán cấu hình phần mềm nghĩa là gì? Hoạt động kiểm toán cần trả lời những câu hỏi gì?....................................................................60 11. Báo cáo hiện trạng nghĩa là gì? Nó cần trả lời được những câu hỏi gì? Đầu ra của báo cáo hiện trang dành cho ai? mục tiêu của nó là gì? ......................................................................................................................................................................................................................................60 5
ÂU HỎI ÔN TẬP KỸ NGHỆ PHẦN MỀM NÂNG CAO 1. Chất lượng và đảm bảo chất lượng phần mềm 1.1. Khái niệm về đảm bảo chất lượng Câu 1: Chất lượng của một sản phẩm phần được sản xuất là gì? Đối với phần mềm định nghĩa này có đúng không? Làm thế nào để áp dụng định nghĩa đó - Chất lượng của sản phẩm được thể hiện bằng các đặc trưng phù hợp với các đặc tả của nó. - Định nghĩa này là chung cho mọi sản phẩm. Với phần mềm có một số vấn đề:  Phần mềm có yêu cầu mà chưa có đặc tả  Phần mềm có đặc tả nhưng lại mù mờ  Có những yêu cầu tự nhiên nên không được đặc tả - Chất lượng phần mềm là: - việc tuân thủ các yêu cầu chức năng và sự hoàn thiện đã được phát biểu tường minh - các chuẩn phát triển đã được tư liệu hoá tường minh - các đặc trưng không tường minh được trông đợi từ tất cả các phần mềm đã được phát triển theo cách chuyên nghiệp: Theo quan điểm của người phát triển thì một phần mềm tốt là một phần mềm ít lỗi. Đó chính là chất lượng của chương trình. Vấn đề là làm thế nào để chương trình chạy giống như thiết kế. Chất lượng của phần mềm theo quan điểm này chính là quan điểm chất lượng theo kiểu lập trình. Nguời ta cũng gọi chất luợng này là chất lượng theo nghĩa cần thiết vì nó phản ánh cái bắt buộc phải làm có tính nguyên tắc mặc dù nói chung nguời ta không đạt được. Đã có một sự thay đổi lớn trong cách quan niệm chất lượng của phần mềm. Theo quan điểm của khách hàng, phần mềm tốt là phần mềm đáp ứng tốt yêu cầu của khách hàng và dễ dùng, dễ bảo trì. Đó là chất lượng theo quan điểm thiết kế. Vấn đề là làm thế nào để thiết kế đáp ứng đúng nhu cầu của người sử dụng. Người ta cũng nói đó là chất lượng theo nghĩa hấp dẫn vì nó hướng tới người dùng. Còn một khía cạnh mới trong quan niệm chất lượng của phần mềm đó là độ tin cậy, được hiểu là tính chính xác, tính ổn định, tính an toàn của phần mềm. Kể từ khi máy tính trở thành hạ tầng mới của xã hội, độ tin cậy của phần mềm trở nên hết sức quan trọng đối với các hoạt động xã hội. Đây là chất lượng theo nghĩa xã hội đo mức độ ảnh hưởng của sản phấm tới mọi người (không kể chính người phát triển và NSD trực tiếp). Một phần mềm tốt không những phải đáp ứng nhu cầu của người phát triển mà phải thoả mãn người sử dụng và có độ tin cậy cao. Vậy có thể định nghĩa: Chất lượng là mức độ thoả mãn của NSD đối với sản phẩm hay dịch vụ . 6
Câu2: Cái gì được dùng làm cơ sở để kiểm định chất lượng phần mềm: Để đánh giá chất lượng phần mềm người ta dựa vào quan điểm chính sau: • Yêu cầu phần mềm là cơ sở để đo chất lượng:  Sự phù hợp với yêu cầu là có chất lượng  Phù hợp yêu cầu cả về số lượng và chất lượng • Yêu cầu thể hiện bằng đặc tả - đặc tả phải có chuẩn của nó mới kiểm tra được • Các chuẩn đặc tả xác định một bộ các tiêu chuẩn phát triển, các tiêu chuẩn này hướng dẫn cách thức làm ra phần mềm: nếu không tuân thủ các tiêu chuẩn đó thì hầu như chắc chắn là chất lượng sẽ kém • Luôn có một tập các yêu cầu ngầm thường ít được nhắc đến  Quá thông dụng, hiển nhiên (sử dụng cửa số)  Không thể hiện ra ngoài (quy tắc nghiệp vụ) • Nếu phần mềm chỉ phù hợp với các yêu cầu đã hiển thị mà chưa phù hợp với yêu cầu ngầm thì chất lượng phần mềm là đáng nghi ngờ • Cần làm rõ yêu cầu và đưa vào đặc tả càng nhiều càng tốt Câu 3: Để làm cơ sở cho việc kiểm định chất lượng, đặc tả các yêu cầu phần mềm cần thoả mãn các điều kiện gì? Nêu một vài ví dụ về điều kiện đưa ra. Yêu cầu phần mềm là cơ sở để đo chất lượng. Yêu cầu thể hiện ra bằng đặc tả và đặc tả phải có chuẩn của nó mới kiểm tra được. Các chuẩn đặc tả xác định một bộ các tiêu chuẩn phát triển, các tiêu chuẩn này hướng dẫn cách thức làm ra phần mềm: nếu không tuân thủ các tiêu chuẩn đó thì hầu chắc chắn là chất lượng sẽ thiếu sót. Câu 4: Các nhân tố ảnh hưởng lên chất lượng phần mềm có mấy mức độ? Những loại nhân tố nào ảnh hưởng đến chất lượng? - Có 2 loại mức độ ảnh hưởng  Nhân tố trực tiếp  Nhân tố gián tiếp - Có 3 loại nhân tố ảnh hưởng đến chất lượng  Đặc trưng chức năng  Khả năng đương đầu với những thay đổi  khả năng thích nghi với môi trường mới. 7
Câu 5: Nêu các đặc trưng ảnh hưởng lên chất lượng của mỗi loại nhân tố: đặc trưng chức năng, khả năng thích nghi với thay đổi, khả năng thích nghi với môi trường • McCall đề xuất 11 nhân tố và phân thành 3 loại: (1) đặc trưng chức năng (2) khả năng đương đầu với những thay đổi (3) khả năng thích nghi với môi trường mới. • Loại 1: Các đặc trưng chức năng - (5)  Tính đúng đắn - Có làm đúng với cái tôi muốn hay không? - Có thỏa mãn những điều đã được đặc tả chưa? - Có thực hiện được những mục tiêu nhiệm vụ của khách hàng chưa? o Độ đày đủ o Độ hòa hợp o Độ lần vết được  Tính tin tưởng được - mức hy vọng vào sự thực hiện các chức năng dự kiến - mức chính xác được đòi hỏi o Độ chính xác o Độ phức tạp o Độ hòa hợp o Độ dung thứ lỗi o Độ đo mođun hoá o Độ đơn giản – dễ hiểu. o Độ lần vết được  Tính hiệu quả: khối lượng tài nguyên tính toán và mã được đòi hỏi khi thực hiện các chức năng của chương trình o Độ súc tích o Độ hiệu quả thực hiện o Độ dễ thao tác  Tính toàn vẹn: có thể khống chế được việc truy cập của những người không được phép tới phần mềm và dữ liệu o Độ kiểm toán được o Trang bị đồ nghề đủ o Độ an ninh.  Tính khả dụng: đo công sức học hiểu, thao tác, chuẩn bị đầu vào, thể hiện đầu ra của chương trình 8
o Độ dễ thao tác o Độ đo khả năng huấn luyện • Loại 2: khả năng đương đầu với những thay đổi - (3)  Tính bảo trì được: nỗ lực đòi hỏi để định vị và xác định được một sai trong chương trình o Độ súc tích o Độ hoà hợp o Trang bị đồ nghề đủ o Độ đo mođun hoá o Độ tự cấp tài liệu o Độ đơn giản - dễ hiểu  Tính mềm dẻo: nỗ lực đòi hỏi để cải biên một chương trình o Độ phức tạp o Độ súc tích o Độ hoà hợp o Độ khuếch trương được o Độ khái quát o Độ đo mođun hoá o Độ tự cấp tài liệu o Độ đơn giản - dễ hiểu  Tính thử nghiệm được: nỗ lực đòi hỏi để thử nghiệm một chương trình và bảo đảm rằng nó thực hiện chức năng được dự định cho nó o Độ kiểm toán được o Độ phức tạp o Trang bị đồ nghề đủ o Độ đo mođun hoá o Độ tự cấp tài liệu o Độ đơn giản - dễ hiểu • Loại 3: khả năng thích nghi với môi trường mới - (3)  Tính mang chuyển được: nỗ lực đòi hỏi để chuyển nó từ một môi trường phần cứng/phần mềm này sang một môi trường phần cứng/phần mềm khác o Độ khái quát o Độ độc lập phần cứng o Độ đo mođun hoá o Độ tự cấp tài liệu o Độ độc lập hệ thống phần mềm 9
 Tính sử dụng lại được: một chương trình (hoặc một phần của nó) có thể được dùng lại trong một ứng dụng khác o Độ khái quát o Độ độc lập phần cứng o Độ đo mođun hoá o Độ tự tạo tài liệu o Độ độc lập hệ thống phần mềm  Tính liên tác được: nỗ lực đòi hỏi để ghép đôi một hệ thống vào một hệ thống khác o Độ tương đồng giao tiếp o Độ tương đồng dữ liệu o Độ khái quát o Độ đo mođun hoá. • Có hai mức độ ảnh hưởng  Nhân tố trực tiếp: có thể thực tiếp đo như lỗi/KLOC/ đơn vị thời gian  Nhân tố gián tiếp: nhân tố chỉ có thể đo được một cách gián tiếp như tính bảo trì Nhân tố Đúng Tin cậy Hiệu Toàn Khả Bả o Mềm Thử M Độ đo đắn được quả vẹn dụng trì dẻo nghiệm được được Kiểm toán được X x Chính xác x Tương đồng giao tiếp Đầy đủ X Phức tạp x x x Súc tích x x x Hòa hợp X x x x Tương đồng dữ liệu Dung thứ lỗi x Hiệu quả thực hiện x Khuyếch trương x được Độc lập phần cứng Trang bị đủ đồ nghề X x x Đo Modul hóa x x x x Dễ thao tác x x An ninh X Tự tạo tài liệu x x x Đơn giản - Dễ hiểu x x x x Độc lập hệ thống phần mềm Lần vết được X x Khả năng huấn luyện x Khái quát x 10
Câu 6: Có thể đo trực tiếp chất lượng phần mềm không? Tại sao? Vậy phải đo bằng cách nào?  Nhân tố trực tiếp: có thể trực tiếp đo như lỗi/KLOC/ đơn vị thời gian Câu 7: Kể ra các độ đo đặc trưng chất lượng chính của McCall? Giải thích nội dung của nó? • McCall đề xuất 22 độ đo sau: (1) Độ kiểm toán được: có thể kiểm tra dễ dàng về việc tuân thủ các chuẩn (2) Độ chính xác: Độ chính xác của tính toán và điều khiển (3) Độ tương đồng giao tiếp: mức độ sử dụng các giao diện, giao thức và giải thông chuẩn. (4) Độ đầy đủ: mức độ theo đó các việc cài đặt đầy đủ cho các chức năng yêu cầu đã được đạt tới. (5) Độ phức tạp: tránh dùng chương trình có độ phức tạp cao (6) Độ súc tích (conciseness): độ gọn của chương trình dưới dạng số dòng mã. (7) Độ hoà hợp (consistancy): việc dùng kỹ thuật thiết kế và tư liệu thống nhất trong toàn bộ chương trình. (8) Độ tương đồng dữ liệu: việc dùng các cấu trúc và kiểu dữ liệu chuẩn trong toàn bộ chương trình (9) Độ dung thứ lỗi: những hỏng hóc xuất hiện khi chương trình gặp phải một lỗi được chấp nhận. (10) Độ hiệu qủa thực hiện: hiệu năng khi chạy của chương trình (11) Độ khuếch trương được:Mức độ theo đó thiết kế kiến trúc, dữ liệu hay thủ tục có thể được mở rộng. (12) Độ khái quát: độ rộng rãi của ứng dụng tiềm năng của các thành phần chương trình. (13) Độ độc lập phần cứng: mức độ theo đó phần mềm tách biệt được với phần cứng mà nó vận hành. (14) Trang bị đồ nghề đủ (instrumentation):mức độ theo đó chương trình điều phối thao tác của riêng nó và xác định các lỗi xuất hiện (15) Độ đo mođun hoá: sự độc lập chức năng của các thành phần trong chương trình (16) Độ dễ thao tác: Việc dễ vận hành trong chương trình (17) Độ an ninh: có sẵn cơ chế kiển soát hay bảo vệ chương trình và dữ liệu. (18) Độ tự tạo tài liệu (self-doccumentation): mức độ theo đó mã gốc cung cấp tài liệu có ý nghĩa. (19) Độ đơn giản - dễ hiểu: mức độ theo đó người ta có thể hiểu được chương trình không khó khăn. 11
(20) Độ độc lập hệ thống phần mềm: mức độ theo đó chương trình được độc lập với các tính năng ngôn ngữ lập trình, các đặc trưng hệ điều hành và những ràng buộc môi trường không chuẩn khác. (21) Độ lần vết được: khả năng theo dõi các dấu vết của một biểu diễn thiết kế hay thành phần của chương trình thực hiện so với yêu cầu (22) Độ đo khả năng huấn luyện: Mức độ theo đó phần mềm trợ giúp làm cho người dùng mới dùng được hệ thống. Câu 8: Giải thích nội dung các thuộc tính chất lượng phần mềm sau đây và nêu ra các độ đo liên quan được sử dụng để đo thuộc tính đó:  Tính đúng đắn - Làm đúng với khách hàng mong muốn - Có thỏa mãn những điều đã được đặc tả (những yêu cầu của đối tượng khác) o Độ đày đủ o Độ hòa hợp o Độ lần vết được  Tính tin cậy được - Có thể trông đợi vào sự thực hiện các chức năng dự kiến - mức chính xác được đòi hỏi o Độ chính xác o Độ phức tạp o Độ hòa hợp o Độ dung thứ lỗi o Độ đo mođun hoá o Độ đơn giản – dễ hiểu. o Độ lần vết được  Tính hiệu quả: tổng lượng nguồn lực tính toán và mã yêu cầu khi thực hiện các chức năng của chương trình là thích hợp o Độ súc tích o Độ hiệu quả thực hiện o Độ dễ thao tác  Tính toàn vẹn: là sự khống chế được việc truy cập trái phép tới phần mềm và dữ liệu hệ thống o Độ kiểm toán được o Trang bị đồ nghề đủ o Độ an ninh.  Tính khả dụng: công sức để học hiểu, thao tác, chuẩn bị đầu vào, thể hiện đầu ra của chương trình là chấp nhận nhận được 12
o Độ dễ thao tác o Độ đo khả năng huấn luyện  Tính bảo trì được: nỗ lực cần để định vị và xác định được một lỗi trong chương trình là chấp nhận được o Độ súc tích o Độ hoà hợp o Trang bị đồ nghề đủ o Độ đo mođun hoá o Độ tự cấp tài liệu o Độ đơn giản - dễ hiểu  Tính mềm dẻo: nỗ lực cần để cải biên một chương trình là chấp nhận được o Độ phức tạp o Độ súc tích o Độ hoà hợp o Độ khuếch trương được o Độ khái quát o Độ đo mođun hoá o Độ tự cấp tài liệu o Độ đơn giản - dễ hiểu  Tính thử nghiệm được: nỗ lực cần để thử nghiệm một chương trình và bảo đảm rằng nó thực hiện đúng chức năng dự định là chấp nhận được o Độ kiểm toán được o Độ phức tạp o Trang bị đồ nghề đủ o Độ đo mođun hoá o Độ tự cấp tài liệu o Độ đơn giản - dễ hiểu  Tính mang chuyển được: nỗ lực đòi hỏi để chuyển nó từ một môi trường phần cứng/phần mềm này sang một môi trường phần cứng/phần mềm khác là chấp nhận được o Độ khái quát o Độ độc lập phần cứng o Độ đo mođun hoá o Độ tự cấp tài liệu o Độ độc lập hệ thống phần mềm  Tính sử dụng lại được: khả năng chương trình (hoặc một phần của nó) có thể được dùng lại trong một ứng dụng khác o Độ khái quát 13
o Độ độc lập phần cứng o Độ đo mođun hoá o Độ tự tạo tài liệu o Độ độc lập hệ thống phần mềm  Tính liên tác được: nỗ lực đòi hỏi để ghép hệ thống chương trình vào một hệ thống khác là chấp nhận được o Độ tương đồng giao tiếp o Độ tương đồng dữ liệu o Độ khái quát o Độ đo mođun hoá. Câu 9: Nêu các đặc trưng chất lượng theo Hawlett? Giải thích nội dung mỗi loại Các đặc trưng chất lượng - Nhân tố chức năng Được tính bằng tập hợp các tính chất và khả năng của chương trình đó, độ khái quát các chức năng được thực hiện và độ an ninh của toàn hệ thống - Nhân tố khả dụng Được đánh giá bằng việc xét các nhân tố con người, thẩm mỹ, sự hoà hợp và tư liệu cung cấp - Nhân tố tin cây Được đánh giá bằng: + tần xuất thất bại và độ nghiêm trọng của nó + Tính chính xác của các kết quả ra + Thời gian trung bình giữa hai thất bại kề nhau + Khả năng phục hồi sau thất bại + Khả năng đoán trước được thất bại của chương trình - Nhân tố thi hành Được đánh giá bằng + Tốc độ xử lý + Thời gian đáp ứng + Độ sử dụng nguồn lực + Năng suất và hiệu năng - Nhân tố mang chuyển Đánh giá bằng tổ hợp các khả năng: + Mở rộng chương trình + Độ thích nghi + Phục vụ được (bảo trì được) + Thử nghiệm được 14
+ Sự tương hợp + Cấu hình được (khả năng tổ chức và khống chế các yếu tố của cấu hình phần mềm, để dễ dàng cài đặt hệ thống và dễ dàng định vị các chỗ có vấn đề) 1.2. Tiến hóa của hoạt động đảm bảo chất lượng Câu 10: Đảm bảo chất lượng phần mềm xuất phát từ đâu? Tiến triển của nó như thế nào - Khi phần mềm trở thành sản phẩm có nhu cầu và đòi hỏi đảm bảo chất lượng: • Từ nhu cầu của khách hàng • Từ nhà sản xuất: đảm bảo tính đồng đều của sản phẩm, cải thiện chất lượng thường xuyên - Sự phát triển của SQA • Bảo đảm chất lượng là một hoạt động cốt yếu trong bất kỳ một doanh nghiệp nào làm ra sản phẩm được người khác dùng • Lịch sử bảo đảm chất lượng phần mềm (SQA) diễn ra song song với bảo đảm chất lượng trong chế tạo phần cứng. • Các chuẩn bảo đảm chất lượng phần mềm đầu tiên được đưa ra trong quân sự, thời những năm 70 và nhanh chóng lan ra lĩnh vực thương mại Câu 11:Tại sao cần đảm bảo chất lượng phần mềm? Nó đóng vai trò gì trong một doanh nghiệp phát triển phần mềm? Đảm bảo chất lượng phần mềm là các hoạt động nhằm mục tiêu là sản xuất ra phần mềm có chất lượng cao. • Phải đảm bảo chất lượng phần mềm vì • Từ nhu cầu của khách hàng • Từ nhà sản xuất: đảm bảo tính đồng đều của sản phẩm làm ra • Giúp nhà phân tích có được đặc tả chất lượng cao • Giúp nhà thiết kế có được thiết kế chất lượng cao • Theo dõi chất lượng phần mềm • Đánh giá ảnh hưởng của thay đổi về phương pháp luận và thủ tục lên chất lượng phần mềm • SQA có những lợi ích sau: - phần mềm có ít các khiếm khuyết tiềm ẩn hơn và do đó mất ít công sức và thời gian thử nghiệm và bảo trì - Độ tin cậy cao hơn và do đó khách hàng thoả mãn hơn - Giảm phí tổn bảo trì - Giảm phí tổn tổng thể toàn bộ vòng đời của phần mềm 15
• nó đóng vai trò trong một doanh nghiệp phát triển phần mềm • Bảo đảm chất lượng là một hoạt động cốt yếu trong bất kỳ một doanh nghiệp nào làm ra sản phẩm được người khác dùng Câu 12: Khi nào cần thực hiện các hoạt động đảm bảo chất lượng phần mềm: Chất lượng phần mềm được thiết kế bên trong sản phẩm hay hệ thống do đó nó được bắt đầu ngay từ khi phân tích và nó giúp người phân tích đạt tới đặc tả chất lượng cao và người thiết kế thì phát triển thiết kế với chất lượng cao. Câu 13: Trong một tổ chức ai là người tham gia vào hoạt động đảm bảo chất lượng? Vai trò và trách nhiệm của mỗi đối tượng đó là gì? Những người trong tổ chức có trách nhiệm bảo đảm chất lượng phần mềm: - các kỹ sư phần mềm, - các nhà quản lý dự án, - khách hàng, - người bán hàng, - các cá nhân trong nhóm SQA. • Nhóm SQA đóng vai trò như đại diện của khách hàng - để xem chất lượng phần mềm với quan điểm khách hàng • Có đáp ứng được các nhân tố chất lượng không? • Có tuân theo các chuẩn dự định trước không? • Các thủ tục phương pháp kỹ thuật có thực sự đóng vai trò của chúng trong hoạt động SQA? Câu 14: Mục tiêu của SQA là gì? Các hoạt động chính đảm bảo chất lượng phần mềm là những hoạt động nào? Đảm bảo chất lượng phần mềm là các hoạt động nhằm mục tiêu là sản xuất ra phần mềm có chất lượng cao. • Có 7 hoạt động chính: 1. Áp dụng các phương pháp kỹ thuật tiến bộ 2. Tiến hành rà soát kỹ thuật chính thức 3. Thử nghiệm phần mềm 4. Tuân theo các chuẩn 5. Khống chế các thay đổi 6. Đo lường 7. Báo cáo và bảo quản các báo cáo. 16
Câu 15: Giải thích nội dung tóm tắt của mỗi hoạt động chính đảm bảo chất lượng? 1. Áp dụng các phương pháp kỹ thuật: giúp cho - người phân tích có được đặc tả chất lượng cao - người thiết kế có được thiết kế với chất lượng cao. 2. Tiến hành rà soát kỹ thuật chính thức: được nhóm kỹ thuật tiến hành với mục đích là phát hiện ra vấn đề chất lượng. 3. Kiểm thử phần mềm: là một chiến lược nhiều bước với một loạt các phương pháp thiết kế các trường hợp kiểm thử giúp đảm bảo phát hiện ra các lỗi một cách hiệu quả. 4. Bắt tuân theo các chuẩn: Là hình thức được áp dụng cho tiến trình kỹ nghệ phần mềm thay đổi tuỳ theo công ty. 5. Khống chế các thay đổi: đóng góp trực tiếp vào chất lượng phần mềm nhờ + Chính thức hoá các yêu cầu đổi thay + Đánh giá bản chất của sự đổi thay + Khống chế các ảnh hưởng của sự đổi thay + Đe doạ chủ yếu của chất lượng đến từ sự thay đổi, thay đổi là bản chất của phần mềm + thay đổi tạo ra tiềm năng sinh ra sai và tạo ra hiệu ứng phụ lan truyền Áp dụng trong suốt quá trình phát triển và trong quá trình bảo trì 6. Đo lường: dùng để theo dõi chất lượng phần mềm và thẩm định tác dụng của những thay đổi phương pháp luận và thủ tục lên chất lượng phần mềm đã được cải tiến. 7. Báo cáo và bảo quản các báo cáo: Kết quả của các cuộc họp xét duyệt , kiểm toán, kiểm soát thay đổi, kiểm thử phải trở thành một phần của bản ghi lịch sử cho một dự án và phải được phân phát cho nhóm phát triển trên cơ sở điều-cần - phải- biết. 17
1.3. Rà soát phần mềm Câu 16: Rà soát phần mềm được hiểu là gì (khái niệm, mục tiêu, cách thức áp dụng)? Nêu các lợi ích của việc ra soát? • Khái niệm: Rà soát là việc xem xét, đánh giá sản phẩm được tiến hành mỗi giai đoạn để phát hiện ra những khiếm khuyết cần sửa chữa trước khi sang giai đoạn sau. • Mục tiêu: • Chỉ ra các chỗ khiếm khuyết cần phải cải thiện • Khẳng định những sản phẩm đạt yêu cầu • Kiểm soát việc đạt chất lượng kỹ thuật tối thiểu của sản phẩm • Cách thức áp dụng: Rà soát được áp dụng tại các thời điểm khác nhau trong quá trình phát triển phầm mềm. • Có nhiều kiểu rà soát khác nhau: • Các cuộc họp xét duyệt không chính thức • Cuộc trình bày chính thức trước cử tọa gồm khách hàng, nhà quản lý, nhân viên kỹ thuật. (chỉ tập trung vào các rà soát kỹ thuật chính thức FTR-Format Technical Review) • Các lợi ích của việc ra soát  Lợi ích hiển nhiên của FTR là sớm phát hiện các “khiếm khuyết” phần mềm để có thể chỉnh sửa từng khiếm khuyết một trước khi bước sang bước tiếp theo của quá trình phần mềm.  Các nghiên cứu của công nghiệp phần mềm đã chỉ ra rằng: các hoạt động thiết kế tạo ra đến 50%-60% tổng số các khiểm khuyết tạo ra trong phát triển phần mềm.  Chi phí chỉnh sửa một khiếm khuyết tăng lên nhanh chóng sau mỗi giai đoạn. VD: Lỗi không được phát hiện trong thiết kế tốn phí 1.0 để sửa chữa, trước kiểm thử nghiệm: 6.5; trong thử nghiệm: 15 và sau khi phân phát sẽ là từ 60.0 đến 100.0 Câu 17: Các hình thức của hoạt động rà soát? trình bày khái niệm, mục tiêu của rà soát kỹ thuật chính thức? • Có nhiều kiểu rà soát khác nhau: • Các cuộc họp xét duyệt không chính thức • Cuộc trình bày chính thức trước khách hàng, nhà quản lý, thành viên kỹ thuật • Rà soát do các kỹ sư phần mềm thực hiện, là một phương tiện hiệu quả để cải thiện chất lượng phần mềm. Rà soát kỹ thuật chính thức(FTR): 18
- Khái niệm: là hoạt động đảm bảo chất lượng phần mềm do những người đang tham gia phát triển phần mềm thực hiện. - Mục tiêu: (1) Phát hiện các lỗi trong chức năng, trong logic, trong triển khai. (2) Kiểm thử sự phù hợp của phần mềm với yêu cầu (3) Bảo đảm rằng phần mềm phù hợp với các chuẩn đã định sẵn (4) Đảm bảo “ phần mềm đã được phát triển theo một cách thức nhất quán. (5) Làm cho dự án dễ quản lý hơn (6) Ngoài ra dùng để làm cơ sở huấn luyện các kỹ sư trẻ và có ích ngay cả cho những kỹ sư đã có kinh nghiệm. Câu 18: Vẽ sơ đồ tiến trình hoạt động rà soát va giải thích sơ bộ nội dung mỗi bước? Giải thích: - Mỗi cá nhân phát triển phải thông báo cho lãnh đạo dự án biết rằng sản phẩm đã hoàn tất và cần phải rà soát. - Lãnh đạo dự án thông báo cho người chịu trách nhiệm rà soát biết - Người chịu trách nhiệm lãnh đạo rà soát: o Xem xét sản phẩm để đọc, rà soát o Tạo ra các bản sao của sản phẩm , phân cho 2,3 người ra soát o Thiết lập chương trình họp rà soát - Những thực hiện rà soát: thường tốn 1-2 giờ để rà soát viết các bản ghi chú : tham gia cuộc họp rà soát. Câu 19: Trình bày nội dung cơ bản một cuộc họp rà soát: thành phần, thời gian, công việc cần làm, phương châm , sản phẩm? Bất kể thế nào, mọi cuộc họp rà soát phải: • Thành phần: Có từ 3 đến 5 người liên quan tới việc rà soát, gồm có: 19
• lãnh đạo rà soát • tất cả các cá nhân rà soát • người tạo ra sản phẩm được rà soát • Thời gian: • Phải có sự chuẩn bị trước, tuy nhiên mỗi người không quá 2 giờ chuẩn bị. • Cuộc họp nên ít hơn 2 giờ. Mỗi cuộc họp rà soát chỉ hạn chế trong một phần nhỏ, cụ thể. • Công việc cần làm: • Trọng tâm của các cuộc họp rà soát là về sản phẩm: một thành phần (một thành phần của đặc tả yêu cầu, một thiết kế modul chi tiết, một danh sách mã nguồn cho một modul) • Phải đưa ra một trong 3 quyết định sau đây: - Chấp nhận sản phẩm không cần chỉnh sửa - Khước từ sản phẩm vì những lỗi nghiêm trọng - Chấp nhận cho chỉnh sửa sản phẩm, sau khi chỉnh sửa phải có cuộc họp rà soát lại • Mọi thành viên tham gia cuộc họp phải ký vào quyết định • Phương châm rà soát: • Cần thiết lập trước phương châm rà soát, phân phát cho những người làm nhiệm vụ rà soát, thống nhất tán thành và tuân thủ. Một rà soát mà không khống chế được thì có thể còn xấu hơn là không rà soát • 10 điều tối thiểu trong phương châm rà soát kỹ thuật chính thức: (1) rà soát sản phẩm, không rà soát người làm nó (2) Lập chương trình nghị sự và duy trì nó. (3) Hạn chế tranh luận và bác bỏ: các vấn đề tranh luận nên để ghi nhớ cho các thảo luận tiếp tục (4) Trình bày rõ ràng mạch lạc các vùng có vấn đề nhưng không được gượng ép giải quyết mọi vấn đề nhận thấy: FTR không giải quyết vấn đề, việc giải quyết vấn đề sau FTR và thường do chính người làm ra sản phẩm thực hiện, có thể nhờ sự trợ giúp của vài cá nhân khác. (5) Nên có ghi chú trên bảng tường (6) Giới hạn số người tham dự và kiên trì các dự kiến (7) Lập một danh sách các kiểm tra cho từng sản phẩm sẽ được rà soát:  Giúp nhà lãnh đạo rà soát cấu trúc các cuộc họp FTR  Giúp người rà soát tập trung vào các vấn đề quan trọng  Danh sách kiểm tra lập cho từng loại sản phẩm:ành cho việc phân tích, thiết kế, mã hoá kiểm tra và bảo trì  Một tập thể các đại diện sẽ xem lại danh sách này để trình. 20