Tóm tắt Luận văn Thạc sĩ Kỹ thuật phần mềm: Phương pháp và công cụ để hỗ trợ kiểm thử phần mềm android

Chia sẻ: Dopamine Grabbi | Ngày: | Loại File: PDF | Số trang:19

Thêm vào BST

Báo xấu

74
lượt xem 4
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Luận văn nghiên cứu phương pháp kiểm thử CTS do Google đề xuất với các đối tác muốn sử dụng hệ điều hành Android trên các thiết bị di động. Từ phương pháp này đã xây dựng cách tiếp cận kiểm thử một dự án Android Junit Test, đồng thời xây dựng công cụ hỗ trợ kiểm thử các phần mềm Android Junit trên các thiết bị di dộng thực tế. Công cụ đã mang lại những ưu điểm đáng kể so với việc kiểm thử trực tiếp hiện nay trên các môi trường phát triển như Eclipse hay Android Studio. Nó mang đến một giao diện thân thiện với người dùng và hỗ trợ nhưng tính năng trực quan. Luận văn cũng đưa ra việc thử nghiệm công cụ CTS Executor trên dự án Android Junit Test thực tế. Qua thực nghiệm đã chỉ ra những ưu điểm cũng như những hướng phát triển thêm của luận văn trong tương lại. Mời các bạn tham khảo!

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Tóm tắt Luận văn Thạc sĩ Kỹ thuật phần mềm: Phương pháp và công cụ để hỗ trợ kiểm thử phần mềm android

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Phan Thị Huế PHƯƠNG PHÁP VÀ CÔNG CỤ ĐỂ HỖ TRỢ KIỂM THỬ PHẦN MỀM ANDROID Chuyên Ngành: Kỹ Thuật Phần Mềm Mã số : 60.48.01.03 TÓM TẮT LUẬN VĂN THẠC SỸ HÀ NỘI - 2016
MỤC LỤC CHƯƠNG 1: GIỚI THIỆU ................................................................................................................................... 1 1. Đặt vấn đề ................................................................................................................................................. 1 2. Nội dung luận văn ..................................................................................................................................... 2 3. Cấu trúc của luận văn................................................................................................................................ 2 CHƯƠNG 2: GIỚI THIỆU VỀ CTS .................................................................................................................... 3 1. Giới thiệu về Compatibility Test Suite (CTS) .......................................................................................... 3 2. Nguyên lý và cách thức làm việc của CTS. .............................................................................................. 4 2.1. Docs .................................................................................................................................................. 4 2.2. Repository ......................................................................................................................................... 4 2.3. Tools ................................................................................................................................................. 6 3. Cài đặt phương pháp CTS......................................................................................................................... 6 3.1. Cài đặt môi trường máy tinh ............................................................................................................. 6 3.2. Cài đặt môi trường trên thiết bị kiểm thử ......................................................................................... 6 4. Cách chạy các ca kiểm thử CTS ............................................................................................................... 7 4.1. Sao chép dữ liệu vào thiết bị. ............................................................................................................ 7 4.2. Các câu lệnh sử dụng trong phương pháp CTS ................................................................................ 7 4.3. Báo cáo kết quả ................................................................................................................................. 7 CHƯƠNG 3: ỨNG DỤNG CHẠY CTS TRONG KIỂM THỬ ANDROID JUNIT TEST PROJECT ............... 9 1. Phương pháp kiểm thử. ............................................................................................................................. 9 2. Ưu điểm của công cụ so với kiểm thử trực tiếp trên Eclipse. ................................................................. 11 CHƯƠNG 4: XÂY DỰNG CÔNG CỤ CTS EXECUTOR ............................................................................... 12 1. Môi trường và các công cụ sử dụng để thực nghiệm. ............................................................................. 12 1.1. Cấu hình phần cứng ........................................................................................................................ 12 1.2. Các phần mềm sử dụng ................................................................................................................... 12 1.3. Mô tả công cụ hỗ trơ kiểm thử ........................................................................................................ 13 2. Xây dựng tập ca kiểm thử thử nghiệm với công cụ CTS Executor. ....................................................... 15 2.1. Xây dựng tập các ca kiểm thử ......................................................................................................... 15 2.2. 2.2 Kết quả thực nghiệm với công cụ CTS Executor...................................................................... 15 CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN .................................................................................... 16 Tài liệu tham khảo .............................................................................................................................................. 17
CHƯƠNG 1: GIỚI THIỆU 1. Đặt vấn đề Với sự phát triển không ngừng của Internet cộng với trào lưu mạng xã hội bùng nổ điện thoại thông minh đang ngày càng được sử dụng nhiều nhằm đáp ứng nhu cầu giải trí đa dạng của người dùng. Từ một chiếc điện thoại thông minh chỉ được cài sẵn vài ba ứng dụng của nhà sản xuất thì nay với các thiết bị chạy hệ điều hành nhúng như Android có thể dễ dàng đáp ứng được nhu cầu của người dùng bằng cách cài thêm phần mềm bên thứ ba không gây trở ngại nào. Từ đây lại đặt ra một vấn đề hiển nhiên là kiểm thử các phần mềm chạy trên các thiết bị di động này xem chúng có đáp ứng được các yêu cầu đề ra ban đầu hay không trước khi phân phát sản phẩm đến tay người tiêu dùng. Có hàng tá các thiết bị và các phiên bản Android mà ứng dụng của bạn cần phải tương thích với chúng. Một vài lỗi, sai lầm xuất hiện trong phần mềm Android như sau [1]: - Cài đặt ứng dụng bị lỗi. - Ứng dụng bị treo khi hoạt động. - Màn hình hiển thị ứng dụng có vấn đề. - Ứng dụng bị treo khi resouce không khả dụng. - Hiển thị lỗi khi ứng dụng ở chế độ màn hình ngang. Những lầm tưởng phổ biến và thực tế trong quá trình kiểm thử phần mềm Andoird thường thấy gồm có [4]: Lầm tưởng 1: Tất cả các thiết bị Android đều giống nhau thử nghiệm trên giả lập là đủ. Điều này hoàn toàn sai lầm, ví dụ một ứng dụng hoạt động hoàn hảo trên thiết bị giả lập nhưng trên một số thiết bị thực tế, nó bị treo trong quá trình thực hiện. Thiết bị giả lập không đủ để thực hiện kiểm thử trên điện thoại di động. Bạn phải thử nghiệm ứng dụng của mình trên các thiết bị thực tế. Lầm tưởng 2: Thực hiện kiểm thử trên một số thiết bị phổ biến là đủ. Điều này hoàn toàn sai vì các thiết bị khác nhau ứng dụng được hiển thị khác nhau, vì mỗi thiết bị có phần cứng, kích cỡ màn hình, bộ nhớ khác nhau...Bạn phải kiểm thử ứng dụng trên các thiết bị khác nhau, phiên bản hệ điều hành khác nhau và địa điểm khác nhau, tốc độ mạng khác nhau... Lầm tưởng 3: Kiểm kê thăm dò trước khi ra mắt sản phẩm là đủ Lầm tưởng 4: Nếu có một số lỗi trong ứng dụng thì người dùng sẽ hiểu. Nếu ứng dụng không hoạt động và có lỗi xảy ra thì người dùng sẽ gỡ bỏ ứng dụng đó. Vấn đề chất lượng là yếu tố tiên quyết ảnh hưởng đến danh tiếng và niềm tin của khách hàng. 1
Do đó để có một phần mềm chất lượng trước khi đến tay người dùng cần một chiến lược kiểm thử chính xác trên nhiều các thiết bị khác nhau, phiên bản hệ điều hành Android khác nhau gồm có: - Kiểm thử đơn vị (Unit test). - Kiểm thử tích hợp (Integration test) - Kiểm thử hoạt động (Operational test) - Kiểm thử hệ thống (System test). Giảm lược được thời gian kiểm thử và có một kết quả kiểm thử chính xác nhất thì việc tìm ra các phương pháp và xây dựng công cụ hỗ trợ kiểm thử là rất cần thiết. Hiện nay trên thị trường việc kiểm thử Unit test chỉ được thực hiện trực tiếp trên các môi trường phát triển như Eclipse, Android Studio mà chưa có một công cụ nào hỗ trợ kiểm thử Unit thay thế. Đây chính là lý do để em tìm hiểu phương pháp và xây dựng công cụ hỗ trợ kiểm thử Android Junit Test. 2. Nội dung luận văn Luận văn nghiên cứu phương pháp kiểm thử CTS do Google đề xuất với các đối tác muốn sử dụng hệ điều hành Android trên các thiết bị di động. Từ phương pháp này đã xây dựng cách tiếp cận kiểm thử một dự án Android Junit Test, đồng thời xây dựng công cụ hỗ trợ kiểm thử các phần mềm Android Junit trên các thiết bị di dộng thực tế. Công cụ đã mang lại những ưu điểm đáng kể so với việc kiểm thử trực tiếp hiện nay trên các môi trường phát triển như Eclipse hay Android Studio. Nó mang đến một giao diện thân thiện với người dùng và hỗ trợ nhưng tính năng trực quan. Luận văn cũng đưa ra việc thử nghiệm công cụ CTS Executor trên dự án Android Junit Test thực tế. Qua thực nghiệm đã chỉ ra những ưu điểm cũng như những hướng phát triển thêm của luận văn trong tương lại. 3. Cấu trúc của luận văn Nội dung của luận văn được chia thành các chương như sau:  Chương 1: Giới thiệu về luận văn và lý do chọn đề tài.  Chương 2: Luận văn trình bày phương pháp kiểm thử CTS của Google hỗ trợ các đối tác kiểm thử thiết bị di động sử dụng nền tảng Android trước khi ra thị trường.  Chương 3: Luận văn trình bày cách thức áp dụng phương pháp CTS để xây dựng công cụ hỗ trợ và phát triển phẩm mềm Android Junit test.  Chương 4: Luận văn trình bày thực nghiệm trong việc áp dụng công cụ để kiểm thử bất kỳ một dự án Android Junit Test nào.  Chương 5: Tóm lược kết quả đạt được của luận văn và định hướng phát triển tương lai. 2
CHƯƠNG 2: GIỚI THIỆU VỀ CTS 1. Giới thiệu về Compatibility Test Suite (CTS) Compatibility Test Suite [2] là một bộ bao gồm các ca kiểm thử của Google để kiểm tra sự tương thích của các thiết bị sử dụng hệ điều hành Android với bộ testcase đó. Nếu thiết bị thỏa mãn được bộ các ca kiểm thử này thì Google mới cấp phép cho sử dụng hê điều hành của họ. Mỗi phiên bản mới của hê điều hành Android được phát hành thì Google đều đưa ra ra một bộ kiểm thử CTS mới bao gồm các API mới của phiên bản Android đó. Ví dụ: Android version CTS Version No Testcase Jelly bean 4.2 CTS 4.2_r5 24924 Kit Kat 4.4 CTS 4.4_r4 24924 Lollipop 5.0 CTS 5.0_r8 98926 Lollipop 5.1 CTS 5.1_r9 100970 Marshmallow 6.0.1 CTS 6.0_r8 127028 Bảng 1: Bảng minh họa CTS versions cho các phiên bản Android Quá trình kiểm thử sẽ được mô phỏng đơn giản theo mô hình sau: Hình 1: Phương thức sử dụng CTS 3
 Bước 1: Tải và cài đặt CTS trên máy tính.  Bước 2: Kết nối thiết bị cần kiểm thử với máy tính qua dây cáp USB.  Bước 3: Thực thi CTS. Toàn bộ ca kiểm thử sẽ được đẩy qua thiết bị và sẽ được thực thi trên thiết bị sau đó kết quả sẽ được trả về và lưu trữ trên máy PC.  Bước 4: Kiểm tra kết quả của các ca kiểm thử. Việc kiểm thử bộ các ca kiểm thử trên các thiết bị sẽ được Google thực thi ra sao? Việc chạy tự động các ca kiểm thử trên các thiết bị đòi hỏi mất rất nhiều thời gian và Google đã cung cấp một giải pháp CTS như đã nói bên trên. Từ giải pháp của Google đưa ra để thực thi các ca kiểm thử trên thiết bị với hàng nghìn ca kiểm thử em đã đưa ra một giải pháp giúp chạy tự động các bộ kiểm thử bất kỳ muốn được kiểm thử trên 2. Nguyên lý và cách thức làm việc của CTS [3]. Hình 2: Cấu trúc của CTS Phương pháp CTS gồm 3 phần chính Repository, Tools, Docs. 2.1. Docs Phần này bao gồm các tài liệu của Google giới thiệu về hệ điều hành Android. Các API được sử dụng trong từng phiên bản của hệ điều hành này 2.2. Repository Phần này gồm 3 phần nhỏ 4
- Phần 1: Testcases - Trong thư mục testcase có chứa các tệp .apk( nội dung các ca kiểm thử) và tệp .xml (tên các ca kiểm thử). Hai tệp này được đặt tên giống nhau  Danh sách các ca kiểm thử được liệt kê theo tệp .xml như sau: Hình 3: Danh sách các ca kiểm thử  Tệp .apk (android application package) là bộ cài đặt ứng dụng trên hệ điều hành android. Khi build các ca kiểm thử tương ứng sẽ được tệp này. Nó chính là file nén ZIP dự trên định dạng JAR sử dụng phần mở rộng là *.apk. Hai tệp .xml và .apk được đặt tên giống nhau và đặt trong thư mục “.\android- cts\repository\testcases”. Hình 4: Danh sách các tệp .xml và .apk - Phần 2: Plans - Việc gọi các ca kiểm thử (.xml) tương ứng với .apk sẽ được thực thi nhờ vào một tệp tin “plan” trong thư mục “.\android-cts\repository\plans”. Nó sẽ được khai báo tên gói “package”, lớp “class” của .apk cần được kiểm thử. - Phần 3: Results - Chứa kết quả sau khi kiểm thử ở thiết bị dưới dạng .xml 5
2.3. Tools Trong phần này chứa tệp tin cts-tradefed. Tệp này chính là giá trị cốt lõi của phương pháp CTS. Nó được cài đặt các câu lệnh command để hỗ trợ trong quá trình kiểm thử. 3. Cài đặt phương pháp CTS 3.1. Cài đặt môi trường máy tinh ADB và AAPT: Trước khi chạy CTS phải đảm bảo được cả Android Debug Bridge (adb) và Asset Package Tool(AAPT) được cài đặt trong đường dẫn hệ thống máy tính. Java Development Kit (JDK) : Cần cài đặt chính xác phiên bản của java development kit:  CTS 5.0 and later: Java 7  CTS 4.4 and earlier: Java 6 Tải và đọc hướng dẫn sử dụng công cụ CTS của Google tại địa chỉ trang web: https://source.android.com/compatibility/downloads.html 3.2. Cài đặt môi trường trên thiết bị kiểm thử Trước khi chạy CTS phải khôi phục cài đặt gốc của thiết bị được thực hiện qua các bước sau: Truy cập thiết bị vào phần Cài đặt > Sao lưu và cài đăt > Khôi phục và cài đặt. Lưu ý: Quá trình này sẽ xóa sạch dữ liệu của người sử dụng thiết bị.  Cài đặt ngôn ngữ trên thiết bị.  Bật dữ liệu di động, định vị của thiết bị.  Kết nối wifi, bluetooth nếu các ca kiểm thử có yêu cầu.  Đảm bảo thiết bị không được bảo mật.  Khởi tạo chế độ USB debugging.  Khởi tạo chế độ Bật màn hình.  Kết nối đến máy tính sử dụng dây cáp USB .  Đăng nhập tài khoản Google cho thiết bị cần kiểm thử sự tương thích.  Sau khi tải tool CTS từ trang web bên trên, giải nén ra và sẽ nhìn thấy một thư mục “adroid- cts/repository/testcase”. Sau đó cài đặt tệp “CTSDeviceAdmin.apk” sử dụng câu lệnh “adb install CtsDeviceAdmin.apk”. 6
 Kích hoạt quyền quản trị “administrator” cho thiết bị bằng cách truy cập vào Cài đặt => Bảo mật => Chọn Quản Trị thiết bị và enable 2 chức năng sau: - Android.deviceadmin.cts.CtsDeviceAdminReceiver. - Android.deviceadmin.cts.CtsDeviceAdminReceiver2. 4. Cách chạy các ca kiểm thử CTS 4.1. Sao chép dữ liệu vào thiết bị. Việc đầu tiên cần làm là sao chép toàn bô Media file vào thiết bị. Các dữ liệu trong tệp này sẽ được dùng khi thực thi các ca kiểm thử. Và có thể tải nó tại địa chỉ http://dl.google.com/dl/android/cts/android-cts-media- 1.0.zip. Giải nén tệp tin “android-cts-media-1.0.zip” vừa mới tải được bên trên. Sau đó chạy tệp “copy_medias.sh” bằng cách truy cập trực tiếp đường đẫn đến bộ nhớ chứa nó và chạy trên cửa sổ command. 4.2. Các câu lệnh sử dụng trong phương pháp CTS STT Câu lệnh Ý nghĩa 1 run cts --plan Kiểm thử một plan 2 run cts --package Kiểm thử một package 3 run cts --class Kiểm thử một class 4 run cts --plan Kiểm thử một testcase 5 run cts --plan --shards Kiểm thử 1 plan đồng thời trên nhiều thiết bị 6 run cts --continue-session Kiểm thử lại trên kết quả đã kiểm thử trước đó 7 run cts --help Hỗ trợ trong khi kiểm thử Bảng 2: Các câu lệnh hỗ trợ trong phương pháp CTS 4.3. Báo cáo kết quả Sau khi tiến trình kiểm thử kết thúc truy cập đến thư mục “android-cts\repository\results”. Ở đó liệt kê tất cả các kết quả của các ca kiểm thử, tìm đến ca kiểm thử mới nhất vừa thực thi. 7
Hình 5: Thư mục kết quả chạy Ở thư mục này sẽ nhìn thấy tệp tin “testResult.xml” đó chính là kết quả kiểm thử được xuất ra theo định dạng .xml. Double click và “testResult.xml” để mở: Hình 6: Minh họa cho kết quả chạy bằng phương pháp CTS Kiểm tra số lượng ca kiểm thử “Pass”, “Fail”, “Timed out”, “Not executed”. Hình 7: Chi tiết kết quả chạy của 1 test case 8
CHƯƠNG 3: ỨNG DỤNG CHẠY CTS TRONG KIỂM THỬ ANDROID JUNIT TEST PROJECT Với mỗi project kiểm thử (Android Junit) tạo ra hàng trăm, hàng nghìn ca kiểm thử cho nên việc áp dụng các phương pháp kiểm thử bình thường sẽ tốn kém rất nhiều thời gian và nhân lực. Việc áp dụng CTS trong phương pháp kiểm thử các dự án Android trên các thiết bị di động sẽ tiết kiệm được thời gian thực thi và áp dụng được sự tự động khi kiểm thử. Chương này giới thiệu chi tiết việc ứng dụng CTS trong kiểm thử dự án Android Junit Test [5]. 1. Phương pháp kiểm thử. Dựa trên phương pháp kiểm thử CTS được Google xây dựng và phát triển để xây dựng một công cụ kiểm thử các dự án Android Junit Test. Với mỗi dự án kiểm thử Android Junit test được biên soạn và kiểm thử luôn trên IDE (Intergrated Development Environment) ví dụ như Eclipse. Sau khi biên dịch trình biên dịch sẽ build toàn bộ project ra một tệp tin .apk. Tệp tin này sau đó sẽ được đẩy sang thiết bị cần kiểm thử và chay, kết thúc một ca kiểm thử trên thiết bị thì kết quả sẽ được hiển thị ra màn hình IDE. Việc kiểm thử trực tiếp như thế này có rất nhiều mặt hạn chế, ví dụ như không thể kiểm thử đồng thời bộ các ca kiểm thử trên nhiều thiết bị để giảm thiểu thời gian chạy. Hoặc quá trình kiểm thử sẽ bị chấm dứt nếu như thiết bị bị khởi động lại khi chưa chạy hết tất cả các ca kiểm thử... Và kết quả xuất ra màn hình IDE thì chỉ có thể xuất ra dưới định dạng file .xml rất khó cho việc báo cáo và thống kê kết quả sau khi chạy. Để giải quyết được các vấn đề khi kiểm thử một dự án Android Junit Test thì ta có thể áp dụng phương pháp CTS. Hình 8: Xây dựng tệp .apk và .xml từ dự án  Bước 1: Từ dự án Android Junit Test cần được kiểm thử trên thiết bị di động Android, xây dựng tập hợp các ca kiểm thử định dạng .xml  Bước 2: Tệp tin .apk được biên dịch ra từ dự án Android Junit Test 9
 Bước 3: Tệp tin tập hợp tất cả các ca kiểm thử (.xml) từ bước 1 và tệp .apk từ bước 2 phải được đặt tên giống nhau và cho chúng vào đường dẫn của tool CTS “android-cts\repository\testcases” Hình 9:Tệp tin .apk được biên dịch từ dự án junit test Định dạng của tệp .xml như sau: Hình 10: Nội dung cho tập tin .xml  Bước 2: Cấu hình lại tệp tin “plan” trong thư mục “android-cts\repository\plans” bằng cách gọi tên gói (package) của dự án cần kiểm thử. Hình 11: Cấu trúc của tệp Plan Sau đó sử dụng các câu lệnh command của CTS để chạy các ca kiểm thử của dự án Android Junit Test. 10
2. Ưu điểm của công cụ so với kiểm thử trực tiếp trên Eclipse. STT Chức năng Kiểm thử trực tiếp trên Kiểm thử bằng công cụ CTS Excecutor. Eclipse 1 Tự động chạy lại Không thể Có thể tự động chạy lại đến khi có một kết quả chính xác đáng tin cậy 2 Kiểm thử đồng thời Không thể Có thể kiểm thử trên nhiều thiết bị tối đa: 5 trên nhiều thiết bị thiết bị cùng lúc 3 Tái kiểm thử khi Không thể Quá trình kiểm thử sẽ được tiếp tục sau khi thiết bị tự động khởi thiết bị khởi động xong động lại 4 Xuất kết quả ra file Chỉ xuất được kết quả Xuất kết quả dưới định dạng excel giúp viêc excel dưới dạng .xml xác định các ca kiểm thử dễ dàng hơn 5 Kiểm tra trạng thái Không kiểm tra được Hiển thị trên giao diện giúp người kiểm thử của thiết bị kiểm thử dễ dàng nhận thấy các trạng thái của thiết bị như wifi, bluetooth, device connect. 6 Hiển thị tiến độ Không hiển thị được tiến Tiến độ chạy được cập nhật liên tục sau mỗi kiểm thử của dự án độ kiểm thử ca kiểm thử 7 Đưa kết quả sau khi Không đưa được Kết nối với một server chung. Sau khi kiểm kiểm thử lên sever thử hoàn tất kết quả sẽ được cập nhật lên để chung mọi người có thể vào kiểm tra. Bảng 3: Bảng minh họa ưu điểm của công cụ CTS Executor 11
CHƯƠNG 4: XÂY DỰNG CÔNG CỤ CTS EXECUTOR Chương 3 đã đưa ra được phương pháp áp dụng, chương này luận văn xin giới thiệu về công cụ xây dựng để hỗ trợ kiểm thử trên phương pháp CTS. Thay vì phải gõ các dòng lệnh command, công cụ sẽ hỗ trợ giao diện giúp người kiểm thử không phải nhớ các dòng lệnh phức tạp mà vẫn có thể kiểm thử một cách dễ dàng. Đồng thời công cụ sẽ mang lại những ưu điểm đáng kể trong quá trình kiểm thử. 1. Môi trường và các công cụ sử dụng để thực nghiệm. 1.1. Cấu hình phần cứng Thành phần Chỉ số CPU 2.2 GHz Core Due Intel RAM 2GB OS Windows 7 Bộ nhớ ngoài 320GB Bảng 4: Bảng minh họa cấu hình phần cứng để chạy tool CTS Executor 1.2. Các phần mềm sử dụng STT Tên Phần mềm Tác giả Chức năng Nguồn 1 Eclipse Version: Oracle Môi trường phát triển http://www.eclipse.org/downloads Mars.2 Release (4.5.2) 2 Android Google Môi trường phát triển https://developer.android.com/stud Development Tool io/tools/sdk/eclipse-adt.html 3 SDK Manager Google Môi trường phát triển https://developer.android.com/stud io/index.html 4 Java SE Runtime Oracle Môi trường phát triển http://www.oracle.com/technetwor Environment 8 k/java/javase/downloads/jre8- downloads-2133155.html Bảng 5: Danh sách các phân mềm sử dụng 12
Ngoài các phần mềm sử dụng bên trên luận văn còn tiến hành cài đặt các modul sau:  Cài đăt biến môi trường Adb từ bộ SDK vào hệ thống [9].  Tập các ca kiểm thử để tiến hành thử nghiệm được lấy từ dự án KnoxCustomApiTestCase gồm hai tệp tin .apk và .xml.  Trên thiết bị kiểm thử cài đặt Wifi, Bluetooth, Sim để tiến hành kiểm thử. 1.3. Mô tả công cụ hỗ trơ kiểm thử 1.3.1. Screen Overview Hình 12: Màn hình CTS Executor - 1: Icon thông báo trạng thái kết nối - 2: Icon thông báo trạng thái Bluetooth - 3: Icon thông báo trạng thái wifi - 4: Icon thông báo trạng thái sim của điện thoại - 5: Button chạy chương trình kiểm thử - 6: Button cài đặt đường dẫn đến thư mục lưu trữ bộ các ca kiểm thử, thư mục lưu trữ báo cáo kết quả chạy. 13
- 7: Button tìm kiếm thiết bị. - 8: Combox hiển thị danh sách các thiết bị đã kết nối. - 9: Các case kiểm thử trong chương trình. - 10: Hiển thị kết quả chạy. 1.3.2. Bảng hiển thị kết quả chạy  Hiển thị cho người dùng biết kết quả chạy chương trình kiểm thử bao gồm:  Package name: package name của project được kiểm thử.  Class name: Tên class dùng để kiểm thử.  Test case name: Tên test case kiểm thử.  Result: kết quả chạy (Pass/ Fail). Hình 13: Kết quả chạy chương trình kiểm thử Kết quả kiểm thử cuối cùng được xuất ra dưới định dạng file .excel 14
2. Xây dựng tập ca kiểm thử thử nghiệm với công cụ CTS Executor. 2.1. Xây dựng tập các ca kiểm thử Luận văn thực nghiệm trên tập các ca kiểm thử của một dự án Android Junit Test có tên là KnoxCustomApiTest [6][7]. Tập các ca thử nghiệm (testcase) được tạo ra để kiểm tra các API của KnoxCustom trên các thiết bị di động Android [8]. Tập các ca kiểm thử bao gồm 416 Testcase, được chia thành 4 packages (gói). Package Nội dung Testcases KnoxCustomTestDefault Tập các ca kiểm thử lấy giá trị mặc định của API 14 KnoxCustomTestGeneral Tập các ca kiểm thử kiểm tra các API của project 377 KnoxCustomTestManual Chứa các ca kiểm thử cần tương tác của con người 32 KnoxCustomTestStress Tập các ca kiểm thử gọi API nhiều lần cùng lúc 19 Bảng 6: Tập các ca kiểm thử thực nghiệm 2.2 Kết quả thực nghiệm với công cụ CTS Executor Luận văn tiến hành kiểm thử trên tập dữ liệu như bảng 10 và cho kết quả như sau Tiêu chí CTS Executor IDE (Eclipse) Thời gian (chạy 2 thiết bị) 20 phút 40 phút Testcase Pass (sau lần đầu) 400/416 380/416 Kết quả cuối cùng (Pass) 405/416 380/416 Báo cáo kết quả 1 phút 10 phút Tự đông chạy lại Có Không Kiểm thử nhiều thiết bị Có Không Hiển thị trạng thái thiết bị Có Không Hiển thị tiến độ kiểm thử Có Không Bảng 7: Kết quả thực nghiệm 15
CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Qua quá trình tìm hiểu về phương pháp CTS, luận văn đã xây dựng được công cụ hỗ trợ kiểm thử dự án Android Junit test với những ưu điểm vượt bậc so với kiểm thử trực tiếp trên môi trường phát triển như Eclipse, Android studio. Luận văn đã đạt được các kết quả như sau:  Tìm hiểu phương pháp CTS và cách cài đặt cũng như phương thức hoạt động của nó  Áp dụng phương pháp CTS để kiểm thử phần mềm Android Junit Test  Xây dựng công cụ hỗ trợ kiểm thử Android Junit Test thay thế các phương pháp kiểm thử truyền thống. Kết quả đạt được đã cho thấy phương pháp CTS áp dụng vào kiểm thử Andoird Junit test có hiệu quả đáng kể, giảm thời gian kiểm thử và cho kết quả kiểm thử đáng tin cậy. Tuy nhiên do hạn chế về mặt thời gian và kiến thức nên luận văn vẫn còn tồn tại một số hạn chế như sau: công cụ chưa giải quyết được những ca kiểm thử cần tác đông của con người. Các bộ kiểm thử, đặc biệt là Android có rất nhiều ca kiểm thử cần đến sự tương tác của người dùng như nhập text, nhấn button. Để khắc phục được nhược điểm này cần nghiên cứu sâu và áp dụng phương pháp.  UI Automator cho kiểm thử tự động Android  Robotium Android Testing tool cho kiểm thử giao diện (user interface) Trong thời gian tới chúng tôi sẽ tiếp tục mở rộng luận văn bằng cách nghiên cứu các phương pháp hỗ trợ những ca kiểm thử phức tạp. Hoàn thiện giao diện của công cụ kiểm thử để có thể áp dụng trong thực tế cho các công ty phát triển các ứng dụng Android. 16
Tài liệu tham khảo [1] Android Application Testing Guide – Diego Torres Milano – June 2011 [2] Compatibility Test Suite: https://source.android.com/compatibility/cts/ - Google [3] Using Android’s Compatibility Test Suite – Nimda – May 2010 [4] Learning Android Application Testing – Paul Blundell, Diego Torres Milano – March 2015 [5] Test-Driven Development By Example – Kent Beck – October 2002 [6] JUnit Tutorial: https://www.tutorialspoint.com/junit/ [7] Junit Plug with Eclipse: https://www.tutorialspoint.com/junit/junit_plug_with_eclipse.htm [8] Android Testing Tutorial: https://www.tutorialspoint.com/android/android_testing.htm [9] Android SDK: http://code.tutsplus.com/tutorials/android-sdk-unit-testing-with-the-junit-testing- framework--mobile-421 17