Bài giảng Tổ chức dữ liệu

Tuan V. Nguyen Garvan Institute of Medical Research Professor, UNSW School of Public Health and Community Medicine Professor of Predictive Medicine, University of Technology Sydney Adj. Professor of Epidemiology and Biostatistics, School of Medicine Sydney, University of Notre Dame Australia

Phân tích dữ liệu và ứng dụng | Đại học Dược Hà Nội | 12/6 to 17/6/2019

Dữ liệu, thông tin, tri thức

• Data = dữ liệu

• Information = thông tin

• Knowledge = tri thức

Dữ liệu à Thông tin à Tri thức

Phân tích

Bàn luận

Dữ liệu là vàng

• Dữ liệu khoa học là vàng

• Cần phải trân quí dữ liệu

• Dữ liệu phải được lưu giữ ít nhất 10 năm

• Dữ liệu phải được chia sẻ (khi được yêu cầu)

Lưu trữ dữ liệu

• Lưu trữ dữ liệu là một vấn đề nan giải

• Sắp xếp dữ liệu thô (raw data) tốt sẽ giúp cho việc phân

tích tiện lợi hơn

• Sắp xếp dữ liệu không tốt sẽ làm tốn rất nhiều thì giờ để

chỉnh sửa

Dữ liệu gốc (thô)

Data: Likert scale

• Likert scale: dùng để đánh giá mức độ đồng thuận của

một phát biểu / sự kiện

Mức độ mà bạn đồng ý hay không đồng như với phát biểu sau đây: ....

☐ Rất đồng ý

☐ Đồng ý

☐ Trung dung

☐ Không đồng ý

☐ Rất không đồng ý

Dữ liệu (data)

• Dữ liệu khoa học là vàng, là kim cương

• Một phần rất quan trọng của nghiên cứu khoa học

• Là chứng từ của nghiên cứu

• Có thể sử dụng nhiều lần sau này

• Có thể phải chia sẻ với đồng nghiệp quốc tế (data

sharing)

• Ý nghĩa đạo đức khoa học

Hai loại dữ liệu

• Bản gốc (giấy)

• Bản điện tử

• (Có thể kể đến một số output)

Phần mềm để lưu trữ dữ liệu điện tử

• Microsoft Access

• Epi Info

• Excel

• Oracle

Có khi nhập dữ liệu 2 lần

Nguyên tắc chuẩn bị dữ liệu cho phân tích

• Nguyên tắc 1: Dòng và cột (dòng là quan sát, cột là biến số)

• Nguyên tắc 2: Mỗi biến là mỗi cột

• Nguyên tắc 3: Tất cả cột phải có số liệu, kể cả missing data

• Nguyên tắc 4: Nhập dữ liệu gốc, không phải tính toán

• Nguyên tắc 5: Dữ liệu trống (missing data) phải được mã

hoá thích hợp

Nguyên tắc 1: dòng = observation, cột=variable

• Tất cả các chương trình máy tính dùng cho phân tích đều dùng dữ

liệu theo dạng tabular hay ma trận (dòng và cột)

• Với các dữ liệu điều tra, cột thường thể hiện một biến đơn hay

một câu hỏi, dòng thể hiện id của đối tượng

Id

Age

Gender

Service

employed

Case 1 Case 2

1 2

27 19

1 2

2 1

1 2

Case 3

Nguyên tắc 2: mỗi biến là một cột

Nguyên tắc 3: Cột phải có số liệu!

Khi có nhiều files ...

• Nếu có nhiều file, không nên dựa vào tên của file để

lưu trữ thông tin.

•

Thay vì dùng nhiều files, có thể chỉ cần thêm cột để chỉ thông tin mới.

SubjID

Time

Response

HeartRate

ADJ

183

120

ADJ

177

115

ADJ

192

101

BDR

186

112

BDR

183

115

BDR

169

135

Dữ liệu polytomous

Nếu dữ liệu có nhiều nhóm hay classes, không bao giờ giảm xuống phần trăm hay tỉ lệ, mà phải nhập dữ liệu gốc:

65- Lý do chọn ngành- Dư luận- 01 66- Lý do chọn ngành- Dư luận- 02 69- Lý do chọn ngành- 05 70- Lý do chọn ngành- 06 71- Lý do chọn ngành- 07 72- Lý do chọn ngành- 08 73- Lý do chọn ngành- 09 74- Lý do chọn ngành- 10 61- Ấn tượng - 08 62- Ấn tượng - 09 63- Ấn tượng - 10

1 1 0 0 0 0 0 1 64- Ngành học 0 Điện - Điện tử 1 Điện - Điện tử 0 Điện - Điện tử 0 67- Lý do chọn ngành:tri ển vọng thu nhập-03 1 1 0 0 68- Lý do chọn ngành:tri ển vọng thu nhập-04 0 1 1 1 0 1 0 0 0 0 0 0 1 1 1 1 0 1 0 0 0 1 0 0 0 1 0 0 1 1 1 1 0 0 0 0

Kỹ thuật Điện - Điện tử

1 1 0 0 0 0 1 1 1 1 0 1 0 1 0 1 0 0 0 0 1 0 0 0 Điện - Điện tử 0 Điện - Điện tử 0 0 0 0 0 0 Điện tử 0 0 điện 0 1 0 0 1 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 0 1 0 1 1 0 0 1 0 1 0 0 0 1 0 0 0 1 0 0 0 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 1 1 1 1 1 1 0 0 1 1 1 0 0 0 0 1 0 1 0 0 0 1 0 1 1 0 1 1 1 0 1 1 0 1 0 1 0 0 0 0 0 0

Nguyên tắc 3: Nhập dữ liệu gốc

• Không nhập tỉ lệ, mà chỉ nhập tử số và mẫu số

• Tử số và mẫu số cần phải có cột riêng để dễ tính toán

Nguyên tắc 5: Missing data phải mã hoá

•

Tất cả các cột phải có cùng số dòng (kể cả missing data (số khống).

•

Dùng "blank space" hoặc "." hoặc "NA" để chỉ missing data.

- Tuyệt đối không dùng 0 hay 999 cho missing data!

Tạo dữ liệu: những điều quan trọng cần biết

•

Không dùng header, trailer, subtotals, hay những thông tin "ngoại biên"

•

Tên biến số có ý nghĩa và dễ đọc

XET NGHIEM

Nguồn dữ liệu phiếu thu phiếu thu

HbA1c Năm STT Số BA glucoz a máu Máu lắng Khí máu đườn g giấy anti HCV HBsA g Định nhóm máu test coom bs procal citoni n XN sinh hóa XN huyết học

XN sinh hóa phiếu thu XN huyết học phiếu thu XN Cross - Matc h XN sinh hóa bệnh án XN huyết học bệnh án

0 0 0 0 0 0 1 0 0 1

2015 2014 2015 2015 2015 2015 2014 2015 2015 2015 2014 2015 2014 2014 1 166 2 3 4 5 167 6 7 8 168 9 169 170 38 202 289 382 409 460 478 568 613 629 691 759 871 949 1 1 4 1 3 0 -99 0 0 2 0 1 0 0 2 5 -99 4 1 3 1 2 1 2 1 1 1 1 2 5 1 4 1 3 1 2 2 2 1 1 1 1 4 2 3 1 -99 0 1 1 1 2 1 0 0 1 0 0 1 -99 0 1 1 0 0 0 0 1 0 1 1 0 1 1 1 1 0 1 1 1 1 1 2 2 0 0 1 1 0 1 0 0 3 0 2 1 3 3 1 5 2 2 1 5 1 4 1 3 1 1 3 3 1 5 2 2 1 5 1 4 3 3 2 1 2 2 0 3 0 4 0 0 5 0 0 0 0 0 0 0 0 0 0 0 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 0 2 1 0 1 0 0 1 1 0 2 0 4 0 0 4 0 2 0 2 1 2 0 2 0 2 0 0 4 0 2 0 2