Bài giảng Xử lý âm thanh và hình ảnh: Chương 4

Chia sẻ: _ _ | Ngày: | Loại File: PPTX | Số trang:40

Thêm vào BST

Báo xấu

11
lượt xem 2
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Bài giảng Xử lý âm thanh và hình ảnh: Chương 4 - Kỹ thuật xử lý video, cung cấp cho người học những kiến thức như giới thiệu chung; Mã hóa Video bù chuyển động; Phân tích chuyển động; Kỹ thuật so khớp khối; Dự đoán ảnh (bù chuyển động); Một số chuẩn mã hóa Video ứng dụng trong truyền thông. Mời các bạn cùng tham khảo!

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Bài giảng Xử lý âm thanh và hình ảnh: Chương 4

XỬ LÝ ÂM THANH & HÌNH ẢNH CHƯƠNG 4 KỸ THUẬT XỬ LÝ VIDEO
BÀI GIẢNG MÔN XỬ LÝ ÂM THANH & HÌNH ẢNH Chương 4: Kỹ thuật xử lý Video 7/1/24 2
Chương 4- Kỹ thuật xử lý Video 4.1 Giới thiệu chung 4.2 Mã hóa Video bù chuyển động 4.3 Phân tích chuyển động 4.4 Kỹ thuật so khớp khối – Tiêu chí so khớp khối – Các thủ tục tìm kiếm 4.5 Dự đoán ảnh (bù chuyển động) 4.6 Một số chuẩn mã hóa Video ứng 7/1/24 3 dụng trong truyền thông
4.1- Giới thiệu chung 4.1.1- Khái niệm cơ bản về Video và xử lý Video a) Khái niệm: - Video là một chuỗi các ảnh/ khung hình tạo cảm giác về sự chuyển động khi được trình chiếu/ hiện thị một cách liên tiếp. - Video là kết hợp của chuyển động và âm thanh. 7/1/24 4
4.1- Giới thiệu chung 4.1.1- Khái niệm về video & xử lý video b)- Xử lý video số ü Xử lý video số liên quan đến xử lý máy tính để – Trích xuất thông tin – Phục hồi, tăng cường ảnh video – Chuyển đổi tiêu chuẩn – Phân tích chuyển động – Nén video cho việc lưu trữ và truyền thông ü Xử lý video: 7/1/24 − Xử lý chuỗi ảnh, mỗi ảnh được xử lý độc lập 5
4.1- Giới thiệu chung 4.1.2- Các mô hình màu trong Video - Các ảnh trước khi truyền, được quét với 3 thiết bị quang, mỗi một trong số chúng đều có một bộ lọc màu khác nhau đặt ở phía trước của thiết bị. - Ba kênh (R, G, B) được hiệu chỉnh sao cho nếu một vùng trắng đều được quét, thì cả 3 đầu ra phải có điện áp cân bằng nhau. - Vì mắt người có độ nhạy khác nhau đối với các màu có (4.1) cùng cường độ, nên độ chói phải được bổ sung thêm các trọng số. Độ chói của t/h Y: Y= 0.299R+0.587G+0.114B 7/1/24 6
4.1- Giới thiệu chung 4.1.2- Các mô hình màu trong Video + Mô hình YUV: (được sử dụng cho tín hiệu video tương tự hệ PAL) (4.2) - T/h màu U, V: (4.3) - Chuyển đổi RGB thành YUV: 7/1/24 7
4.1- Giới thiệu chung 4.1.2- Các mô hình màu trong Video + Mô hình YIQ: (được sử dụng cho t/h video màu NTSC) - Do U và V không biểu thị hết phân cấp bậc thấp nhất về độ nhạy hiển thị của người. NTSC đã sử dụng I và Q thay thế. - YIQ được xem như là một phiên bản của YUV, với cùng một Y nhưng với U và V được quay đi góc 33 ° (4.4) - T/h màu U, V: (4.5) 7/1/24 8
4.1- Giới thiệu chung 4.1.2- Các mô hình màu trong Video + Mô hình YCbCr: - Chuẩn quốc tế cho các tín hiệu video số (ITU-R BT.601- 4). Tiêu chuẩn này dùng một không gian màu YCbCr. Biến đổi YCbCr được sử dụng trong nén ảnh JPEG và nén video MPEG (4.6) - T/h màu Cb, Cr: (3.7) 7/1/24 9 - Chuyển đổi RGB thành YCbCr:
4.1- Giới thiệu chung 4.1.2- Các mô hình màu trong Video + Bài tập 1: The conversion between RGB and YCbCr coordinate is shown below: a) Determine the YCbCr coordinate for a color that is specified in (R,G,B) coordinate with R=100, G=200, B=50. b) Determine the (R,G,B) coordinate for a color specified in the YCbCr coordinate with Y=100, Cb=50, Cr=30. 7/1/24 10
4.1- Giới thiệu chung 4.1.3- Các khuôn dạng lấy mẫu YCbCr • Lấy mẫu thành phần video số – 4:4:4; 4:2:2; 4:1:1; 4:2:0 7/1/24 11
4.1- Giới thiệu chung 4.1.3- Các khuôn dạng lấy mẫu YCbCr • Tiêu chuẩn 4:4:4 - Tổng cộng: 12 mẫu, 4 cho Y, CB, CR. - Tổng cộng: 12 x 8 = 96 bits, trung bình 96/4 = 24 bits/pixel. - Tần số lấy mẫu cho các thành phần Y, CB, CR là 13,5MHz. - Số hóa tín hiệu video có độ phân giải 720x576 (hệ PAL), 8 bit lượng tử/pixel, 25 f/s. Luồng dữ liệu số nhận được sẽ có tốc độ : 3 x 720 x 576 x 8 x 25= 249 Mbits/s 7/1/24 12
4.1- Giới thiệu chung 4.1.3- Các khuôn dạng lấy mẫu YCbCr • Tiêu chuẩn 4:2:2 - Tín hiệu chói được lấy mẫu tại tất cả các điểm lấy mẫu trên dòng tích cực của tín hiệu video. - Tín hiệu màu trên mỗi dòng được lấy mẫu với tần số = 1/2 tần số lấy mẫu tín hiệu chói. - Tần số lấy mẫu cho các thành phần Y= 13,5MHz, Cb = 6,75MHz, Cr = 6,75MHz. 7/1/24 13
4.1- Giới thiệu chung 4.1.3- Các khuôn dạng lấy mẫu YCbCr • Tiêu chuẩn 4:2:0 - Tín hiệu chói được lấy mẫu tại tất cả các điểm lấy mẫu trên dòng tích cực của tín hiệu video. - Nếu tần số lấy mẫu tín hiệu chói là fD, tần số lấy mẫu tín hiệu màu sẽ là fD/2. Tần số lấy mẫu cho các thành phần Y= 13,5MHz; CB = CR = 6,75MHz. - Chỉ sử dụng 6 mẫu: 4 cho Y và 1 cho mỗi Cb và Cr, yêu cầu tổng cộng 6 x 8 = 48 bits, trung bình 48/4 = 12 bits/ điểm ảnh. 7/1/24 14
4.1- Giới thiệu chung 4.1.3- Các khuôn dạng lấy mẫu YCbCr • Tiêu chuẩn 4:1:1 - Tín hiệu chói được lấy mẫu tại tất cả các điểm lấy mẫu trên dòng tích cực của tín hiệu video. - Tín hiệu màu trên mỗi dòng được lấy mẫu với tần số bằng một phần tư tần số lấy mẫu tín hiệu chói . - Nếu tần số lấy mẫu tín hiệu chói là fD, thì tần số lấy mẫu tín hiệu màu CR và CB sẽ là fD/4. Tần số lấy mẫu cho các thành phần Y= 13,5MHz; CB = CR = 3,375MHz. Tiêu chuẩn 4:1:1 Điểm lấy mẫu tín hiệu chói Điểm lấy mẫu tín hiệu C R Điểm lấy mẫu tín 7/1/24 15 hiệu C B
4.1- Giới thiệu chung 4.1.4- Khuôn dạng video Video số • Các khung được hiển thị tại một tốc độ khung quy định. Ví dụ: tốc độ khung 30 khung/s được sử dụng trong chuẩn NTSC. • Định dạng Common Intermediate Format (CIF) có 352x288 pixels và định dạng Quarter CIF (QCIF) có 176x144 pixels. 7/1/24 16
4.1- Giới thiệu chung 4.1.4- Khuôn dạng video Các kiểu khung video • Có 3 kiểu khung video: I-frame, P-frame và B-frame. I kí hiệu cho khung mã hóa trong, P kí hiệu cho khung dự đoán và B kí hiệu cho khung dự đoán hai chiều. • Các I-frame được mã hóa mà không có bất kì bù chuyển động và được sử dụng như một tham chiếu cho các khung kiểu P và B được dự đoán tương lai. Tuy nhiên các khung I đòi hỏi một số lượng bit tương đối lớn để mã hóa. • Các khung P được mã hóa sử dụng dự đoán bù chuyển động từ một khung tham chiếu cái có thể hoặc là khung I hoặc khung P. Các khung P hiệu quả hơn về số lượng bit được yêu cầu so với khung I, nhưng vẫn đòi hỏi nhiều bit hơn khung B. Các khung B đòi hỏi số lượng bit thấp nhất so với cả hai khung I và P nhưng chịu độ phức tạp tính toán lớn. 7/1/24 17
4.1- Giới thiệu chung 4.1.4- Khuôn dạng video Một số định dạng video • Hệ thống TV tương tự – NTSC: 60 trường/s (60i), 525 dòng/khung (chỉ 480 dòng tích cực) – PAL/SECAM: 50 trường/s (50i), 625 dòng/khung (chỉ 576 dòng tích cực) • Video số BT601 (Phiên bản số của NTSC/PAL) – NTSC  60i, 720x480, tốc độ dữ liệu=720x480x30x24 = 249 Mb/s – PAL/SECAM  50i, 720x576, tốc độ dữ liệu = 720x576x50x24 = 249 Mb/s 7/1/24 Định • dạng video SD 18
4.1- Giới thiệu chung 4.1.4- Khuôn dạng video Một số định dạng video 7/1/24 19
4.2- Mã hóa video 4.2.1- Các phương pháp mã hóa video • Mã hóa trong khung (Intraframe coding) - Là loại bỏ phần dư không gian trong một khung. Phần dư không gian được giảm tối thiểu bằng cách sử dụng phép khai triển (thường là DCT). • Mã hóa liên khung (Interframe coding) – Là loại bỏ phần dư thời gian giữa các khung liên tiếp. Mã hóa liên khung khai thác sự tương quan của các khung video (do các ảnh liền kề trong một chuỗi video có sự tương quan cao về (t)). • Intra (I-coding) 7/1/24 – MB (Macro Block) được mã hóa không có bù chuyển động. 20