Đồ án Nghiên cứu các giải pháp hử méo khối trong hệ thống nén video số (Phần 1)

Nội dung text: Đồ án Nghiên cứu các giải pháp hử méo khối trong hệ thống nén video số (Phần 1)

1. BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.HCM KHOA ĐIỆN-ĐIỆN TỬ ĐỒ ÁN TỐT NGHIỆP NGÀNH KỸ THUẬT ĐIỆN TỬ-TRUYỀN THÔNG NGHIÊN CỨU CÁC GIẢI PHÁP KHỬ MÉO KHỐI TRONG HỆ THỐNG NÉN VIDEO SỐ GVHD: Th.S Nguyễn Huy Hùng SVTH: Châu Minh Tấn MSSV : 12341101 SVTH: Ngô Lương Phương Huyền Di MSSV : 12341018 S K L 0 0 3 1 1 5 Tp. Hồ Chí Minh, tháng 07/2014
2. BỘ GIÁO DỤC & ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH KHOA ĐIỆN – ĐIỆN TỬ BỘ MÔN ĐIỆN TỬ-CÔNG NGHIỆP ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ –TRUYỀN THÔNG ĐỀ TÀI: NGHIÊN CỨU CÁC GIẢI PHÁP KHỬ MÉO KHỐI TRONG HỆ THỐNG NÉN VIDEO SỐ GVHD : Th.S Nguyễn Huy Hùng SVTH : Châu Minh Tấn MSSV : 12341101 SVTH : Ngô Lương Phương Huyền Di MSSV : 12341018 Tp. Hồ Chí Minh - 07/2014
3. PHẦN I i
4. TRƯỜNG ĐH. SƯ PHẠM KỸ THUẬT CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TP. HỒ CHÍ MINH ĐỘC LẬP - TỰ DO - HẠNH PHÚC KHOA ĐIỆN-ĐIỆN TỬ Tp. HCM, ngày tháng năm 2014 NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: Châu Minh Tấn MSSV: 12341101 Ngô Lương Phương Huyền Di MSSV: 12341018 Chuyên ngành: Công nghệ Kỹ thuật Điện tử Truyền thông Hệ đào tạo: Đại học chính quy Khóa: 2012 Lớp: 12341 I. TÊN ĐỀ TÀI: NGHIÊN CỨU CÁC GIẢI PHÁP KHỬ MÉO KHỐI TRONG HỆ THỐNG NÉN VIDEO SỐ II. NHIỆM VỤ 1. Các yêu cầu thực hiện, thông số của đề tài: 2. Các vấn đề tồn tại của ĐATN có liên quan đã thực hiện ở các khóa trƣớc: ii
5. 3. ĐATN giải quyết đƣợc vấn đề gì, tính mới, tính cải tiến, tính tối ƣu: 4. Kết quả đạt đƣợc của ĐATN sau khi thực hiện: III. NGÀY GIAO NHIỆM VỤ: 01/03/2014 IV. NGÀY HOÀN THÀNH NHIỆM VỤ: 15/07/2014 V. HỌ VÀ TÊN CÁN BỘ HƯỚNG DẪN: NGUYỄN HUY HÙNG CÁN BỘ HƯỚNG DẪN BM. ĐIỆN TỬ CÔNG NGHIỆP NGUYỄN HUY HÙNG Ts. NGUYỄN THANH HẢI iii
6. TRƢỜNG ĐẠI HỌC SPKT TPHCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Khoa Điện - Điện Tử Độc lập - Tự do - Hạnh phúc Bộ Môn Điện Tử Công Nghiệp Tp. Hồ Chí Minh, ngày tháng năm 2014 LỊCH TRÌNH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên 1: Lớp: MSSV: Họ tên sinh viên 2: Lớp: MSSV: Tên đề tài: Tuần/ngày Nội dung Xác nhận GVHD Tu n 1 Đặt tên cho đề tài, tìm và gửi GVHD những (24/03 – 31/03) luận văn tốt nghiệp liên quan Tu n 2 Nghiên cứu về chuẩn nén ảnh tĩnh và ảnh động (01/04 – 06/04) sử dụng biến đổi khối Tu n 3 Nghiên cứu về nguyên lý phát sinh và các (07/04 – 13/04) phương pháp định lượng méo khối khi nén ảnh và video số Tu n 4,5 Nghiên cứu các giải pháp khử méo khối ứng (14/04 – 27/04) dụng trong lĩnh vực nén ảnh và video số Tu n 6,7 Mô phỏng các giải pháp khử méo đề cập trong (28/04 – 11/05) ph n lý thuyết của luận văn trên ph n mềm Matlab Tu n 8,9 Viết luận án (12/05 - 25/05) GV HƯỚNG DẪN (Ký và ghi rõ họ và tên) iv
7. Trƣờng ĐH Sƣ Phạm Kỹ Thuật PHIẾU CHẤM ĐỒ ÁN TỐT NGHIỆP Khoa Điện – Điện Tử (Dành cho cán bộ hướng dẫn) BM Điện Tử Công Nghiệp Ngày tháng năm 2014 1. Tên đề tài tốt nghiệp: 2. Cán bộ hƣớng dẫn: 3. Nhận xét: 4. Đề nghị :Đƣợc bảo vệ: Bổ sung để đƣợc bảo vệ: Không đƣợc bảo vệ: 5. Các câu hỏi sinh viên phải trả lời trƣớc hội đồng : (dành cho cán bộ phản biện) Câu 1:. Câu 2:. 6. Đánh giá chung (bằng chữ: giỏi, khá, TB, yếu): Điểm: /10. 7. Xin mời GV hƣớng dẫn và GV phản biện tham gia hội đồng bảo vệ của thƣ mời đính kèm. Cán bộ hƣớng dẫn v
8. Trƣờng ĐH Sƣ Phạm Kỹ Thuật PHIẾU CHẤM ĐỒ ÁN TỐT NGHIỆP Khoa Điện – Điện Tử (Dành cho cán bộ phản biện) BM Điện Tử Công Nghiệp Ngày tháng năm 2014 1. Tên đề tài tốt nghiệp: 2. Cán bộ phản biện: 3. Nhận xét: 4. Đề nghị : Đƣợc bảo vệ: Bổ sung để đƣợc bảo vệ: Không đƣợc bảo vệ: 5. Các câu hỏi sinh viên phải trả lời trƣớc hội đồng : (dành cho cán bộ phản biện) Câu 1:. Câu 2:. 6. Đánh giá chung (bằng chữ: giỏi, khá, TB, yếu): Điểm: /10. Cán bộ phản biện vi
9. LỜI MỞ ĐẦU Ứng dụng kỹ thuật số trong lĩnh vực truyền hình đang là xu hướng phát triển tất yếu, cho phép nâng cao đáng kể chất lượng hình ảnh trong mọi công đoạn xử lý, từ dàn dựng, tạo hiệu ứng, truyền dẫn cho đến khâu lưu trữ. Tuy nhiên, song song với các ưu điểm không bàn cãi của video số, một trong những vấn đề nghiêm trọng phát sinh sau khi số hóa c n khắc phục đó là sự gia tăng đáng kể kích thước của tín hiệu (tương đương với tốc độ luồng video số). Hiện nay, có nhiều phương pháp nén video rất hiệu quả và đã được chuẩn hóa để sử dụng trong các hệ thống video số là H26x, MPEG2, MPEG4. Tất cả các chuẩn nén nói trên đều thực hiện mã hóa dựa trên biến đổi DCT và kỹ thuật bù chuyển động. Nguyên lý chung được sử dụng là mỗi ảnh chia thành các khối (block) 8x8 điểm, sau đó các block được biến đổi DCT (BDCT) và nén độc lập. Ưu điểm của phương pháp nén sử dụng biến đổi DCT là khả năng “gói” năng lượng tối ưu, hiệu quả nén cao, khả năng tính toán nhanh v.v Trong một số hệ thống truyền hình qua đường truyền có băng thông hẹp như truyền hình qua kênh di động, IPTV hoặc trong các hệ thống video conference, tín hiệu video phải được nén với tỷ lệ cao, khi đó trong ảnh nén sử dụng BDCT sẽ xuất hiện dạng méo đặc trưng đó là méo dạng khối. Vì các block ảnh 8x8 được nén độc lập và có tổn hao (các thành ph n phổ t n số cao t n trong phổ của khối ảnh bị loại bỏ), do đó từng block 8x8 sẽ bị biến dạng độc lập, đường bao các khối ảnh nằm kề bên nhau sẽ hiển thị rõ nét, tạo ra méo dạng khối. Đặc biệt khi hệ số nén càng cao (để đáp ứng yêu c u về băng thông của kênh), mức độ tổn hao càng lớn, méo dạng khối càng rõ nét. Qua phân tích ngắn ở trên có thể thấy rằng việc khử méo khối sau khi nén bằng các phương pháp nén sử dụng biến đổi DCT sẽ làm tăng chất lượng hình ảnh mà không c n tăng băng thông kênh truyền. Chính vì vậy, đề tài “NGHIÊN CỨU CÁC GIẢI PHÁP KHỬ MÉO KHỐI TRONG HỆ THỐNG NÉN VIDEO SỐ” có ý nghĩa thực tiễn cao, và đây cũng là lý do lựa chọn đề tài của em. Nhóm sinh viên thực hiện đề tài vii
10. LỜI CẢM ƠN   NGUYỄN HUY HÙNG – ại họ S Gò ò ạ N – H S H ạ ạ Nhóm sinh viên thực hiện đề tài viii
11. MỤC ỤC NỘI DUNG TRANG PHẦN I : GIỚI THIỆU NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP ii LỊCH TRÌNH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP iv LỜI MỞ ĐẦU vii LỜI CẢM ƠN viii MỤC ỤC ix LIỆT KÊ HÌNH VẼ xiii IỆT KÊ BẢNG xvi THUẬT NGỮ, CÁC TỪ VIẾT TẮT xvii Chƣơng I: DẪN NHẬP 1 1.1 Đặt vấn đề 2 1.2 Mục tiêu đạt đến của đồ án 2 1.3 Giới hạn đồ án 2 1.4 Nội dung đồ án 3 1.5 Ý nghĩa khoa học và thực tiễn của đồ án 3 Chƣơng II: TỔNG QUAN 4 2.1. Mục đích nén video 5 2.2. Tổng quan về các chuẩn video 6 2.2.1. Dòng H.26x 7 2.2.1.1. Chuẩn H.261 7 2.2.1.2. Chuẩn H.263 7 ix
12. 2.2.1.3. Chuẩn H.264/AVC 8 2.2.2 Dòng MPEG 9 2.2.2.1. Chuẩn MPEG-1 9 2.2.2.2. Chuẩn MPEG – 2 9 2.2.2.3. Chuẩn MPEG – 4 9 2.3. Cấu trúc H.264 10 2.3.1. Không gian màu YCrCb và kiểu lấy mẫu 4:2:0 10 2.3.2. Macroblock 11 2.3.3. Slice 12 2.3.4. Profile 14 2.4. Tổng quan về qui trình nén và giải nén của H.264 15 2.4.1. Quy trình nén 16 2.4.1.1. Dự đoán 17 2.4.1.1.1. Dự đoán Inter 18 2.4.1.1.2. Dự đoán Intra 24 2.4.1.2. Biến đổi và lượng tử hóa 27 2.4.1.3. Sắp xếp các giá trị của mỗi block 35 2.4.1.4. Mã hóa luồng bit nén hay mã hóa Entropy 36 2.4.2. Quy trình giải nén 39 2.4.2.1. Giải mã luồng bit nén 40 2.4.2.2. Rescaling và biến đổi ngược 40 2.4.2.3. Tái xây dựng 40 2.5. Một số đặc trưng nổi bật của chuẩn H264/AVC 40 x
13. Chƣơng III: CÁC GIẢI THUẬT KHỬ MÉO DẠNG KHỐI TRONG HỆ THỐNG NÉN VIDEO SỐ 42 3.1. Giới thiệu 43 3.2. Khử méo khối ngay trong hệ thống nén 44 3.2.1. Bộ lọc méo khối trong bộ mã H.264/AVC. 44 3.2.2. Tối ưu bộ lọc Post-Process/In-Loop 49 3.3. Khử méo khối bằng các bộ lọc post-processing 52 3.3.1. Giảm méo khối trong miền DCT 52 3.3.2. Giải thuật Weight Sums of Symmetrically Aligned Pixels 54 3.3.3. Khử méo khối sử dụng kỹ thuật offset và shift 55 3.2.2.1 Lọc loại UDB 57 3.2.2.2 Lọc loại HDB và VDB 57 3.2.2.3 Lọc loại CDB 58 3.4. Phương pháp biến đổi các khối chồng lấp 58 3.4.1. Biến đổi trực giao chồng lấp 59 3.4.2. Bù chuyển động cho khối xếp chồng 62 3.4.2.1. Ước lượng chuyển động của khối chồng lấp 63 3.4.2.2. Bù chuyển động của khối chồng lấp 64 CHƢƠNG IV: GIẢI THUẬT LỌC MÉO KHỐI THÍCH NGHI 65 4.1. Tổng quan về giải thuật 66 4.2. Phân tích giải thuật 66 4.2.1. Xác định chế độ lọc 67 4.2.2. Lọc 69 4.2.2.1. Quá trình lọc thứ nhất: 71 xi
14. 4.2.2.2. Quá trình lọc thứ hai 75 CHƢƠNG V: KẾT QUẢ MÔ PHỎNG 77 5.1 Kết quả mô phỏng 78 5.2 Kết luận 83 PHẦN III: PHỤ LỤC xx TÀI IỆU THAM KHẢO xxi NỘI DUNG ĐÍNH KÈM (CD) xxiii xii
15. LIỆT KÊ HÌNH VẼ HÌNH TRANG Hình 2.1: Quá trình phát triển các dòng video H.26x và MPEG 7 Hình 2.2: Một ảnh video được nén với cùng bitrate dùng MPEG-2 (trái), MPEG-4 (giữa) và h.264 (phải) 8 Hình 2.3: Dạng lấy mẫu các thành ph n YCbCr theo mô hình 4:2:0 11 Hình 2.4: Macroblock 16x16 được đại diện bởi các block thành ph n Y, Cr, Cb theo tỷ lệ lấy mẫu (4:2:0) trong H.264 12 Hình 2.5: Minh họa cách phân chia ảnh thành nhiều slice 13 Hình 2.6: Cấu trúc slice 14 Hình 2.7: Các profile của H.264/AVC và các công cụ với ứng dụng mỗi profile 15 Hình 2.8: Tổng quan về qui trình nén và giải nén của H.264 16 Hình 2.9: Quá trình nén H.264/AVC 16 Hình 2.10: Mô tả ước lượng chuyển động trong dự báo Inter 18 Hình 2.11: Sự phân chia macroblock khi mã hóa 20 Hình 2.12: Các ph n chia khác nhau trong một ảnh 21 Hình 2.13: Các điểm ảnh sub-sample (quater-pixel hoặc half-pixel) trong ảnh tham chiếu 22 Hình 2.14: Nội suy các điểm ảnh tại các vị trí half-pixel trong ảnh tham chiếu 23 Hình 2.15: Nội suy các điểm ảnh tại các vị trí quarter-pixel 24 Hình 2.16: Mô hình dự báo Intra 24 Hình 2.17: Block 4x4 luma c n được 25 Hình 2.18: Các điểm ảnh đã được 25 Hình 2.19: Các mode dự đoán cho block 4x4 luma 26 xiii
16. Hình 2.20: Macroblock 16 x 16 (luma) c n dự đoán 27 Hình 2.21: Các Blovk được c n dự đoán Intra 16 x 16 27 Hình 2.22: Thứ tự truyền dẫn của các block bên trong macroblock 28 Hình 2.23: Minh họa biến đổi DCT và lượng tử hóa 30 Hình 2.24: Quét Zig-Zag đối với block 4x4 luma 35 Hình 2.25: Quy trình giải nén video của chuẩn H.264/AVC 39 Hình 3.1: Các lưới xuất hiện có thể nhìn thấy được giữa ảnh góc và ảnh sau khi giải mã 43 Hình 3.2: Cấu trúc bộ mã hóa của H.264/AVC 44 Hình 3.3: Các giá trị mẫu trong hai khối 4x4 kế cận nhau 45 Hình 3.4: Sơ đồ khối tổng thể của bộ mã hóa trong 50 Hình 3.5: Các ph n tử của ma trận cửa sổ 51 Hình 3.6: Ví dụ minh họa khối 53 Hình 3.7: Hai ví dụ về các khung 54 Hình 3.8: Deblocking Block 55 Hình 3.9: Hướng và mức độ lọc cho từng loại DB 56 Hình 3.10: Thực hiện lọc một chiều của UDB (a) Trước khi lọc (b) Sau khi lọc 57 Hình 3.11: Lọc Kernel 58 Hình 3.12: Các khối hiện tại và khối liền kề của nó cho tương quan trong LOT. 59 Hình 3.13: LOT với kích thước khối 8 61 Hình 3.14: Sơ đồ khối của LOT nhanh cho các chuỗi dữ liệu đ y đủ 62 Hình 3.15: Ước lượng chuyển động của khối chồng lấp 63 Hình 3.16: Bù chuyển động của khối chồng lấp 64 Hình 4.1: Các pixel vector được dùng để xác định chế độ lọc 67 xiv
17. Hình 4.2: Phân loại vector 68 Hình 4.3: Các nhóm pixel theo chế độ lọc 69 Hình 4.4: (a) Cử sổ lọc FW, (b) Trật tự quét FW trong MB 69 Hình 4.5: Vị trí các pixel được lọc trong FW (a) và trong MB (b) 70 Hình 4.6: Các trọng số của chế độ lọc DS, SD trong pixel và 72 Hình 4.7: Các trọng số của chế độ lọc DS, SD trong pixel và 73 Hình 4.8: Các trọng số của chế độ lọc DS, SD trong pixel và 73 Hình 4.9: Các trọng số của chế độ lọc DS, SD trong pixel và 73 Hình 4.10: Các trọng số của chế độ lọc SS trong pixel và 74 Hình 4.11: Các trọng số của chế độ lọc SS trong pixel và 74 Hình 4.12: Các trọng số của chế độ lọc SS trong pixel và 74 Hình 4.13: Các trọng số của chế độ lọc SS trong pixel và 75 Hình 4.14: Vị trí của các pixel chưa được lọc sau quá trình thứ nhất 75 Hình 5.1a Ảnh gốc Lena 78 Hình 5.2: Giá trị tham số lượng tử QP và hiệu quả khử méo khối 79 Hình 5.3: Giá trị ngưỡng T2 và hiệu quả khử méo khối 80 Hình 5.4a Ảnh gốc tách từ file avi không nén 81 Hình 5.4b Ảnh P sau khi giải mã và khử nhiễu khối trong ảnh 81 Hình 5.4c Ảnh P đã khử méo khối sử dụng vector chuyển động 81 Hình 5.5: Giá trị PSNR giữa trường hợp giải mã và khử méo khối 82 Hình 5.6: Giá trị PSNR với file nén chất lượng thấp 82 Hình 5.7: PSNR với nén MPEG-4 (hệ số 25) 83 xv
18. IỆT KÊ BẢNG BẢNG TRANG Bảng 2.1: Các loại slice mã hóa trong H.264 13 Bảng 2.2: Ví dụ về tổ chức bộ nhớ ảnh tham chiếu với ảnh hiện tại là 250, số ảnh tham chiếu là 5 20 Bảng 2.3: Các kích thước bước lượng tử trong H.264/AVC Codec 33 Bảng 2.4: Hệ số nhân MF 34 Bảng 2.5: Hệ số scaling V 35 Bảng 2.6: Các từ mã Exp-Golomb 37 Bảng 2.7: Ánh xạ các codeNum cho các syntax elements có dấu 37 Bảng 3.1: Các thông số của Bs 46 Bảng 3.2: Bảng phân loại DB 56 Bảng 5.1: Giá trị PSNR với một số ảnh khác nhau 79 Bảng 5.2: Bảng giá trị trung bình của PSNR 80 xvi
19. THUẬT NGỮ, CÁC TỪ VIẾT TẮT AVC Advanced Video Coding B Bi-predictive Bs Boundary Strength CABAC Context-based Adaptive Binary Arithmetic Coding CAVLC Context-based Adaptive Variable Length Coding CD Compact Disc CDB Complex Deblocking Block CIF Common Intermediate Format D Default Filter DB Deblocking Block DCT Discrete Cosine Transform DV Digital Video DVD Digital Video Disc Exp-Golomb Exponential Golomb Codes FDCT Forward Discrete Cosine Transform FIR Finite Impulse Response Fps Frame Per Seconds FQ Forward Quantiser FW Filtering Window HD High-Definition HDB Horizontal Deblocking Block HVS Human Visual System I Intra IDCT Inverse Discrete Cosine Transform xvii
20. IP Internet Protocol IQ Inverse Quantiser ISO International Standards Organization ITU International Telecommunications Union ITU-T International Telecommunication Union – Telecommunication Standardization Sector JPEG Joint Photographic Experts Group JVT Joint Video Team Kbps Kilo Bits Per Second LOT Lapped Orthogonal Transform MB Macroblock Mbps Megabit Per Second Mb/s Megabit/Second MCP Motion Compensation Prediction MF Mutiplication Factor MHz Megahertz M-JPEG Motion- Joint Photographic Experts Group MPEG Moving Picture Experts Group N No Filtering P Predicted QCIF Quarter Common Intermediate Format QP Quantization Parameter RTP Real-time Transport Protocol S Strong Filter SAE The Sum of Absolute Errors xviii
21. SDTV Standard Definition Television SI Switching Intra SP Switching Predicted UDB Uniform Deblocking Block VCEG Video Coding Experts Group VHD Vertical Deblocking Block VOD Video On Demand WSSAP Weight Sums of Symmetrically Aligned Pixels xix
22. S K L 0 0 2 1 5 4