Bài giảng Lý thuyết thông tin (Information Theory) - Chương 2: Mã Huffman

Nội dung text: Bài giảng Lý thuyết thông tin (Information Theory) - Chương 2: Mã Huffman

1. Chương 2. Mã Huffman ntnhut@hcmus.edu.vn 1
2. Mã tối ưu • Trong một đoạn văn bản, các ký tự có tần suất xuất hiện khác nhau.
   dùng mã tức thời để mã hoá ký tự có tần suất cao nhất thành từ mã có độ dài ngắn nhất. Bài toán : cho trước các tần suất xuất hiện của các ký tự, tìm mã tối ưu nhất. ntnhut@hcmus.edu.vn 2
3. Nguồn thông tin Định nghĩa : guồn thông tin bao gồm bảng ký tự {a 1, a 2, , a n} cùng với phân phối xác suất của chúng P(a 1), P(a 2), , P(a n) thoả: • P(a 1) + P(a 2) + + P(a n) = 1. • 0 ≤ P(a i) ≤ 1. Ví dụ: ntnhut@hcmus.edu.vn 3
4. Độ dài mã tối ưu • Độ dài mã trung bình (average length) • Mã tối ưu nhất là mã có độ dài mã trung bình nhỏ nhất (theo nghĩa chuỗi mã sẽ được nén ngắn nhất có thể được) ntnhut@hcmus.edu.vn 4
5. VD mã tối ưu Mã ASCII Mã Morse tối ưu hơn! ntnhut@hcmus.edu.vn 5
6. Mã Huffman Định nghĩa : Cho trước nguồn thông tin S, mã Huffman là mã tức thời có độ dài mã trung bình nhỏ nhất L min (S). Ví dụ : m ột mã Huffman cho nguồn thông tin sau là có ntnhut@hcmus.edu.vn 6
7. Xây dựng mã Huffman nhị phân • 2 ký tự nguồn {a 1, a 2}: – Từ mã tương ứng là 0 và 1. – Độ dài các từ mã = 1. • 3 ký tự nguồn {a 1, a 2, a 3} trong đó P(a 1) cao nhất: – Rút về trường hợp 2 ký tự a 1 và a 2,3 với P(a 2,3 ) = P(a 2) + P(a 3). – Tách từ mã ‘1’ thành hai từ mã ‘10’ và ‘11’ ntnhut@hcmus.edu.vn 7
8. Tổng quát • S là nguồn thông tin với bảng ký tự {a 1, a 2, , a n} và các phân phối xác suất P(a 1) ≥ P(a 2) ≥ ≥ P(a n). • Nguồn thông tin S* gồm n – 1 ký tự {a 1, a 2, , a n2 và ký tự a n1,n } với các xác suất tương ứng là P(a 1), P(a 2), , P(a n2) và P(a n1,n )=P(a n1) + P(a n). Định lý : Giả sử K* là mã Huffman cho S*. Khi đó mã cho S có dạng Lưu ý: sắp xếp ký tự a n1,n tương ứng thứ tự của P(a n1,n ) trong dãy xác suất được sắp xếp. ntnhut@hcmus.edu.vn 8
9. Ví dụ • Tìm mã Huffman cho nguồn thông tin sau • Kết quả: • Độ dài mã trung bình: ntnhut@hcmus.edu.vn 9
10. Các bước thực hiện ntnhut@hcmus.edu.vn 10
11. Mã Huffman mở rộng • Bảng ký tự mã gồm k>2 ký tự (k>2). • Ví dụ: 1 00 01 02 20 21 ntnhut@hcmus.edu.vn 11
12. Tóm tắt • Mã tối ưu • Nguồn thông tin • Độ dài mã tối ưu • Mã Huffman ntnhut@hcmus.edu.vn 12
13. Đề tài nhóm • Mã tự sửa [1] : 1. ReedMuller code 2. Cyclic code 3. BCH code • Nén dữ liệu [2] : 1. Arithmetic code 2. LempelZiv code 1. Jiri Adamek, Foundations of Coding 2. David J. C. Mackay, Information Theory, Inference, and Learning Algorithms . ntnhut@hcmus.edu.vn 13
14. Homework • Đọc lại chương 2 [1] và làm các bài tập cuối chương. • Đọc trước chương 3 [1] ntnhut@hcmus.edu.vn 14
15. Bài tập 1 • Tìm mã Huffman cho 3 trường hợp sau ntnhut@hcmus.edu.vn 15
16. Bài tập 2 • Tìm số ký tự mã nhỏ nhất để mã tức thời cho các nguồn thông tin trong bài tập 1 sao cho độ dài mã trung bình không lớn hơn 1.5. ntnhut@hcmus.edu.vn 16
17. Bài tập 3 • Tìm tất cả các mã Huffman nhị phân cho bảng ký tự {A, B, C, D}, biết rằng A xuất hiện nhiều gấp đôi B, còn B nhiều gấp đôi C và D. ntnhut@hcmus.edu.vn 17
18. Bài tập thực hành 1. Viết chương trình C tính tần suất xuất hiện của từng ký tự trong một file văn bản tiếng Anh. 2. Dùng Matlab viết hàm lập mã Huffman cho một nguồn thông tin cho trước. ntnhut@hcmus.edu.vn 18