Tài liệu tham khảo Đa truyền thông (Phần 6)

Nội dung text: Tài liệu tham khảo Đa truyền thông (Phần 6)

1. MULTIMEDIAMULTIMEDIAMULTIMEDIA Lecturer:NguyenDuy Nhat Vien July,2006. 1 TTÀÀILIILI UTHAMKHUTHAMKH OO • CMPT 365 Course Contents, Spring 2000, Website: • “Principles of Digital Audio ”, Ken C.Pohmanm Fourth Edition McGrawHill. • “DigitalVideoprocessing ”,A.Murat Tekalp,UniversityofRochester, PrenticeHallPTR. • “Multimediaprocessing ”,AndrewCalway,COMS72200. • “FundamentalsofDigitalImageProcessing ”.,Anil.K.Jan,PrenticeHall, 1996. • MPEGHomePage, • “Emerging Wireless Multimedia Services and Technologies”, JohnWileySons,Aug2005 • “Multimedia Content and the Semantic Web Standards Methods and Tools”,JohnWileySons,Jun2005 • “Introduction To Digital Audio Signal Processing”, Davide Rocchesso, 2003 Page 2
2. NNIDUNGIDUNG • TNGQUAN • K THUTAUDIO • K THUTVIDEO Page 3 VIDEOVIDEO ENGINEERINGENGINEERING 4
3. CƠSCƠS VIDEOVIDEO • Các dng ca tín hiu Videomàu –Tín hiu videothành phn: • Các tín hiu videothành phn đưc x lý riêng l. Tp các thành phn RGB:Là các tín hiu cơ bn videomàu đưc cameracung cp.Ba tín hiu màu cĩ cùng đ rng băng tn. Tp các thành phn Y,RY,BY:Là t hp ca các giá tr màu cơ cn.Thơng thưng tín hiu Ycĩ băng tn rng hơn hai tín hiu RYvà BY.
   Tái to hình nh tt nht nhưng yêu cu băng thơng và đng b tt cho các thành phn. –Tín hiu videotng hp: Là tín hiu videomà trong đĩ thơng tinđ chĩi (luminance),màu (chrominance)và đng b (synchronization)đưc phi hp vi nhau (theo tn s,thi gian và biên đ)đ to ra mt tín hiu duy nht. Ph năng lưng tp trung vào hài ca tn s tín hiu quét dịng. Cho phép quét cách dịng đ nhn đưc cm nhn tt hơn.
   Yêu cu băng thơng nh,khơng đng b nhưng x lý khĩ khăn. Page 5 CƠSCƠS VIDEOVIDEO • Videotương t • Thơng tinv cnh vt truyn đi mang các tính cht v đ choi,màu sc và s thay đi theo thi gian. • Mt tín hiu videobao gm các nh theo trình t thi gian,mi nh bao gm đim nh.Các đim nh mang thơng tinv đ chĩi và màu sc ca vt th,cnh quan. – K thut quét Quét liên tc:Tn s quét ln. Quét cách dịng: Gim đưc tn s quét dịng nhưng vn đm bo đưc cm nhn liên tc,khơng b trơi,nhp nháy Hình 31Quét liên tc và quét cách dịng Page 6
4. CƠSCƠS VIDEOVIDEO • ðc đim ca videotương t • Tín hiu đơn cc,mc 1chiu (DC=0V)biu din mc đen và 0.7Vbiu din mc trng.–25mVbiu th mc xố. Hình 32Tín hiu videotương t điu ch âm Page 7 CƠSCƠS VIDEOVIDEO • Các tiêu chun videomàu – NTSC Video: 525dịng trên mt khung,30khung hình trong mt giây. Quét cách dịng.Chia làm hai trưng (mi trưng 262.5dịng). Cĩ 20dịng d tr cho thơng tinđiu khin ti thi đim bt đu mi trưng. Phù hp vì đ phân gii ca LaserDiskvà SVHSlà 420và TVthơng thưng cĩ đ phân gii khong 320dịng. Hình 33Tín hiu videovi thơng tinđiu khin Page 8
5. CƠSCƠS VIDEOVIDEO Biu din màu: NTSCs dng kiu màu YIQ. Thành phn tng hp =Y+Icos(f sc t)+Qsin(f sc t). Trong đĩ,fsc là tn s ca sĩng mang ph ca màu. – PAL Video: 625dịng trên mt khung,25khung hình trong mt giây. Quét cách dịng. Khung gm hai trưng chn l,mi trưng 312.5dịng. S dng kiu màu YUV. Di tn tín hiu chĩi Yrng 5MHz.Tín hiu Uvà Vđưc xác đnh theo cơng thc: V=0.877(R-Y)=0.615R-0.515G-0.100B U=0.493(B-Y)=-0.147R-0.293G+0.473B Page 9 CƠSCƠS VIDEOVIDEO • Videos – Thun li: • Truy cp ngu nhiên trc tip thun tin, • Vic to,lưu tr và ghi đc nhiu ln khơng nh hưng đn cht lưng nh. • Khơng cn xung xố và xung đng b. • X lý thun tin,khơng gp tr ngi v gii hn tn s,băng thơng. – Khĩ khăn • Tuy nhiên,tín hiu s gp mt s tr ngi xoay quanh vn đ v tính hiu qu, chng hn b lc s cĩ giá thành tương đi cao. – Tiêu chun ly mu màu: • Thun li trong vic x lý đi vi tín hiu videothành phn,nhưng băng thơng yêu cu ln. • ðim khác nhau ch yu ca các tiêu chun ly mu là t l gia tn s ly mu và phương pháp ly mu tín hiu chĩi và các tín hiu màu.Tn s chun là 3,375MHz.Mu tín hiu đưc ly ch đi vi phn t tích cc ca tín hiu video. Cu trúc ly mu là trc giao. Page 10
6. CƠSCƠS VIDEOVIDEO 4:4:4: Tn s ly mu màu cho các thành phn Y,C R,C B là 13.5MHz. 4:4:4 4:2:2 4:2:2: Y:13.5MHz,C R,C B là 6.75MHz. Khi gii mã,màu đim nh sau đưc suy t đim nh trưc. 4:1:1: Y:13.5MHz,C R,C B là 3.375MHz. 4:2:0: 4:1:1 4:2:0 Y:13.5MHz,C R,C B là 3.375MHz.Ly mu màu xen k. Ly mu Y,C R,C B Ly mu Y Ly mu CR Ly mu CB Hình 34Các tiêu chun ly mu màu Page 11 CƠSCƠS VIDEOVIDEO • Tín hiu videos nh t ðim nh Mang thơng tinv đ chĩi,màu sc Hình 35Videos Page 12
7. CƠSCƠS VIDEOVIDEO • Các tiêu chun video s ca CCIR (Consultative Committee for InternationalRadio) CCIR CCIR601625/50 601525/60 PAL/SECAM CIF QCIF NTSC ð phân gii chĩi 720x480 720x576 352x288 176x144 ð phân gii sc 360x480 360x576 176x144 88x72 Ly mu màu 4:2:2 4:2:2 4:2:0 4:2:0 S trưng /s 60 50 30,15,10,7.5 30,15,10,7.5 Cách quét Cách dịng Cách dịng Liên tc Liên tc Page 13 JPEGJPEG • Khái nim • Chun JPEGmơ t mt h k thut nén nh cho toneliên tc (mc xám haymàu)ca nh. JPEGkhai thác đ dư tha sinh lý th giác trong nh.JPEGđưc tin hành vào tháng 3năm 1986,đn tháng 1năm 1988thì JPEGđưc nht trí vi gii pháp DCTthích nghi đ ci thin và tăng cưng nh. • DCTliên tc:nh đưc mã hố t trái sangphi,t trên xung dưi da vào DCT. • DCTlu tin:nh mã hố quét phc hp theo ch đ phân gii khơng gian cho các ng dng băng hp • Khơng tn hao:Khơi phc chính xác,t l nén thp,ch loi b thơng tinkhơng cm nhn đưc. Baseline • Th bc (phân cp):Mã hố quét phc hp phân gii khơng gian,hiu qu vi Th bc nhng nh cĩ đ phân gii cao. Tài liu này ch xét DCTliên tc. DCT DCT Khơng liên tc lu tin tn hao Hình 36Các kiu hot đng ca JPEG Page 14
8. JPEGJPEG • Mã hố JPEG Hình 37Mã hố JPEG Page 15 JPEGJPEG • Chuyn đi Cosin ri rc DCT(DiscreteCosineTransform) • DCTthun: Hình 38DCT • DCTngưc: Page 16
9. JPEGJPEG • Ví d DC 98 92 95 80 75 82 68 50 591 106 18 28 34 14 18 3 97 91 94 79 74 81 67 49 35 0 0 0 0 0 0 0 95 89 92 77 72 79 65 47 1 0 0 0 0 0 0 0 93 87 90 75 70 77 63 45 3 0 0 0 0 0 0 0 91 85 88 73 68 75 31 43 1 0 0 0 0 0 0 0 89 83 88 71 66 73 59 41 0 0 0 0 0 0 0 0 87 81 84 69 64 71 57 39 1 0 0 0 0 0 0 0 85 79 82 67 62 69 55 37 0 0 0 0 0 0 0 0 1 7 7 • Thành phn DC: F(0,0)=∑∑ fij (,) = 591 8 • CácgiátrcịnlilàthànhphnAC i=0 j = 0 • Nhn xét: DCTlàm gim đ tương quan khơng gian ca thơng tintrong khi,
   biu din DCT cĩ đ dư tha thơng tinít hơn,đng thi,DCTcha thơng tinv ni dungtn s khơng gian ca thơng tintrong khi,da vào đc tính sinh lý th giác,ta ch mã hố nhng h s DCTquan trng,
   nén. Page 17 JPEGJPEG • Lưng t hố • Lưng t các h s F(u,v)đ gim s bits. • Các h s tương ng vi các tín hiu tn s thp là các giá tr ln nên phi đưc lưng t chính xác. • Các h s tương ng vi các tín hiu tn s cao (AC)cĩ giá tr bé nên cho phép sai s,ta cĩ th chia vi mt s ln hơn. • Lưng t hố thay đi theo khong cách đ đt đưc hiu qu nén cao. q( u , v )  F( u , v ) + F( u , v )  2  Fq ( u , v ) =  = round   quv(,)   quv (,)    • Trong đĩ,q(u,v)là giá tr trong bng lưng t hố 8x8,tuỳ thuc vào kênh chĩi hay kênh sc. • Mt ngưi ít cm nhn đưc các ni dung tn s cao và càng kém đi vi các ni dungtn s cao ca kênh sc Page 18
10. JPEGJPEG • Matrn lưng t kênh chĩi và kênh sc: tăng 16 11 10 16 24 40 51 61 17 18 24 47 99 99 99 99 12 12 14 19 26 58 60 55 18 21 26 66 99 99 99 99 14 14 16 24 40 57 69 56 24 26 56 99 99 99 99 99 14 17 22 29 51 57 69 56 47 66 99 99 99 99 99 99 18 12 37 56 68 109 103 77 99 99 99 99 99 99 99 99 24 35 55 64 81 104 113 92 99 99 99 99 99 99 99 99 49 64 78 87 103 121 120 101 99 99 99 99 99 99 99 99 72 92 95 98 112 100 103 99 99 99 99 99 99 99 99 99 Matrn lưng t kênh chĩi Matrn lưng t kênh sc • Nhn xét: H s lưng t q(u,v)càng xa thì cĩ giá tr càng ln,
    kt qu ca các thành phn đưc lưng t cĩ tn s càng cao càng tin v 0. ðây là quá trình tn hao thơng tinduy nht trong nén nh khơng tn hao. Page 19 JPEGJPEG • Quét zigzag • Ánh x matrn 8x8thành vector1x64,đáy ca vectorlà giá tr EOB(Endof Block). • Mc đích:Nhĩm các thành phn tn s thp vào đnh ca vector. • Ví d:Xét ví d trên,vi các thành phn đã đưc lưng t hố 0 40 10 DC AC(0,7) 3 40 10 2 2 1 0 0 0 0 3 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 2 Quét zigzag 0 0 0 0 0 0 0 0 2 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 7 0 0 0 0 0 0 0 0 1 AC(7,0) 0 0 0 0 0 0 0 0 AC(7,7) 64 EOB Hình 39Quét zigzag Page 20
11. JPEGJPEG • ðiu ch xung mã sai bit trên các thành phn DC • Thành phn DClà thành phn đu sau quét zigzag. • Giá tr ca thành phn DClà ln,thay đi nhưng gn vi giá tr ca blocktrưc đĩ. •
    ðiu ch DPCMcho thành phn DC. 15 DPCMcho tp DC 0,10 Khơng cĩ bưc chy 0 • Mã hố lot dài cho thành phn AC trưc giá tr 10 • Tr thành phn DC, các thành phn cịn li là AC 0,3 gm nhiu giá tr 0liên tip. 2,2 Cĩ 2bưc chy 0trưc giá tr 2 • Mã hố lot daì giá tr 0s mang li hiu qu rt 0,2 cao. 7,1 • Ví d:Gi s blocktrưc cĩ giá tr ca thành phn DClà 25.Kt qu như hình bên. EOB Kt thúc khi Hình 310Mã hố các thành phn DCvà AC Page 21 JPEGJPEG • Mã hố Entropy • Mã hố Entropys dng k thut mã hố Huffmanvi các bng mã hố gm bng phân loi và bng Huffmanda vào đc tính thng kê ca tín hiu. • Mã hố Entropycho thành phn DC: Các h s DCsai lch Phân loi T mã (chĩi) 255 128;128 255 8 1111110 127 64;64 127 7 111110 63 32;32 63 6 11110 31 16;16 31 5 1110 15 8;8 15 4 110 7 4;4 7 3 101 3;2;2;3 2 01 1;1 1 00 0 0 100 Hình 311Bng phân loi và bng Huffmancho thành phn DCchĩi Page 22
12. JPEGJPEG • Sơđ mã hố =4025=15 15~loi 4 40 Mã hố DPCM Bng phân loi Bng Huffman H s DC DCtrưc =25 sau quét loi 4cĩ mã 110 zigzag 15 Mã hố nh phân 110 1111 15mã nh phân là 1111 • Hình 312Mã hố entropythành phn DC • Mã hố các thành phn AC • Các t mã vi đ dài thay đi cĩ tn sut xut hin cao đưc mã hố ngn và ngưc li.Quá trình mã hố như vy gi là mã hố đ dài t mã thay đi VLC. • Bng phân loi ging như bng phân loi ca thành phn DCnhưng khác bng Huffman. Page 23 JPEGJPEG Bưc chy Phân loi ð dài mã T mã 0 1 2 00 0 2 2 01 0 3 3 100 0 4 4 1011 1 1 4 1100 1 2 6 111001 2 1 5 11011 2 2 8 11111000 3 1 6 111010 4 1 6 111011 5 1 7 1111010 6 1 7 1111011 EOB 4 1010 Hình 313Bng Huffmancác h s AC Page 24
13. JPEGJPEG 10~loi 4 Bưc chy 0, 2 Bưc chy 0,10 Mc 10 ,2 2~loi 2 2,2 Mã hố RLC Bng phân loi Bng HuffmanAC H s AC loi sau quét bưc chy 0,loi 4cĩ mã 1011 10, 2 zigzag bưc chy 2,loi 2cĩ mã 11111000 • Ví d trên: Mã hố nh phân 1011 1010 10mã nh phân là 1010 11111000|01 2~’10’;2~’01’ 0,10 10111010 0,3 0111 2,2 VLC 1111100001 0,2 0110 7,1 111110010 EOB 1010 Hình 314Mã hố entropythành phn AC Page 25 CCÁÁCCHUCCHU NNNN ÉÉNVIDEONVIDEO • H.261 • H.263 • MPEG1 • MPEG2 • MPEG4 • MPEG7 Page 26