Mpeg-4/H.264 Technique
Cheng-Hung Li 李政宏
National Digital Archives Program, Taiwan / Digital Archive Architecture Laboratory
Outline
• • • • • • • • ISO/MPEG MPEG-1 (ISO/IEC 11172) MEPG-2 (ISO/IEC 13818) MPEG-4 (ISO/IEC 14496) Mpeg-1,2,4比較 Mpeg-4常見應用 常見Mpeg-4應用設備 視訊壓縮標準演變
2
MPEG
• MPEG標準是由International Standards Organization (ISO) 的MPEG (Motion Pictures Expert Group) 所訂定公開的標準
– 該標準是用來將影片與聲音結合導入多媒體應用，並使 得影音串流皆以該標準來記錄與傳播 – 自1988年成立以來，MPEG 已經公佈了數項重要的標 準，包含Mpeg-1,2,4,7,21…等
• 雖然MPEG-1 、MPEG-2 和H.263非常適合在它 們原來設計的目標環境下工作，但是面對正在大 舉進入市場的各種多媒體應用，這些標準並未提 供適當的彈性，無法有效滿足它們的需求。
3
MPEG-1 (ISO/IEC 11172)
• 主要工作是將動態畫面及聲音壓成每秒 1.5Mbit的數位儲存媒體
– Part 1(系統)：提供多迴路傳輸和影音同步的功能 – Part 2(視訊)：提供非交錯式畫面壓縮成1.5Mbit/s的 VHS品質 – Part 3(音訊)：音訊部分提供雙聲道壓縮(stereo) – Part 4：一致性測試，Part 5：軟體參照
• MPEG1的應用
– VCD, Video CD 是一項MPEG1完整應用，將電影壓縮 到2片CD上 – MPEG-1 Audio Layer III，亦即 MP3
4
MEPG2 (ISO/IEC 13818)
• MPEG2首次在1990年七月Porto會議中被提出 • 全名為 Generic coding of Moving Pictures and Associated Audio,對動態圖片及聲音的基本壓縮 方法
– Part 1(系統)：提供資訊可以在通訊不穩定的環境(errorprone delivery system)下傳輸，有助於數位儲存媒體 – Part 2(視訊)：提供對interlaced畫面以不同解析度方式 壓縮 – Part 3(音訊)：提供多頻道音訊壓縮，與MPEG1類似 – Part 4：一致性測試，Part 5：軟體參照
5
MEPG2 (ISO/IEC 13818)
– Part 6(數位儲存媒體指令與控制,DSM-CC)：提供在不 同網路下建立session的通訊協定，並進一步可以遙控 MPEG2內容的伺服器 – Part 7(Advanced Audio Coding, AAC) ：提供多頻道音訊壓縮，但與MPEG1音訊不相容 – Part 8：支援當取樣樣本高於8bits方式表現仍能壓縮 – Part 9：提供MPEG2傳輸流和解壓縮器之間的標準界面
• MPEG2的應用
– – – – Part1,2,3已用在10億台數位機上盒與數億個DVD中 DSM-CC被廣泛使用在數位機上盒的衛星與有線電纜部分 AAC則被日本用在國家數位電視標準，並應用於數位音樂的保全 幾年內，MPEG2也有許多修正與擴充。其中最重要的項目之一是 4:2:2 profile的擴充，使得MPEG2可以應用在電視製作中 6
MPEG-4 (ISO/IEC 14496)
• MPEG-4的「影音物件壓縮」的標準起自於 紐約1993年七月的會議 • MPEG4標準的前六個部分和MPEG2類似， 前五項的標題和MPEG2一樣
– Part 6(多媒體整合傳輸架構)：這部分有許多內 容方面重要的變革 – Part 7：最佳化軟體對Mpeg-4工具 – Part 8：於IP framework上運作 – Part 9：參照硬體描述 – Part 10：進階video編碼(AVC)
7
MPEG-4 (ISO/IEC 14496)
• Part 12：基於ISO的媒體文件格式，定義一個存儲媒體內容的文件格 式 • Part 13：知識產權管理和保護(IPMP for Intellectual Property Management and Protection)拓展 • Part 14：定義基於part 12用於存儲MPEG-4內容的容器文件格式 • Part 15：定義基於part 12用於存儲part 10的視頻內容的文件格式 • Part 16：動畫框架擴展(AFX for Animation Framework eXtension) • Part 17：同步文本字幕格式 (尚未完成 - 2005年1月達成"最終委員會 草案"(FCD for Final Committee Draft) • Part 18：字體壓縮和流式傳輸(針對公開字體格式) • Part 19：綜合用材質流(Synthesized Texture Stream) • Part 20：簡單場景表示(LASeR for Lightweight Scene Representation)(尚未完成 – 同Part 17) • Part 21：用於描繪(Rendering)的MPEG-J拓展(尚未完成 -同Part 17)
8
MPEG-4 (ISO/IEC 14496)
• MPEG-4與其他標準主要不同的地方在於其採用 content-based的機制
– 每一場景在進行壓縮之前，會先訂定前景或背景物件， 又稱AVOs (audio-visual objects)。每個AVO依次定義 一個或多個影片或音訊物件，而每個影格會根據其內容 物件被切割成數個VOPs (video object plane)，每個 VOP則會對應到其相關的AVO，透過MPEG-4所提供之 視訊編碼解碼器(video codec)可以去除空間和時間的冗 餘性，達到壓縮視訊的目的。其中包括：
• 1.Intra Coded VOPS (I-VOPs)會利用視訊物件平面包含的資訊 進行編碼，這能移除部份的空間冗餘性(spatial redundancy) • 2.影格間編碼(inter coding)則會透過移動估算和補償來去從影 9 格間的時間冗餘性(temporal redundancy)
MPEG-4 (ISO/IEC 14496)
10
MPEG-4 (ISO/IEC 14496)
• MPEG4能對個別物件壓縮，表示影像資料可以不 必是方形的。聲音部分也是一樣，有許多壓縮工 具可以將語音speech和音樂audio以不同頻率與功 能壓縮，包含AAC的擴充。 • 在系統部分，除了具有MPEG1和MPEG2的功能 外，還包含了「組合功能」，並且可以對整合物 件作額外的處理，也同時可以對3D物件作時間便 化的處理。 • 檔案格式必須作標準化處理。 • Part 5完全在說明MPEG4壓縮與解壓縮的軟體開 發方式。和MPEG1/MPEG2的軟體參照部分，有 相同的規範。
11
Mpeg-4應用
• 目前有許多產業已經著手開發MPEG4影片，做為下一代行 動通訊的標準，並用來開發VOD及相關產品的解決方案 • 支援在MPEG2傳輸流中攜帶MPEG4物件，將多媒體應用 在電視領域中 • XMT文字格式，包含SMIL，WEB3D等XML格式，可以被 編譯成MPEG4格式(BIFS) • 多使用者的支援Multiuser • 動畫架構animation framework，支援3D環境 • IPMP（智慧財產權保護）將依據現有EPMP架構擴充，以 提供使用者的互動性 • Studio Profile將影像壓縮的bitrate擴充到每秒1Gbits • FGS(影片粒子scalability)功能將影像壓縮原理支援到更高 階層的擴充能力
12
Mpeg-1,2,4比較
MPEG-1 開始成為標準的年份 最大影像解析度 預設影像解析度(PAL) 1992 352 x 288 352 x 288 1995 1920 x 1152 720 x 576 MPEG-2 1999 720 x 576 720 x 576 MPEG-4
預設影像解析度(NTSC)
最大音頻範圍 最多聲道數目 最大資料速率 一般使用的資料速率
352 x 288
48 kHz 2 3 Mbit/秒 1380 kbit/s (352 x 288)
640 x 480
96 kHz 8 80 Mbit/秒 6500 kbit/s (720 x 576)
640 x 480
96 kHz 8 5至10 Mbit/秒。 880 kbit/s (720 x 576)
每秒畫面張數(PAL)
每秒畫面張數(NTSC) 影像品質 進行壓縮的硬體要求 進行解壓縮的硬體要求
25
30 滿意 低 很低
25
30 很好 高 中等
25
30 好至很好 很高 高
13
Mpeg-4常見應用 (1)
• Mac OS X Tiger 的 QuickTime 7 使用先進的視訊編 解碼器，稱為 H.264，他可以利用超低資料傳輸速率 提供令人驚豔的畫質。這項超高效率的技術被認可為 MPEG4 標準(MPEG4 Part 10)的一部份，可因應行 動裝置 3G、iChat AV 視訊會議至廣播用 HD 等各種 頻寬，提供絕佳的效果 • H.264 只要1/3至1/2的資料傳輸率，就可以提供與 MPEG2 一樣的畫質
使用情況 行動內容 Internet∕標準解析度 高解析度 最大解析度 解析度與影格速率 176x144, 10-24 fps 640x480, 24 fps 1280x720, 24p 1920x1080, 24p 取樣資料率 50-60 Kbps 1-2 Mbps 5-6 Mbps 7-8 Mbps
14
Mpeg-4常見應用 (2)
• DivX & XviD
– 數年前，在PC上能用的唯一MPEG-4 編碼器是由微軟開發的，包 括MS MPEG4 V1、MS MPEG4 V2、MS MPEG4 V3系列編碼 – 不過 V1 和 V2 的編碼品質並不太好，直到 MS MPEG4 V3 開始， 畫面質量有了顯著的進步 – 不過微軟卻決定僅將這個MS MPEG4 V3的視頻編碼核心封閉在 Windows Media 串流媒體技術，也就是我們熟知的ASF檔案中 – 電影駭客很快便有小組修改了微軟的 MS MPEG4 V3，解除了不能 用於AVI檔案的限制，並開放了其中一些壓縮參數，也就誕生了我 們今天所熟悉的MPEG4編碼器 DivX 3.11…DivX 4, DivX 5 – 歷經波折…. – 發展出了 XviD – 現在的 XviD 更可以說超越了 DivX 5, 以更好的質量, 更強的功能挑 15 戰著新一代的 MPEG4 應用
Mpeg-4常見應用 (4)
• MP4：一種可包含大量多媒體的檔案容器格式 • MP4被定義於MPEG4 part 1系統部份，其可支援所有的多媒體內容 (video, audio, subtitle, pictures)與進階內容(2D & 3D)、使用者互動、 DVD-menu • MP4 內容可延伸至下列物件:
– – – – – .mp4 .mp4v, .m4v – 原始 mpeg-4 video streams .m4a –儲存Apple iTunes audio only .m4p - Apple for DRM protected files; .3gp, .3g2 – 用於3G mobile phones
• MP4 可包含之多媒體檔案
– 視訊：MPEG-4 (XviD, DivX5, 3ivx, ffmpeg/ffvfw, NeroDigital, H.264/AVC), MPEG-2, MPEG-1, ... 無法使用於 MS MPEG-4, MPEG-4 DivX3, WM9 (Windows Media 9), RV9 (Real Video 9)... – 音訊：MP3, AAC, MP2, MP1, TwinVQ, ...無法使用於 OGG Vorbis, Voxware Metasound, ... – 影像： JPEG, PNG
16
常見Mpeg-4應用設備 (1)
• Video iPod
– 音訊：AAC、Protected AAC（iTunes ）、MP3、MP3 VBR、 Audible、Apple Lossless、WAV、AIFF – 照片：JPEG、BMP、GIF、TIFF、PSD（僅限 Mac）和 PNG格式 – 視訊支援：H.264(768 Kbps，320 x 240, 30fps) – 音訊格式：.m4v, .mp4 與 .mov – MPEG-4 視訊影片：最高可達 2.5 Mbps，480 x 480，每秒 30 影格
• MP4影音播放器
– 音樂格式：MP3, WMA, OGG, AC3 – 視頻格式：AVI, MPEG1, MPEG2, MPEG4, VOB,DAT 圖片格式：JPG,最大YUV 4800*3600 pixels,支援圖片 流覽功能
17
常見Mpeg-4應用設備 (2)
• DVD錄放影機
– 支援播放檔案格式： – 影片：MPEG 4、DivX、Mpeg-2、 Mpeg-1 – 照片：JPEG、柯達相片光碟 – 音樂: CD、MP3檔案
• DV攝影機
– 影像檔案格式：ASF(MPEG-4相容)
18
常見Mpeg-4應用設備 (3)
• 3G手機
– – – – – 音樂播放器：MP3, AAC 鈴聲種類：MIDI, AAC, MP3 圖片支援格式：JPEG 影片播放格式：3GP 錄影格式：3GP
19
視訊壓縮標準演變 (1)
• 數位通訊媒體包括
– 有線電視、衛星、網際網路、DVD等等 – 迅速發展，且容量在不斷地增加 – 傳輸/儲存未經壓縮的高品質視訊節目耗頻寬
• 更多頻道數、行動視訊、高品質視訊、高解 析度視訊的需求愈來愈強烈
– 唯一的選擇就是採用更好的視訊壓縮 – 1980年就有了H.261視訊壓縮標準，它是為視 訊會議應用而設計的，其位元率為64kbps
20
視訊壓縮標準演變 (2)
• 在視訊壓縮演算法/壓縮標準上平行著兩個國際組 織的開發過程：
– H.標準:這是由ITU(國際電信聯盟)所開發的標準
– MPEG標準:這是由MPEG委員會、後來又經lSO(國際標 21 準組織)所核准的標準
視訊壓縮標準演變 (3)
• 就商業應用而言H.264/AVC超過了MPEG-4
– MPEG-4非常龐大又複雜的標準 – 單就MPEG-4 lS014496-2(視訊)來說，某些部 份在商業上如何實現便是個問題 – H.264/AVC是目前能夠應用最好最新壓縮方式 – 得到MPEG/lS0和ITU的支援，符合國際標準 – H.264/AVC只集中在視訊部份，因此其標準化 較為容易 – H.264/AVC與現有系統的通用性較高
22
Thanks for your attention!
23