目錄 隨着hdtv的興起，h.264 這個規範頻頻出現在我們眼前，hd-dvd和藍光dvd均計劃采用這一標準進行節目製作。而且自2005年下半年以來，無論是nvidia還是ati都把支持h.264 硬件解碼加速作為自己最值得誇耀的視頻技術。h.264 到底是何方“神聖”呢？
h.264 ？h.264 是一種高性能的視頻編解碼技術。目前國際上製定視頻編解碼技術的組織有兩個，一個是“國際電聯（itu-t）”，它製定的標準有h.261、h.263、h.263+等，另一個是“國際標準化組織（iso）”它製定的標準有mpeg-1、mpeg-2、mpeg-4等。而h.264 則是由兩個組織聯合組建的聯合視頻組（jvt）共同製定的新數字視頻編碼標準，所以它既是itu-t的h.264 ，又是iso/iec的mpeg-4高級視頻編碼（advanced video coding，avc），而且它將成為mpeg-4標準的第10部分。因此，不論是mpeg-4 avc、mpeg-4 part 10，還是iso/iec 14496-10，都是指h.264 。
h.264 最大的優勢是具有很高的數據壓縮比率，在同等圖像質量的條件下，h.264 的壓縮比是mpeg-2的2倍以上，是mpeg-4的1.5～2倍。舉個例子，原始文件的大小如果為88gb，采用mpeg-2壓縮標準壓縮後變成3.5gb，壓縮比為25∶1，而采用h.264 壓縮標準壓縮後變為879mb，從88gb到879mb，h.264 的壓縮比達到驚人的102∶1！h.264 為什麽有那麽高的壓縮比？低碼率（low bit rate）起了重要的作用，和mpeg-2和mpeg-4 asp等壓縮技術相比，h.264 壓縮技術將大大節省用戶的下載時間和數據流量收費。尤其值得一提的是，h.264 在具有高壓縮比的同時還擁有高質量流暢的圖像。
h.264 算法的優勢
h.264 是在mpeg-4技術的基礎之上建立起來的，其編解碼流程主要包括5個部分：幀間和幀內預測（estimation）、變換（transform）和反變換、量化（quantization）和反量化、環路濾波（loop filter）、熵編碼（entropy coding）。
h.264 /mpeg-4 avc（h.264 ）是1995年自mpeg-2視頻壓縮標準發佈以後的最新、最有前途的視頻壓縮標準。h.264 是由itu-t和iso/iec的聯合開發組共同開發的最新國際視頻編碼標準。通過該標準，在同等圖象質量下的壓縮效率比以前的標準提高了2倍以上，因此，h.264 被普遍認為是最有影響力的行業標準。
h.264 的發展歷史
h.264 在1997年itu的視頻編碼專傢組（video coding experts group）提出時被稱為h.26l，在itu與iso合作研究後被稱為mpeg4 part10（mpeg4 avc）或h.264 （jvt）。
h.264 的高級技術背景
h.264 標準的主要目標是：與其它現有的視頻編碼標準相比，在相同的帶寬下提供更加優秀的圖象質量。
h.264 與以前的國際標準如h.263和mpeg-4相比，最大的優勢體現在以下四個方面：
h.264 的特徵和高級優勢
h.264 是國際標準化組織（iso）和國際電信聯盟（itu）共同提出的繼mpeg4之後的新一代數字視頻壓縮格式，它即保留了以往壓縮技術的優點和精華又具有其他壓縮技術無法比擬的許多優點。
h.264 技術壓縮後的數據量衹有mpeg2的1/8，mpeg4的1/3。
h.264 壓縮技術的采用將大大節省用戶的下載時間和數據流量收費。
h.264 能提供連續、流暢的高質量圖象（dvd質量）。
h.264 提供瞭解决在不穩定網絡環境下容易發生的丟包等錯誤的必要工具。
h.264 提供了網絡適應層（network adaptation layer）, 使得h.264 的文件能容易地在不同網絡上傳輸（例如互聯網，cdma，gprs，wcdma，cdma2000等）。
h.264 標準概述
h.264 和以前的標準一樣，也是dpcm加變換編碼的混合編碼模式。但它采用“回歸基本”的簡潔設計，不用衆多的選項，獲得比h.263++好得多的壓縮性能；加強了對各種信道的適應能力，采用“網絡友好”的結構和語法，有利於對誤碼和丟包的處理；應用目標範圍較寬，以滿足不同速率、不同解析度以及不同傳輸（存儲）場合的需求。
h.264 在使用與上述編碼方法類似的最佳編碼器時，在大多數碼率下最多可節省50%的碼率。h.264 在所有碼率下都能持續提供較高的視頻質量。h.264 能工作在低延時模式以適應實時通信的應用(如視頻會議)，同時又能很好地工作在沒有延時限製的應用，如視頻存儲和以服務器為基礎的視頻流式應用。h.264 提供包傳輸網中處理包丟失所需的工具，以及在易誤碼的無綫網中處理比特誤碼的工具。
h.264 提出了一個新的概念，在視頻編碼層(video coding layer, vcl)和網絡提取層(network abstraction layer, nal)之間進行概念性分割，前者是視頻內容的核心壓縮內容之表述，後者是通過特定類型網絡進行遞送的表述，這樣的結構便於信息的封裝和對信息進行更好的優先級控製。h.264 的係統編碼框圖如圖1所示。 圖1 h.264 係統框圖
h.264 標準的關鍵技術
h.264 幀內編碼的效率，在給定幀中充分利用相鄰宏塊的空間相關性，相鄰的宏塊通常含有相似的屬性。因此，在對一給定宏塊編碼時，首先可以根據周圍的宏塊預測（典型的是根據左上角的宏塊，因為此宏塊已經被編碼處理），然後對預測值與實際值的差值進行編碼，這樣，相對於直接對該幀編碼而言，可以大大減小碼率。
h.264 提供6種模式進行4×4像素宏塊預測，包括1種直流預測和5種方向預測，如圖2所示。在圖中，相鄰塊的a到i共9個像素均已經被編碼，可以被用以預測，如果我們選擇模式4，那麽，a、b、c、d4個像素被預測為與e相等的值，e、f、g、h4個像素被預測為與f相等的值，對於圖像中含有很少空間信息的平坦區，h.264 也支持16×16的幀內編碼。 圖2 幀內編碼模式
h.264 的運動補償支持以往的視頻編碼標準中的大部分關鍵特性，而且靈活地添加了更多的功能，除了支持p幀、b幀外，h.264 還支持一種新的流間傳送幀——sp幀，如圖3所示。碼流中包含sp幀後，能在有類似內容但有不同碼率的碼流之間快速切換，同時支持隨機接入和快速回放模式。圖3 sp-幀示意圖h.264 的運動估計有以下4個特性。
h.264 支持7種模式，如圖4所示。小塊模式的運動補償為運動詳細信息的處理提高了性能，減少了方塊效應，提高了圖像的質量。圖4 宏塊分割方法
h.264 中可以采用1/4或者1/8像素精度的運動估值。在要求相同精度的情況下，h.264 使用1/4或者1/8像素精度的運動估計後的殘差要比h.263采用半像素精度運動估計後的殘差來得小。這樣在相同精度下，h.264 在幀間編碼中所需的碼率更小。
h.264 提供可選的多幀預測功能，在幀間編碼時，可選5個不同的參考幀，提供了更好的糾錯性能，這樣更可以改善視頻圖像質量。這一特性主要應用於以下場合：周期性的運動、平移運動、在兩個不同的場景之間來回變換攝像機的鏡頭。
h.264 定義了自適應去除塊效應的濾波器，這可以處理預測環路中的水平和垂直塊邊緣，大大減少了方塊效應。
h.264 使用了基於4×4像素塊的類似於dct的變換，但使用的是以整數為基礎的空間變換，不存在反變換，因為取捨而存在誤差的問題，變換矩陣如圖5所示。與浮點運算相比，整數dct變換會引起一些額外的誤差，但因為dct變換後的量化也存在量化誤差，與之相比，整數dct變換引起的量化誤差影響並不大。此外，整數dct變換還具有減少運算量和復雜度，有利於嚮定點dsp移植的優點。
h.264 中可選32種不同的量化步長，這與h.263中有31個量化步長很相似，但是在h.264 中，步長是以12.5%的復合率遞進的，而不是一個固定常數。
h.264 中，變換係數的讀出方式也有兩種：之字形(zigzag)掃描和雙掃描，如圖6所示。大多數情況下使用簡單的之字形掃描；雙掃描僅用於使用較小量化級的塊內，有助於提高編碼效率。圖6 變換係數的讀出方式
h.264 中采用了兩種不同的熵編碼方法：通用可變長編碼（uvlc）和基於文本的自適應二進製算術編碼（cabac）。
h.264 中的uvlc碼表提供了一個簡單的方法，不管符號表述什麽類型的數據，都使用統一變字長編碼表。其優點是簡單；缺點是單一的碼表是從概率統計分佈模型得出的，沒有考慮編碼符號間的相關性，在中高碼率時效果不是很好。
h.264 中還提供了可選的cabac方法。算術編碼使編碼和解碼兩邊都能使用所有句法元素(變換係數、運動矢量)的概率模型。為了提高算術編碼的效率，通過內容建模的過程，使基本概率模型能適應隨視頻幀而改變的統計特性。內容建模提供了編碼符號的條件概率估計，利用合適的內容模型，存在於符號間的相關性可以通過選擇目前要編碼符號鄰近的已編碼符號的相應概率模型來去除，不同的句法元素通常保持不同的模型。
h.264 在視頻會議中的應用
h.264 的出現，使得在同等速率下，h.264 能夠比h.263減小50%的碼率。也就是說，用戶即使是衹利用 384kbit/s的帶寬，就可以享受h.263下高達 768kbit/s的高質量視頻服務。h.264 不但有助於節省龐大開支，還可以提高資源的使用效率，同時令達到商業質量的視頻會議服務擁有更多的潛在客戶。
h.264 協議，廠商們致力於普及h.264 這個全新的業界標準。隨着其它視頻會議方案廠商陸續效仿他們的做法，我們必將能全面體驗h.264 視頻服務的優勢。 隨着HDTV的興起，h.264 這個規範頻頻出現在我們眼前，HD-DVD和藍光DVD均計劃采用這一標準進行節目製作。而且自2005年下半年以來，無論是NVIDIA還是ATI都把支持h.264 硬件解碼加速作為自己最值得誇耀的視頻技術。h.264 到底是何方“神聖”呢？
h.264 ，同時也是MPEG-4第十部分，是由ITU-T視頻編碼專傢組（VCEG）和ISO/IEC動態圖像專傢組（MPEG）聯合組成的聯合視頻組（JVT，Joint Video Team）提出的高度壓縮數字視頻編解碼器標準。
h.264 是一種高性能的視頻編解碼技術。目前國際上製定視頻編解碼技術的組織有兩個，一個是“國際電聯（ITU-T）”，它製定的標準有H.261、H.263、H.263+等，另一個是“國際標準化組織（ISO）”它製定的標準有MPEG-1、MPEG-2、MPEG-4等。而h.264 則是由兩個組織聯合組建的聯合視頻組（JVT）共同製定的新數字視頻編碼標準，所以它既是ITU-T的h.264 ，又是ISO/IEC的MPEG-4高級視頻編碼（Advanced Video Coding，AVC），而且它將成為MPEG-4標準的第10部分。因此，不論是MPEG-4 AVC、MPEG-4 Part 10，還是ISO/IEC 14496-10，都是指h.264 。
h.264 最大的優勢是具有很高的數據壓縮比率，在同等圖像質量的條件下，h.264 的壓縮比是MPEG-2的2倍以上，是MPEG-4的1.5～2倍。舉個例子，原始文件的大小如果為88GB，采用MPEG-2壓縮標準壓縮後變成3.5GB，壓縮比為25∶1，而采用h.264 壓縮標準壓縮後變為879MB，從88GB到879MB，h.264 的壓縮比達到驚人的102∶1！h.264 為什麽有那麽高的壓縮比？低碼率（Low Bit Rate）起了重要的作用，和MPEG-2和MPEG-4 ASP等壓縮技術相比，h.264 壓縮技術將大大節省用戶的下載時間和數據流量收費。尤其值得一提的是，h.264 在具有高壓縮比的同時還擁有高質量流暢的圖像。 h.264 是在MPEG-4技術的基礎之上建立起來的，其編解碼流程主要包括5個部分：幀間和幀內預測（Estimation）、變換（Transform）和反變換、量化（Quantization）和反量化、環路濾波（Loop Filter）、熵編碼（Entropy Coding）。
h.264 /MPEG-4 AVC（h.264 ）是1995年自MPEG-2視頻壓縮標準發佈以後的最新、最有前途的視頻壓縮標準。h.264 是由ITU-T和ISO/IEC的聯合開發組共同開發的最新國際視頻編碼標準。通過該標準，在同等圖象質量下的壓縮效率比以前的標準提高了2倍以上，因此，h.264 被普遍認為是最有影響力的行業標準。 h.264 在1997年ITU的視頻編碼專傢組（Video Coding Experts Group）提出時被稱為H.26L，在ITU與ISO合作研究後被稱為MPEG4 Part10（MPEG4 AVC）或h.264 （JVT）。 h.264 標準的主要目標是：與其它現有的視頻編碼標準相比，在相同的帶寬下提供更加優秀的圖象質量。
h.264 與以前的國際標準如H.263和MPEG-4相比，最大的優勢體現在以下四個方面：
h.264 是國際標準化組織（ISO）和國際電信聯盟（ITU）共同提出的繼MPEG4之後的新一代數字視頻壓縮格式，它即保留了以往壓縮技術的優點和精華又具有其他壓縮技術無法比擬的許多優點。
h.264 技術壓縮後的數據量衹有MPEG2的1/8，MPEG4的1/3。
h.264 壓縮技術的采用將大大節省用戶的下載時間和數據流量收費。
h.264 能提供連續、流暢的高質量圖象（DVD質量）。
h.264 提供瞭解决在不穩定網絡環境下容易發生的丟包等錯誤的必要工具。
h.264 提供了網絡抽取層（Network Abstraction Layer）, 使得h.264 的文件能容易地在不同網絡上傳輸（例如互聯網，CDMA，GPRS，WCDMA，CDMA2000等）。 h.264 和以前的標準一樣，也是DPCM加變換編碼的混合編碼模式。但它采用“回歸基本”的簡潔設計，不用衆多的選項，獲得比H.263++好得多的壓縮性能；加強了對各種信道的適應能力，采用“網絡友好”的結構和語法，有利於對誤碼和丟包的處理；應用目標範圍較寬，以滿足不同速率、不同解析度以及不同傳輸（存儲）場合的需求。
h.264 在使用與上述編碼方法類似的最佳編碼器時，在大多數碼率下最多可節省50%的碼率。h.264 在所有碼率下都能持續提供較高的視頻質量。h.264 能工作在低延時模式以適應實時通信的應用(如視頻會議)，同時又能很好地工作在沒有延時限製的應用，如視頻存儲和以服務器為基礎的視頻流式應用。h.264 提供包傳輸網中處理包丟失所需的工具，以及在易誤碼的無綫網中處理比特誤碼的工具。
h.264 提出了一個新的概念，在視頻編碼層(Video Coding Layer, VCL)和網絡提取層(Network Abstraction Layer, NAL)之間進行概念性分割，前者是視頻內容的核心壓縮內容之表述，後者是通過特定類型網絡進行遞送的表述，這樣的結構便於信息的封裝和對信息進行更好的優先級控製。h.264 的係統編碼框圖如圖1所示。 H264標準是由JVT（Joint Video Team，視頻聯合工作組）組織提出的新一代數字視頻編碼標準。JVT於2001年12月在泰國Pattaya成立。它由ITU-T的VCEG（視頻編碼專傢組）和ISO/IEC的MPEG（活動圖像編碼專傢組）兩個國際標準化組織的專傢聯合組成。JVT的工作目標是製定一個新的視頻編碼標準，以實現視頻的高壓縮比、高圖像質量、良好的網絡適應性等目標H264標準。H264標准將作為MPEG-4標準的一個新的部分（MPEG-4 part.10）而獲得批準，是一個面嚮未來IP和無綫環境下的新數字視頻壓縮編碼標準。
h.264 能夠在低碼率情況下提供高質量的視頻圖像，在較低帶寬上提供高質量的圖像傳輸是h.264 的應用亮點。
h.264 可以工作在實時通信應用（如視頻會議）低延時模式下，也可以工作在沒有延時的視頻存儲或視頻流服務器中。
h.264 也使用采用DCT變換編碼加DPCM的差分編碼的混合編碼結構，還增加了如多模式運動估計、幀內預測、多幀預測、基於內容的變長編碼、4x4二維整數變換等新的編碼方式，提高了編碼效率。
h.264 的編碼選項較少：在H.263中編碼時往往需要設置相當多選項，增加了編碼的難度，而h.264 做到了力求簡潔的“回歸基本”，降低了編碼時復雜度。
h.264 可以應用在不同場合：h.264 可以根據不同的環境使用不同的傳輸和播放速率，並且提供了豐富的錯誤處理工具，可以很好的控製或消除丟包和誤碼。
h.264 提供瞭解决網絡傳輸包丟失的問題的工具，適用於在高誤碼率傳輸的無綫網絡中傳輸視頻數據。
h.264 編碼的計算復雜度大約相當於H.263的3倍，解碼復雜度大約相當於H.263的2倍。
1.幀內預測編碼
h.264 幀內編碼的效率，在給定幀中充分利用相鄰宏塊的空間相關性，相鄰的宏塊通常含有相似的屬性。因此，在對一給定宏塊編碼時，首先可以根據周圍的宏塊預測（典型的是根據左上角的宏塊，因為此宏塊已經被編碼處理），然後對預測值與實際值的差值進行編碼，這樣，相對於直接對該幀編碼而言，可以大大減小碼率。
h.264 提供6種模式進行4×4像素宏塊預測，包括1種直流預測和5種方向預測，如圖2所示。在圖中，相鄰塊的A到I共9個像素均已經被編碼，可以被用以預測，如果我們選擇模式4，那麽，a、b、c、d4個像素被預測為與E相等的值，e、f、g、h4個像素被預測為與F相等的值，對於圖像中含有很少空間信息的平坦區，h.264 也支持16×16的幀內編碼。 圖2 幀內編碼模式
h.264 的運動補償支持以往的視頻編碼標準中的大部分關鍵特性，而且靈活地添加了更多的功能，除了支持P幀、B幀外，h.264 還支持一種新的流間傳送幀——SP幀，如圖3所示。碼流中包含SP幀後，能在有類似內容但有不同碼率的碼流之間快速切換，同時支持隨機接入和快速回放模式。圖3 SP-幀示意圖h.264 的運動估計有以下4個特性。
h.264 支持7種模式，如圖4所示。小塊模式的運動補償為運動詳細信息的處理提高了性能，減少了方塊效應，提高了圖像的質量。圖4 宏塊分割方法
h.264 中可以采用1/4或者1/8像素精度的運動估值。在要求相同精度的情況下，h.264 使用1/4或者1/8像素精度的運動估計後的殘差要比H.263采用半像素精度運動估計後的殘差來得小。這樣在相同精度下，h.264 在幀間編碼中所需的碼率更小。
h.264 提供可選的多幀預測功能，在幀間編碼時，可選5個不同的參考幀，提供了更好的糾錯性能，這樣更可以改善視頻圖像質量。這一特性主要應用於以下場合：周期性的運動、平移運動、在兩個不同的場景之間來回變換攝像機的鏡頭。
h.264 定義了自適應去除塊效應的濾波器，這可以處理預測環路中的水平和垂直塊邊緣，大大減少了方塊效應。
h.264 使用了基於4×4像素塊的類似於DCT的變換，但使用的是以整數為基礎的空間變換，不存在反變換，因為取捨而存在誤差的問題，變換矩陣如圖5所示。與浮點運算相比，整數DCT變換會引起一些額外的誤差，但因為DCT變換後的量化也存在量化誤差，與之相比，整數DCT變換引起的量化誤差影響並不大。此外，整數DCT變換還具有減少運算量和復雜度，有利於嚮定點DSP移植的優點。
h.264 中可選32種不同的量化步長，這與H.263中有31個量化步長很相似，但是在h.264 中，步長是以12.5%的復合率遞進的，而不是一個固定常數。
h.264 中，變換係數的讀出方式也有兩種：之字形(Zigzag)掃描和雙掃描，如圖6所示。大多數情況下使用簡單的之字形掃描；雙掃描僅用於使用較小量化級的塊內，有助於提高編碼效率。圖6 變換係數的讀出方式
h.264 中采用了兩種不同的熵編碼方法：通用可變長編碼（UVLC）和基於文本的自適應二進製算術編碼（CABAC）。
h.264 中的UVLC碼表提供了一個簡單的方法，不管符號表述什麽類型的數據，都使用統一變字長編碼表。其優點是簡單；缺點是單一的碼表是從概率統計分佈模型得出的，沒有考慮編碼符號間的相關性，在中高碼率時效果不是很好。
h.264 中還提供了可選的CABAC方法。算術編碼使編碼和解碼兩邊都能使用所有句法元素(變換係數、運動矢量)的概率模型。為了提高算術編碼的效率，通過內容建模的過程，使基本概率模型能適應隨視頻幀而改變的統計特性。內容建模提供了編碼符號的條件概率估計，利用合適的內容模型，存在於符號間的相關性可以通過選擇目前要編碼符號鄰近的已編碼符號的相應概率模型來去除，不同的句法元素通常保持不同的模型。
h.264 在視頻會議中的應用
h.264 的出現，使得在同等速率下，h.264 能夠比H.263減小50%的碼率。也就是說，用戶即使是衹利用 384kbit/s的帶寬，就可以享受H.263下高達 768kbit/s的高質量視頻服務。h.264 不但有助於節省龐大開支，還可以提高資源的使用效率，同時令達到商業質量的視頻會議服務擁有更多的潛在客戶。
h.264 協議，廠商們致力於普及h.264 這個全新的業界標準。隨着其它視頻會議方案廠商陸續效仿他們的做法，我們必將能全面體驗h.264 視頻服務的優勢。 1、分層設計 h.264 的算法在概念上可以分為兩層：視頻編碼層（VCL：Video Coding Layer）負責高效的視頻內容表示，網絡提取層（NAL：Network Abstraction Layer）負責以網絡所要求的恰當的方式對數據進行打包和傳送。在VCL和NAL之間定義了一個基於分組方式的接口，打包和相應的信令屬於NAL的一部分。這樣，高編碼效率和網絡友好性的任務分別由VCL和NAL來完成。
h.264 沒有把前處理和後處理等功能包括在草案中，這樣可以增加標準的靈活性。
h.264 支持1/4或1/8像素精度的運動矢量。在1/4像素精度時可使用6抽頭濾波器來減少高頻噪聲，對於1/8像素精度的運動矢量，可使用更為復雜的8抽頭的濾波器。在進行運動估計時，編碼器還可選擇"增強"內插濾波器來提高預測的效果。
h.264 的運動預測中，一個宏塊（MB）可以按圖2被分為不同的子塊，形成7種不同模式的塊尺寸。這種多模式的靈活和細緻的劃分，更切合圖像中實際運動物體的形狀，大大提高了運動估計的精確程度。在這種方式下，在每個宏塊中可以包含有1、2、4、8或16個運動矢量。
h.264 中，允許編碼器使用多於一幀的先前幀用於運動估計，這就是所謂的多幀參考技術。例如2幀或3幀剛剛編碼好的參考幀，編碼器將選擇對每個目標宏塊能給出更好的預測幀，並為每一宏塊指示是哪一幀被用於預測。
h.264 與先前的標準相似，對殘差采用基於塊的變換編碼，但變換是整數操作而不是實數運算，其過程和DCT基本相似。這種方法的優點在於：在編碼器中和解碼器中允許精度相同的變換和反變換，便於使用簡單的定點運算方式。也就是說，這裏沒有"反變換誤差"。 變換的單位是4×4塊，而不是以往常用的8×8塊。由於用於變換塊的尺寸縮小，運動物體的劃分更精確，這樣，不但變換計算量比較小，而且在運動物體邊緣處的銜接誤差也大為減小。為了使小尺寸塊的變換方式對圖像中較大面積的平滑區域不産生塊之間的灰度差異，可對幀內宏塊亮度數據的16個4×4塊的DC係數（每個小塊一個，共16個）進行第二次4×4塊的變換，對色度數據的4個4×4塊的DC係數（每個小塊一個，共4個）進行2×2塊的變換。
h.264 為了提高碼率控製的能力，量化步長的變化的幅度控製在12.5%左右，而不是以不變的增幅變化。變換係數幅度的歸一化被放在反量化過程中處理以減少計算的復雜性。為了強調彩色的逼真性，對色度係數采用了較小量化步長。
h.264 中熵編碼有兩種方法，一種是對所有的待編碼的符號采用統一的VLC（UVLC ：Universal VLC），另一種是采用內容自適應的二進製算術編碼（CABAC：Context-Adaptive Binary Arithmetic Coding）。CABAC是可選項，其編碼性能比UVLC稍好，但計算復雜度也高。UVLC使用一個長度無限的碼字集，設計結構非常有規則，用相同的碼表可以對不同的對象進行編碼。這種方法很容易産生一個碼字，而解碼器也很容易地識別碼字的前綴，UVLC在發生比特錯誤時能快速獲得重同步。
h.264 中，當編碼Intra圖像時可用幀內預測。對於每個4×4塊（除了邊緣塊特別處置以外），每
h.264 草案中包含了用於差錯消除的工具，便於壓縮視頻在誤碼、丟包多發環境中傳輸，如移動信道或IP信道中傳輸的健壯性。
h.264 視頻流中的時間同步可以通過采用幀內圖像刷新來完成，空間同步由條結構編碼（slice structured coding）來支持。同時為了便於誤碼以後的再同步，在一幅圖像的視頻數據中還提供了一定的重同步點。另外，幀內宏塊刷新和多參考宏塊允許編碼器在决定宏塊模式的時候不僅可以考慮編碼效率，還可以考慮傳輸信道的特性。
h.264 中，還常利用數據分割的方法來應對信道碼率的變化。從總體上說，數據分割的概念就是在編碼器中生成具有不同優先級的視頻數據以支持網絡中的服務質量QoS。例如采用基於語法的數據分割（syntax-based data partitioning）方法，將每幀數據的按其重要性分為幾部分，這樣允許在緩衝區溢出時丟棄不太重要的信息。還可以采用類似的時間數據分割（temporal data partitioning）方法，通過在P幀和B幀中使用多個參考幀來完成。
h.264 采用流切換的SP幀來代替分級編碼。 h.264 的目標應用涵蓋了目前大部分的視頻服務，如有綫電視遠程監控、交互媒體、數字電視、視標準的整體框架頻會議、視頻點播、流媒體服務等。h.264 為解决不同應用中的網絡傳輸的差異。定義了兩層：視頻編碼層（VCL：Video Coding Layer）負責高效的視頻內容表示，網絡提取層（NAL：Network Abstraction Layer）負責以網絡所要求的恰當的方式對數據進行打包和傳送(如圖所示: 標準的整體框架)。
h.264 的除了B-Slices，CABAC以及交織編碼模式外所有的特性。該層次主要使用於低時延的實時應用場合。
由於目前藍光格式的統一，使得市面上絶大多數的高清視頻均是采用h.264 的格式編碼，它又分為四個最主要步驟，分別是流處理，逆變換，動態補償，去方塊濾波，這四步也是資源消耗的主要四個部分。
h.264 解碼的四個步驟中的第一步“CAVLC/CABAC解碼”是最為消耗運算資源，這方面遠高於其他三步（簡單的說，CAVLC/CABAC是h.264 編碼規範中兩種不同的算法，都是為了提高壓縮比，其中CABAC比CAVLC壓縮率更高，但解碼時自然也要求更高）。
h.264 視頻，處理器的負載會非常巨大，即使能流暢播放高清視頻，也會因為處理器壓力過重而影響其他同時開啓的應用程序的執行效率。
h.264 視頻解碼和處理過程，讓其解碼運算可以基本不依賴處理器將是最為經濟、便捷的方法。如果能實現這一點，以後消費者就無需過分擔心自己的處理器性能如何，不同的視頻編碼率導致的負載差距過大等等問題，衹要選擇一顆能支持“h.264 全解碼”的顯示核心，就能無所顧忌的播放所有高清視頻，而采用了高清加速引擎的英特爾GMA X4500HD芯片組則能夠輕鬆全程解碼h.264 格式的高清視頻，再加上高級去交錯技術、電影模式檢測、細節增強技術、ProcAMP技術和最新的顯示連接技術則能夠從圖像品質、色彩飽和度以及高清接口等方面提升用戶的高清體驗。 TML-8為h.264 的測試模式，用它來對h.264 的視頻編碼效率進行比較和測試。測試結果所提供的PSNR已清楚地表明，相對於MPEG-4（ASP：Advanced Simple Profile）和H.263++（HLP：High Latency Profile）的性能，h.264 的結果具有明顯的優越性。
h.264 的PSNR比MPEG-4（ASP）和H.263++（HLP）明顯要好，在6種速率的對比測試中，h.264 的PSNR比MPEG-4（ASP）平均要高2dB，比H.263（HLP）平均要高3dB。6個測試速率及其相關的條件分別為：32 kbit/s速率、10f/s幀率和QCIF格式；64 kbit/s速率、15f/s幀率和QCIF格式；128kbit/s速率、15f/s幀率和CIF格式；256kbit/s速率、15f/s幀率和QCIF格式；512 kbit/s速率、30f/s幀率和CIF格式；1024 kbit/s速率、30f/s幀率和CIF格式。 錯誤恢復的工具隨着視頻壓縮編碼技術的提高在不斷改進。舊的標準(H.261、H263、MPEG-2的第二部分)中，使用片和宏塊組的劃分、幀內編碼宏 塊、幀內編碼片和幀內編碼圖像來防止錯誤的擴散。之後改進的標準(H.263+、MPEG-4)中，使用多幀參考和數據分割技術來恢復錯誤。
h.264 標準在以前的基礎上提出了三種關鍵技術：(1)參數集合，(2) 靈活的宏塊次序(FMO)，(3)冗餘片(RS)來進行錯誤的恢復。
h.264 中幀內編碼的技術和以前標準一樣，值得註意的是：
h.264 中的幀內預測編碼宏塊的參考宏塊可以是幀間編碼宏塊，幀內預測宏塊並不像H.263中的幀內編碼一樣，而采用預測的幀內編碼比非預測的幀 內編碼有更好的編碼效率，但減少了幀內編碼的重同步性能，可以通過設置限製幀內預測標記來恢復這一性能。
h.264 支持一幅圖像劃分成片，片中宏塊的數目是任意的。在非FMO模式下，片中的宏塊次序是同光柵掃描順序，FMO模式下比較特殊。片的劃分可以適配不同的MTU尺寸，也可以用來交織分組打包。
h.264 中有三種不同的數據劃分。
h.264 錯誤恢復性能。
h.264 的一大特色，通過設置宏塊次序映射表(MBAmap)來任意地指配宏塊到不同的片組，FMO模式打亂了原宏塊順序，降低了編碼 效率，增加了時延，但增強了抗誤碼性能。FMO模式劃分圖像的模式各種各樣，重要的有棋盤模式、矩形模式等。當然FMO模式也可以使一幀中的宏塊順序分 割，使得分割後的片的大小小於無綫網絡的MTU尺寸。經過FMO模式分割後的圖像數據分開進行傳輸，以棋盤模式為例，當一個片組的數據丟失時可用另一個片 組的數據(包含丟失宏塊的相鄰宏塊信息)進行錯誤掩蓋。實驗數據顯示，當丟失率為(視頻會議應用時)10%時，經錯誤掩蓋後的圖像仍然有很高的質 量。
動中通係統對編解碼技術的需求
h.264 技術是動中通圖像 編解碼器理想的選擇
h.264 技術的産生與發展
h.264 是一種高性能的視頻編解碼技術。它是由兩大標準化組織聯合組建的聯合視頻組（JVT）共同製定的新數字視頻編碼標準，所以它既是ITU-T的h.264 ，又是ISO/IEC的MPEG-4高級視頻編碼（AdvancedVideoCoding，AVC），而且它將成為MPEG-4標準的第10部分。
h.264 技術可以很好地適應動中通衛星通道的特點，與動中通係統有效地結合。
h.264 編碼視頻流與H.263或MPEG-4Simple Profile編碼視頻流相比，平均可節省39％的比特率。通過引入一係列新特性，h.264 的壓縮率提升近1倍,大大節省了衛星的傳輸帶寬。目前，國內的h.264 編解碼器廠商可以在1.2Mbit/s的編碼碼率下實現D1（720×576）分辨率的連續清晰圖像。
h.264 與MPEG-2壓縮碼率比較
h.264 可以把關鍵信息分離出來，減小斷流再恢復的同步時間，同時，h.264 編解碼器可以建立在UDP基礎之上，能夠快速重建鏈路，目前國內的編解碼器廠商已經實現圖像即時恢復。
h.264 標準的參數集和片的使用、FMO、冗餘片等關鍵技術可以大大提高係統的抗丟包和抗誤碼性能。h.264 定義了視頻編碼層（VLC）和網絡提取層（NAL），並在框架結構上進行了分離，可以在異構網絡環境中使用。h.264 把關鍵信息分離出來，憑藉參數集的設計，確保在易出錯的環境中正確地傳輸它們，也增強了碼流傳輸的錯誤恢復能力。h.264 技術中定義了靈活片組（FMO）、數據分割等錯誤恢復工具，方便解碼端實行錯誤掩蓋。
h.264 技術內置的多種錯誤恢復工具有利於解碼端進行錯誤掩蓋，誤碼超過一定閾值後跳過該幀，斷流後則保持在最後一正常幀的靜止畫面，碼流恢復後從第一個正常解碼的IDR幀開始顯示。
h.264 技術一方面使用了高級圖像預處理方法，能夠減小低照度環境下噪點影響；另一方面，通過實時濾波技術的應用，使得在壓縮之前就排除了信號中的幹擾，壓縮還原的圖像有很大提高，同時也降低了傳輸碼率。
h.264 包含一個內置的互聯網協議適配層(InternetProtocolAdaptiveLayer)，所以，h.264 可以被映射到任何固定IP、無綫IP、存儲裝置或廣播網絡中，而這就是電信公司和消費性電子廠商都準備支持h.264 的原因。h.264 作為最新的視頻編碼標準，采取了一係列切合實際的技術措施，如視頻編碼層和網絡提取層分離、封裝NALUnits、指定參數集等提高了網絡適應性，增強了數據抗誤碼的頑健性，從而保證了視頻傳輸後壓縮視頻的QoS。
h.264 編解碼器經受住了實戰的洗禮。
h.264 編解碼器。在奧運安保期間，它實現了在1.2～1.5Mbit/s的視頻碼率下傳輸清晰的D1圖像，圓滿完成了奧運安保尤其是火炬接力、公路自行車賽、馬拉鬆賽等綫路型賽事的圖像傳輸任務。
h.264 技術的高清編解碼器的研發工作。隨着技術的不斷發展、整體結構的不斷完善、算法的不斷優化以及芯片處理能力的不斷提高，相信不久便可以看見國産的h.264 編解碼器在較窄的衛星帶寬下實現高清品質的圖像傳輸。 (1) h.264 是國際標準嗎?為何說h.264 要比其他壓縮技術更具前景？
h.264 雖然仍然是ITU-T體係之下的命名規範，卻大量藉鑒了ISO/IEC的相關規範和研究。具體而言，ITU-T之下的視頻編碼專傢組（Video Code Expert Group，VCEG）確立了h.264 ，而ISO/IEC之下的運動圖像專傢組（MPEG）則將其命名為MPEG-4Part10/AVC。這兩個專傢組織共同製定了該標準。
h.264 和此前的視頻壓縮技術相比，既是行業標準，同時也是國際標準。此前ITU-T製定的視頻標準，因為和ISO/IEC的MPEG係列標準存在兼容性問題，所以嚴格意義上並沒有合適的、較為統一並為設備商們全體遵循的全球性國際標準。
h.264 的優勢主要體現在下面幾個方面：
h.264 是標準體係，還是單一性標準？h.264 的總體優缺點如何？有沒有不足之處？
h.264 標準帶來的最大好處就是，有助於h.264 在全球範圍內的設備統一化，推廣起來更為簡便。但是和此前的視頻標準一樣，為了使得應用範圍更廣，h.264 也還是通過等級區別和類別算法對多種應用場景進行各自的協議支持。
h.264 可以提供11個等級、7個類別的子協議格式（算法），其中等級定義是對外部環境進行限定，例如帶寬需求、內存需求、網絡性能等等。等級越高，帶寬要求就越高，視頻質量也越高。類別定義則是針對特定應用，定義編碼器所使用的特性子集，並規範不同應用環境中的編碼器復雜程度。
h.264 除了在技術上的優勢，應用上的優點主要體現在被更廣泛地接受，成為統一性的全球標準，可以降低總體應用成本。當前主要缺點是：對終端（網絡攝像機、顯示終端）要求更高。另外，對於家庭用戶而言，解碼回放設備價格過高，導致目前普及上存在一定的睏難。
h.264 主要用在哪些領域？視頻監控是主體方向嗎？
h.264 部署的重要方向之一，這得益於h.264 強大的壓縮能力、通用性，以及對網絡性能的容忍能力。但h.264 的應用領域極為寬泛，視頻監控衹能是其主要的應用方向之一，而不能視作主體方向。可以說，當前所有的視頻應用，都可以通過h.264 獲得高質量的實現，例如數字電視廣播、高清電視、在綫視頻的存儲和點播、3G視頻電話等等。
h.264 相關技術在中國市場有沒有大的應用（高於企業級）？
h.264 部署較為活躍的國傢，特別在視頻監控行業，我國的投資巨大，但相關的市場總投入目前並無合適估算。原因在於，交通、公安，以及國傢重點行業的視頻設備尤其是高清視頻設備部署情況並不是特別公開。
h.264 視頻監控的一個重要階段。此外，中國電信在早期階段進行的IPTV測試中，也大量采用了h.264 技術，雖然後續中國電信也開始對國産視頻標準AVS，但對h.264 的測試和跟蹤仍然在繼續。中國電信“全球眼”業務當前已經開始在一些局部地區大量采用h.264 技術，並和現有專網視頻業務進行混合方案的提供，效果良好，這是當前中國乃至全球範圍內覆蓋最大、專項業務綫最為全面的業務類型。
h.264 方面的進展如何？自主技術方面有哪些突破？
h.264 作為全球通用標準的優勢，國內大部分企業在部署新的視頻應用時都有可能采用h.264 ，並且，正因為應用的廣泛性，h.264 的相關設備價格將會迅速下降，部署成本也將因此得以降低。
h.264 作為主要的推動方向，並取得了一係列的成績。在目前電信已經實行運營的IPTV項目中，幾乎全部采用了h.264 ; 廣電係統的各大電視臺在進行從模擬嚮數字轉換，以及網絡雙嚮改造中，也大量采用了h.264 技術標準。
h.264 算法更為簡便，專利授權模式和收費都較為便利和低廉，並且和h.264 在編解碼、壓縮上處於同一水平，因此我國開始大力推廣AVS的應用及産業鏈打造。國傢正在努力構建對AVS産業鏈的政策扶持和資金扶持，以促進AVS逐步走嚮快車道。從目前看，AVS標準已經看到h.264 的應用廣泛程度和後續競爭的存在，很多公司在開發AVS的同時，積極將AVS納入到和h.264 兼容的體係中，這將有利於推動AVS的發展，並在後續過程中，相互競爭的同時，為AVS的發展爭取更多的空間。
h.264 標準技術的采用，將會帶動哪些上下遊産品和應用的迅速發展？
h.264 標準被視做下一代視頻編解碼應用的最佳實現之一，被普遍認為會是將來更具競爭力的標準。
h.264 的應用，至少能夠促進以下幾個方面的發展：
h.264 編解碼器生産廠傢
在近日舉行的臺北IDF大會上，Intel表示，目前Intel在顯卡市場約占37%的份額，占據圖形市場的大頭，當然，Intel並沒有生産獨立的顯示芯片産品，其份額全部為內建顯示核心IGP芯片組。Intel估計IGP芯片組的市場出貨量將會在2004年至2010年期間提升13%，不過，這並不意味着獨立顯示芯片産品的出貨量將得以下降。
h.264 Hardware Acce;leration、High Definition Multimedia Interface (HDMI)介面、WMV9B High Definition Decode (iDCT／VC1)及ProcAmp API等，絶對不讓PureVideo及AVIVO功能專美。這也讓此前傳出的G965芯片將不支持h.264 的消息不攻自破。