2013年深圳安防展上，一些監(jiān)控廠家推出了4K分辨率前端，顯控廠家也推出了配套大屏，非常熱鬧。何為4K？簡單理解，所謂4K是只水平方向分別率接近4000或4096的超高清圖像。要詳細了解4K，必須要了解超高清電視（UltraHighDefinitionTelevision，即UltraHDtelevision，UHDTV,UHD），UHD包括4KUHD和8KUHD兩種分辨率，這兩種數(shù)字視頻格式由日本NHK建議，并最終稱為ITU國標標準（如圖1所示）。同時于2012年10月消費電子聯(lián)盟也把這兩種UHD分辨率也作為顯示分辨率。4KUHD分辨率為3840×2160（2160p，8.3Megapixels），4倍于1920×1080（1080p，2.1Megapixels）。8KUHD分辨率為7680×4320（4320p，33.2Megapixels），16倍于1080P。1080PHD、4K和8KUHD的縱橫比均為16:9。除此之外，數(shù)字影院促進會還定義了另外一種4K分辨率4096×2160（8.8Megapixels，縱橫比為17:9）。監(jiān)控領域大多使用ITU定義的應用于電視領域的4KUHD。

 

 

　　

 

　　UHD相比于FHD（即HD，1920×1080），不僅僅分辨率加大，顏色空間和幀率也進行擴展。FHD的色彩空間定于Rec.709，而UHD的色彩空間定義于Rec.2020（2012年正式發(fā)布）當處理CIE1931顏色空間時，Rec.2020顏色空間可以覆蓋到75.8%，但是Rec.709顏色空間只能覆蓋到35.9%（如圖2）。Rec.2020還允許幀率達到120fps，Rec.709最大只達到60fps。

 

　　圖2   CIE1931顏色空間

 

　　說明：Rec.2020（UHD）顏色空間為外三角，Rec.709（HD）顏色空間為內三角，光源D65同時為兩者的白點。

 

 

　　由此可見，4倍1080p的超高清分辨率，帶來的最直觀的好處就是清晰度更高，畫面色彩鮮艷，文字清晰銳利，和1080p相比，同一畫面下細節(jié)更清楚。圖3是宇視1080p的IP攝像機的測試圖像；圖4是宇視4K的IP攝像機的測試圖像。

　　圖3   宇視1080p測試圖像

        圖4   宇視4K測試圖像

 

　　粗略看，好像差不多，但放大看細節(jié)就能看出明顯的差別，圖5是兩者細節(jié)對比圖。

 

 

　　由圖5所示的細節(jié)對比圖可以看出，4K帶來的好處顯而易見，很多關鍵的信息不丟失，顏色更豐富，不僅僅主觀感覺圖像效果不同，對智能分析應用準確率提高大有裨益。

 

　　圖5  宇視4K和1080p細節(jié)對比圖

 

 

　　但問題也顯而易見，由于4K碼率比較大，網上傳輸和存儲需消耗很大的資源。舉例說明，一路基于H.264的1080p碼率大約是4Mbps，而基于H.264的4K碼率大約是12Mbps，造成的后果是，如果要保存1路1080p的碼流一個月，大約需要的存儲空間是1.4T，而要存儲1路4K的全幀率大約花費是1080p的3倍，約需要4.2T。這意味著要上一個4K系統(tǒng)，網絡和存儲上比1080p要付出非常多的代價。

 

 

　　如何解決既想通過4K看得清晰，又不需要在網絡和存儲上投入太巨大，就必須把碼率降下來，而在目前已知的編碼方式中，H.264相比MPEG2和MPEG4等壓縮比已經是最高的。如何進一步提升壓縮效率，解決重任就落在H.264的繼任者俗稱H.265的HEVC上了。可以這么說，HEVC就是專門為4K和8K的UHD而量身定做的。

 

 

 

 

　　HEVC全稱HighEfficiencyVideoCoding，是繼H.264之后的新一代視頻壓縮格式。HEVC框架類似于H.264，由ISO/IECMPEG和ITU-TVCEG成立的視頻編碼聯(lián)合協(xié)作小組JCT-VC合作開發(fā)完成。該新的視頻壓縮標準在ISO/IEC中的名稱為ISO/IEC23008-2（即MPEG-Hpart2），在ITU-T中的名稱為ITU-TH.265/H.HEVC。

 

 

　　HEVC的目標是與H.264HP相同級別圖像質量的情況下只需其一半的碼率，即壓縮效率提升一倍。但是編碼復雜度會增加數(shù)倍。壓縮效率提升的好處顯而易見，按照碼率降50%來算，一個H.264的4K碼流碼率將變成6Mbps，只比原來的1080p多2Mbps，一路一月存儲下來能省大約2.1個TB的空間，非常有經濟效益。導致目前，很多互聯(lián)網視頻廠家，已經通過.265存儲來省帶寬和存儲空間，如迅雷、優(yōu)酷等均已宣稱支持H.265。

 

 

　　1、HEVC的起源

 

 

　　在H.264的2005年1月份的會議上，ISO/IECMPEG和ITU-TVCEG成立了“KeyTechnicalAreas（KTA）”專題，同時KTA的參考軟件基于H.264的參考軟件JM實現(xiàn)，HEVC就是在KTA的基礎上發(fā)展而來。

 

 

　　從2010年4月JCT-VC第一次會議召開，到2013年4月，歷時4年HEVC終于成為國際標準。2014年4月13日，H.HEVC/H.265成為ITU-T的標準，在2013年11月25日，ISO/IEC23008-2（MPEG-HPart2）最終稱為ISO/IEC的標準。HEVC包含了最近幾年間的大量的視頻編解碼算法方面的最新研究成果，成為國際上代表了最高的視頻壓縮效率的新一代視頻標準。

 

 

　　2、HEVC編碼框架

 

 

　　HEVC視頻編碼器框圖如圖6所示。由此可見，HEVC類似于之前的圖像視頻編解碼標準，仍然采用了預測+變換的“混合”架構。

 

　　圖6    HEVC編碼框架（注：其中紫色部分為解碼器）

 

 

　　3、HEVC編碼技術

 

 

　　HEVC相比于H.264，之所以編碼效率提高一倍，主要得益于其采用了更大的圖像分割尺寸。H.264中圖像最大的圖像分割單元（宏塊MB）尺寸為16×16。HEVC中的CTU（CodingTreeUnit）又稱為最大編碼單元（LargestCodingUnit），其尺寸范圍為64×64、32×32、16×16。實驗表明CTU的尺寸越大壓縮效率越高，其具體實驗如表1所示。基于HEVC參考模型HM-8.0版本（截止2014年2月份，HEVC參考模型版本為HM13.0）測試，評價標準為客觀評價指標PSNR。測試序列為JCT-VC中使用的4類測試序列。

 

　　表1    更小CTU尺寸導致更高比特率

 

 

　　對分辨率為2560×1600的A類測試序列來說，全部強制32×32的CTU比全部強制64×64時，比特率提高5.7%；全部強制16×16的CTU比全部強制64×64時，比特率提高28.2%。

 

 

　　對四類所有序列，圖像中的CTU尺寸強制設置為32×32時的比特率要比強制設為64×64高2.2%，全部強制設為16×16的比特率要不全部強制設為64×64高11%。

 

 

　　表1所示的實驗表明對高分辨率視頻來說，采用更大尺寸的CTU對提高編碼效率更加有益。同時這項實驗還表明，全部采用16×16的CTU編碼的解碼時間要比全部采用64×64的CTU的解碼時間要長60%。即采用更大尺寸的CTU也對降低解碼時間有益，即在提高編碼效率的同時降低編碼時間。

 

 

　　HEVC采用四叉樹的編碼樹單元架構，如圖7和圖8。CTU的尺寸可為64×64、32×32、16×16。編碼樹單元可以進一步按照四叉樹結構細分，即一分為四個相同尺寸區(qū)域，同時每個區(qū)域還可以繼續(xù)四叉樹細分。不再細分的編碼單元（CU）稱為編碼塊（CB）。

　圖7   編碼樹單元架構

 

　圖8    遞歸四叉樹細分得到的編碼塊（白色）和變換塊（紅色）

 

　　所謂的編碼單元包含編碼塊和編碼單元中塊的細分層次等語法元素。HEVC之所以具有高壓縮效率，其中就在于其采用的自適應的CTU尺寸，根據(jù)不同圖像區(qū)域紋理內容的不同，采用不同尺寸的CTU。

 

 

　　對解碼器來說，不同區(qū)域選擇怎么樣的CTU已經在碼流中固定了，但是對編碼器來說，如何理解圖像內容，自適應采用不同尺寸的CTU以及CU將是一個艱巨的挑戰(zhàn)。對同一段視頻序列中同一幀的同一塊區(qū)域來說，不同的HEVC編碼器實現(xiàn)方案所采用的CTU尺寸或許不同，因此真正的編碼效果和編碼效率也不同。所以真正的核心在如何使用圖像分析算法去理解圖像紋理內容，快速高效的選擇最佳編碼模式。　

 

 

　　CTU的最底層編碼單元成為編碼塊（CB），編碼塊作為預測單元（PU）。預測單元可以進一步細分成不同尺寸的預測單元，最底層的預測單元成為預測塊（PB）。預測單元的尺寸范圍為64×64～4×4。考慮到解碼過程中運動補償時最壞情況下的內存帶寬使用，幀間預測編碼的預測單元的最小尺寸，在單向預測中，限制在8×4或4×8；在雙向預測中限制在8×8。如圖9所示，相比于H.264中的四叉樹細分和1/2細分，HEVC還增加了1/3+2/3細分。從標準規(guī)范上涵蓋了預測單元內圖像紋理的各種可能情況，即HEVC的碼流能夠支持各種可能的紋理分割預測模式，相比H.264碼流標準，提高了兼容性，相比于H.264解碼器，復雜度增加不大。但是對編碼器設計來講，如何充分理解圖像紋理內容，使用合理的圖像分析算法，快速高效的找到最佳預測單元細分模式將是一項充滿挑戰(zhàn)的工作。

 

 

 

圖9 預測單元劃分模式
 

　　最底層的預測單元成為預測塊，運動估計后的預測殘差塊形成變換單元（TU），變換單元可以進一步細分，最底層的變換單元成為變換塊（TB）。一個變換塊的尺寸可以是32×32、16×16、8×8、4×4。

 

 

　　就變換塊尺寸來講，HEVC對比H.264，增加了更大尺寸的32×32變換。

 

 

　　除了以上重要的技術，HEVC還有適合多核并行處理的瓦片機制和波陣面并行處理機制，還有熵編碼、幀內預測、幀內預測、運動補償、運動矢量預測、反變換、環(huán)路濾波、去塊濾波器、樣點自適應濾波器等各方面的全面改進。

 

 

　　4、HEVC顏色空間

 

 

　　HEVC標準支持的顏色空間有：NTSC、PAL、Rec.601、Rec.709、Rec.2020、SMPTE170M、SMPTE240M、sRGB、sYCC、vYCC等。這些顏色空間不僅包含表清和高清的顏色空間，還包含的4K和8K的顏色空間，在顏色豐富程度上充分支持了高清和超高清應用。

 

 

　　5、HEVC范圍擴展

 

 

　　（1）HEVC不僅僅支持8bit位寬樣點，還支持10bit、12bit、16bit位寬樣點。

 

 

　　（2）HEVC還支持DPCM格式的無損壓縮。

 

 

　　（3）除了4:2:0色度空間格式，HEVC還支持4:2:2和4:4:4色度空間格式。

 

 

　　（4）HEVC還支持圖片壓縮，其中的Mainstillprofile就是專門為圖片壓縮而設計。相比于JPEG和JPEG2000圖片壓縮格式，HEVC的圖片壓縮效率提高顯著。如表2所示。

 

表2    基于PSNR和MOS的圖片壓縮效率對比
 

　　（5）HEVC去掉了H.264中的場模式。

 

 

　　6、HEVC編解碼實現(xiàn)復雜度

 

 

　　從以上編碼技術來看，HEVC的確比H.264提供更高級的算法。同時作為一個視頻壓縮標準，為更多的算法技術提供了更多的碼流規(guī)范。視頻編碼標準作為一個規(guī)范，類似于監(jiān)控中的平臺互聯(lián)互通中的國標或者DB33，它只提供接口，只在碼流格式層面為高效壓縮提供盡可能多的模式規(guī)范。但是對編碼器設計來說，要想充分利用這種可能，則需要在上述的各個技術方面進行創(chuàng)新和突破，在充分理解視頻圖像的基礎上，充分利用各種視頻圖像分析技術，尋找便捷快速算法，但又不能消耗過多的內存容量和內存交換帶寬。

 

 

　　鑒于HEVC壓縮標準才發(fā)布不久，上述的各種技術也是剛標準化。編碼器的快速算法的研究實現(xiàn)還需要一段時間，可以預見在將來的一兩年里將是這些快速算法的爆發(fā)期。等這些快速算法實現(xiàn)并成熟后，HEVC編碼器的SOC方案才會真正的落地。

 

 

　　但是從解碼器角度來看，HEVC其復雜度并不大，類似于H.264，可以在現(xiàn)有的各種平臺上實現(xiàn)。故現(xiàn)在市面上首先發(fā)布的一些HEVC方案大都是HEVC解碼器，有軟件的，也有硬件的。

 

 

 

 

　　當然，H.265的出現(xiàn)不僅僅是對4K好，對目前的720p、1080p高清設備同樣有效，采用H.265編碼大約用1Mbps就能完成720p的傳輸，2Mbps完成1080p的傳輸。由于目前4G的普及，意味著我們通過手機端就能完成高清碼流的看控存查。同樣，隨著碼流的下降，高清設備所占用的存儲空間大大下降。雖然H.265是大勢所趨，但基于上面的介紹可以看出，H.265的真正落地還需要一段時間。主要原因是一是算法的復雜度高，至今沒有芯片廠家推出SOC的編碼方案，很多廠家是通過CPU或者多核DSP來提供H.265，效率低，價格高，也不實用。二是H.265的專利收費用問題，谷歌的開源的VP9進步明顯，同樣也會對H.265的落地造成一定影響。

 

 

　　（作者系浙江宇視研究開發(fā)部首席算法架構師）