2018年05月15日，為大規(guī)模處理數(shù)據(jù)帶來新方法和編解碼器是媒體與娛樂行業(yè)首要任務，尤其是對VR和HDR而言。隨著MPEG開始接替HEVC，我們需要為流式傳輸沉浸式媒體開發(fā)出超高效的壓縮技術。

　　隨著超高速5G移動網(wǎng)絡的即將面世，視頻的絕對數(shù)量和復雜程度將越來越高，如果要隨時隨地支持實時VR流式傳輸和其他超高分辨率低延遲媒體應用，實現(xiàn)高效的數(shù)據(jù)處理將十分關鍵。

　　可以說，諸如MPEG這樣的標準組織一直都十分繁忙。這家已有30年歷史的機構自成立以來每年平均起草和發(fā)布六項標準。

　　愛立信媒體解決方案(Ericsson Media Solutions)的首席技術專家Tony Jones表示：“壓縮效率是提供新服務或更好服務的主要工具之一，可將分發(fā)成本降至最低，或將兩者結合起來。”

　　所以，開發(fā)能夠處理大規(guī)模數(shù)據(jù)的工具變得非常緊迫，而其中最主要的任務之一是制定當前視頻流標準HEVC的“繼任者”。由MPEG和ITU-T Study Group 16旗下VCEG組成的聯(lián)合視頻專家團隊(JVET)已經(jīng)開始著手制定效率高出50%以上的多功能視頻編碼(Versatile Video Coding ，VVC)。

　　MPEG的發(fā)言人Christian Timmerer指出：“VVC的目標是提供比現(xiàn)有HEVC標準更高的壓縮性能，并在2020年完成。”

　　同時是奧地利克拉根福特大學副教授，以及編解碼器供應商Bitmovin研究主管的Timmerer補充道：“主要的目標應用和服務包括但不限于360度和高動態(tài)范圍(HDR)視頻。 ”

　　MPEG指出，VVC的初步方案在超高清視頻測試材料上表現(xiàn)出“特別有效”。他們預測最終標準的壓縮效率將“遠遠超過目標的50%”。

　　因此，VVC將加入一個日益擁擠的OTT流媒體市場，其中包括當前最常用的編解碼器AVC，VP9和HEVC，以及新成員AV1。

　　剛剛發(fā)布了上述編解碼器比較測試結果的Bitmovin認為，多個編解碼器標準可以同時存在。事實上，他們表示如果要支持各種設備和平臺，這是“最必要的”元素，并且補充說，“多視頻編解碼器的支持已通過VVC的面世得到證實。”

　　VVC的一個重要方面是編碼更專注于360度框架的特定區(qū)域，亦即大多數(shù)用戶關注的主場景。Timmerer說道：“VVC仍處于起步階段，但我們可能會在IBC中看到各公司發(fā)布與這個方向相關的公告。”

　　1. JPEG XS

　　MPEG通常用于終端用戶的存儲，傳輸和消費，而JPEG則主要集中于靜態(tài)圖像，但它剛剛為視頻制作和流式傳輸帶來了新的編解碼器。

　　開源的JPEG XS具有6：1的壓縮比，實際上比標準JPEG(10：1)更低，與編解碼器的發(fā)展背道而馳。

　　洛桑聯(lián)邦理工學院Touradj Ebrahimi教授表示：“這是圖像編碼史上的第一次，我們?yōu)榱烁�好地維持質(zhì)量而降低了壓縮率，我們正在使用更少的資源來加快速度。”

　　領導JPEG XS開發(fā)的Ebrahimi補充道：“我們希望在做事方面變得更聰明。我們希望使用更少的資源，并且可以更明智地使用它們。這是一個真正的范式轉變。”

　　JPEG XS是TICO編解碼器(SMPTE RDD 35)的進化，其本身基于JPEG2000。

　　延伸閱讀：JPEG標準小組為AR-VR發(fā)布新圖片格式JPEG XS

　　TICO背后的比利時公司IntoPix也幫助設計了JPEG XS。IntoPix市場營銷總監(jiān)Jean-Baptiste Lorent認為，對于“當前使用未壓縮視頻”的工作流程來說，這將最為有用。

　　Lorent補充說：“由于分辨率提高，幀速率更高，360度捕獲和更高質(zhì)量的像素，因此我們需要新的編解碼器來處理不斷增加的數(shù)據(jù)量。”

　　JPEG XS旨在解決需要低復雜度和低延遲，但可以使用相當高帶寬的用例。Tony Jones說：“JPEG XS是一種內(nèi)部編碼技術。也就是說，它不執(zhí)行時間預測。這實現(xiàn)了比AVC和HEVC等壓縮標準低得多的效率，但反過來提供了非常低的延遲。”

　　Jones補充道：“有很多潛在的專業(yè)用例，包括對延遲非常敏感，但仍然可訪問高帶寬的工作室，遠程制作和其他用例。”

　　這可能適合4K和8K，尤其是制作和編輯，但其配置文件同時包括處理10K。Jones表示：“像JPEG XS這樣的輕量級壓縮技術是一種保證貸款，文件大小和文件傳輸時間的有效技術。JPEG XS對于維持低延遲遠上也非常有用。”

　　Jean-Baptiste Lorent則認為，這種低延遲，低壓縮和高效率編解碼器非常適合通過Wi-Fi和5G進行流式傳輸?shù)囊曨l，并且未來可以協(xié)助無人駕駛飛機和自動駕駛汽車。

　　為Adobe Premiere Pro CC開發(fā)了JPEG XS插件的Fraunhofer IIS指出，優(yōu)化過的編解碼十分適合需要通過有限帶寬傳輸高圖像質(zhì)量數(shù)據(jù)，或者必須使用有限計算資源進行處理的用例。

　　JPEG XS很可能會在2018年年底之前獲得國際標準化組織的批準，而包括相機在內(nèi)的第一批產(chǎn)品也將在這之后的不久面世。

　　2. 全向VR

　　MPEG還致力于提供沉浸式媒體，如360度視頻和VR。根據(jù)愛立信的Tony Jones的說法，這兩種情況都存在非常嚴格的運動到光子要求：顯示器對一切頭部位置變化的響應速度必須非常低。

　　Jones指出：“對于360度視頻，渲染是從整個360度圖像或從其中適當大小的一部分進行本地執(zhí)行，而對于VR，場景本身必須基于頭部運動創(chuàng)建。如果可以在本地執(zhí)行場景創(chuàng)建，挑戰(zhàn)性將能大為降低。另一方面，如果渲染是遠程執(zhí)行，而且需要在沒有過多比率需求的情況下實現(xiàn)，要實現(xiàn)這個目標將面臨非常大的挑戰(zhàn)。”

　　一個可能有幫助的倡議是MPEG-I。其內(nèi)容正處于不同的發(fā)展階段，定義系統(tǒng)，音頻和視頻參數(shù)的第一部分即將發(fā)布，而其他部分仍處于大綱之中。

　　MPEG-I最有趣的階段是全向媒體格式(Omnidirectional Media Format，OMAF)。第一個版本的目標是HEVC中的360度視頻壓縮，而且現(xiàn)在已經(jīng)完成。

　　Timmerer指出：“OMAF帶來了一系列的優(yōu)化，但可能需要一定的時間才能實現(xiàn)廣泛采用，而它基本上將對編碼，流媒體，解碼和渲染產(chǎn)生重大的影響。”

　　將在10月份起草的第二版本(OMAFv2)把目標瞄準的3DoF+，這項包括“運動視差”的進展可以允許觀眾看到“對象的背后”。換句話說，OMAF正致力于實現(xiàn)潛在的全息顯示器。

　　OMAF的后續(xù)版本還將針對“社交VR的全方位6自由度”，甚至“光場的密集表示”。Timmerer將社交VR描述為“用戶可以在相同社交環(huán)境中消費VR內(nèi)容”。

　　MPEG-I的其他方面則關于點云壓縮。這種深度信息形式可用于生成三維或全息場景。

　　根據(jù)Timmerer的說法，VVC和OMAF之間沒有關系，但未來可能會改變(也許到2020年)。他指出：“我預計OMAFv2將比VVC更早完成，因此OMAFv2仍將依靠HEVC。這是我目前的估計。”

　　OMAF的第一版本將由ISO發(fā)布，但現(xiàn)在已經(jīng)可以使用國際標準的最終草案。 “基本用例已經(jīng)可以部署。我確信IBC中將出現(xiàn)一定的演示作品。”

　　3. 用于全息圖的壓縮

　　這里還有另外一層，一個關于壓縮記錄為光場的海量數(shù)據(jù)的方案。盡管都屬于MPEG-I的一部分，但在解決方案上大家存在一定的分歧。

　　流式傳輸“真正本地的光場”需要500Gbps的寬帶速度，最高可達1TBps。這個估計來自于全息顯示器開發(fā)商Light Field Lab的CEO Jon Karafin。但他補充說：“這在我們有生之年都不會走進千家萬戶。”

　　處理如此多的數(shù)據(jù)需要十分嚴格的壓縮標準，更不用說傳輸。MPEG的一個工作小組正在起草一種令“支持創(chuàng)建和渲染豐富沉浸式體驗的內(nèi)容交換”成為可能的解決方案。

　　它的名稱是混合自然/合成場景數(shù)據(jù)容器(Hybrid Natural/Synthetic Scene;HNSS)。MPEG指出，HNSS應該提供一種手段來支持“遵循自然光流，能量傳播和物理運動操作的場景”。

　　Timmerer表示該小組正在研究MPEG-I中的場景描述，“研究現(xiàn)有的格式和工具，以及它們是否可以用于MPEG-I。”

　　該方法不同于傳統(tǒng)的視頻壓縮技術：其主要是捕捉紋理，幾何圖形和其他體三維數(shù)據(jù)，然后將其包裹在“媒體容器”中來創(chuàng)建場景的3D模型。

　　但不是每個人都相信媒體容器是正確的解決方案。麻省理工學院全息技術專家V. Michael Bove指出：“目前還沒有普遍得到認同的最佳做法。我希望這個問題可以得到解決。這不是一個無法解決的問題。”