沉浸式即時體驗服務（Immersive Live Experience, ILE）一直被視為5G關鍵應用範疇之一。除技術觀點外，也不少的組織透過即時性的VR、AR、全息投影以及高畫質影音應用測試5G的增強型行動寬頻（eMMB）及超可靠且低延遲通訊（uRLLC）特質。面對著5G技術標準持續發展，部分的國際通訊標準組織也開始展開沉浸式即時體驗服務的標準化活動制定。
一、ITU-T SG16沉浸式即時體驗的標準化工作進展
ITU-T SG16研究小組在2016年6月建立新研究課題（Question 8/16 for Immersive Live Experience, ILE，簡稱為Q8/16）聚焦制訂與沉浸式體驗服務有關的標準化規格，期望透過標準化規範，提供最佳沉浸式即時體驗服務。ITU-T SG16認為以5G技術為基礎的大型賽事將蔚為風潮，透過標準化規格的引導，可有助於展示5G技術的能量。
ITU-T SG16研究小組認為近期，一些大型的體育賽事與音樂演唱會，不僅是現場播出，同時還會透過科技，將現場內容即時傳送給非現場的觀眾，讓其他觀眾也可感受到如臨現場之體驗。但是，ILE實現需要透過多種技術整合，如現場活動主體的影像捕捉、活動主體的空間位置感測技術、聲音方向識別技術、影像擷取後的傳輸技術（包括空間位置資訊）、影像展示技術（如遠距的3D投影）以及影像、聲音或照片的同步傳輸技術等。雖然目前部份服務已經存在，但是技術仍未有系統化設計，同時多數也未有標準化規格。此外，也可觀察到這些體驗服務（如3D全息投影展演）需要花費大量的時間進行現場設備與舞台設計，不易於擴散。
故此，ITU-T SG16研究小組也將ILE納入2017-2020年的研究議題。Q8/16將ILE 定義為透過與影視音串流媒體直播傳輸，加上燈光、空間與環境資訊設計，重建多媒體環境，讓非現場觀眾也可收看節目（如體育比賽、音樂會），感受聲、光、空間等現場參與體驗。表1為標準化工作規劃進程，主要負責人為日本與韓國的專家。就內容規劃方面，2017年聚焦ILE服務情境探討，2018年則是啟動制訂ILE主要架構的規範要求，2019年則是聚焦與ILE系統有關的MPEG（Moving Picture Experts Group）媒體傳輸規範設計。為此，主要報告負責人（如Hideo Imanaka）在2016年開始也啟動相關議題的小型研討會，會議主題、參與者及探討議題如表2所示。小型研討會的目的在於彙集各方組織的參與，並就ILE議題進行資訊交流，希望各方組織可在ITU-T SG16會議支持與認同提案內容。近期舉辦的研討會主要關切議題，包括：
● 大型活動的即時沉浸式體驗服務，如日本與韓國專家所提出的全息投影展演。日本NTT專家Yoshihide Tonomura提出「Kirari!」遠距沉浸式服務傳輸系統，可為大型運動賽事、音樂會及文化活動提供高度逼真現場直播虛擬服務的系統。OKI公司提出超臨場感的遠端辦公室虛擬會議服務系統。韓國KT電信分享以2018年平昌冬季奧運為測試場域，進行的多種5G沉浸式創新服務之進展，包括：提供觀眾與參賽者同一視角的同步視訊影像串流服務（Sync View）、360度VR多視角服務、全景即時現場影視串流、全息虛擬影像現場即時直播（Hologram Live）、無人機安全服務系統等。
表1 ITU-T SG16 Q8/16標準工作規劃
資料來源：連結請按此。中經院（2018年/1月）。
● 數位視訊廣播活動（Digital Video Broadcasting, DVB）中的VR活動發展情況。如Harmonic公司從VR內容製作的角度探討VR市場發展挑戰，雖然硬體設備技術的持續精進，但VR市場發展仍不穩定。雖然已有部份商業模式（如主題樂園為促進消費者採用的重要媒介），但是仍缺乏VR內容與服務的標準化規格。德國Fraunhofer則是從應用服務雛型的角度出發，探討VR未來應用趨勢，例如如何提供高清品質的VR串流媒體視聽服務、電視播放的高清360度視聽串流媒體及渲染服務。
● MPEG活動中與沉浸式服務有關的標準化活動。Q8/16聚焦在ILE，但LIE涉及型態相當多元，如沉浸式遠端虛擬影像及VR等；基於可能會與現有其他研究課題的內容有所重疊，故此也加強掌握相關議題的發展進展。[1]例如，MPEG小組標準化活動內容議題如圖1所示，包括跨平台的媒體傳輸規範、與VR360度影片、隨選系統及現場直播有關標準化活動、與沉浸式媒體（如6 degree of freedom、虛實內容的整合）標準化活動等。朝向幾個特質發展，如行動媒體、要求更高品質、更多沉浸式體驗（UHD、AR、VR）、媒體物件及穿戴式裝置的連網、具雲端特質的媒體內容處理、儲存與傳送等。
註：HDR為High Dynamic Range (Video) ； CMAF為Common Media Application Format）；OMAF為Omnidirectional Media Format；IoMT（Internet of Media Things and Wearable）。
資料來源：連結請按此。中經院（2018年/1月）。
圖1 MPEG中的標準化活動制定發展路線圖
表2 ITU-T SG16 沉浸式即時體驗的國際標準會議關切要點
資料來源：ITU-T歷次的會議資訊網站，包括：連結請按此；連結請按此；連結請按此。中經院（2018年/1月）整理。
二、日本「Kirari!」沉浸式遠距即時體驗系統應用測試進展
在ILE研討會中，日本NTT專家強力行銷「Kirari!」沉浸式服務遠距傳輸系統，設計上類似韓國在2018年平昌冬季奧運項目所提到的全息虛擬影像現場即時直播（Hologram Live），主要是結合即時通訊傳輸、全息投影展演，以及數位影視音相關的數位科技整合而成的大型虛擬展演內容。日本NTT在2015年提出「Kirari!」系統，在2016年開始進行實際場域的測試。內容議題選擇主要有大主軸，一是日本傳統的歌舞伎表演（與Shochiku公司合作的「歌舞伎
」計畫），訴求以創造之方式欣賞歌舞伎表演；另一則是日本的影視音娛樂表演（與日本工廠（Japan Factory）合作的Cyber Teleportation Tokyo at SXSW 2017音樂節計畫）。
「Kirari!」是一套從現場活動主體對象的影像抽取、影像內容處理與壓縮、傳輸以及到現場即時沉浸式展演的系統，涉及到多項技術的整合，如圖2所示，包括：任何背景的即時影像抽取（real-time robust image extraction for any background）、超高清視頻拼接（super high-definition video stitching）、高品質影像壓縮（high quality video compression）、無損影視音編碼技術（audio lossless compression）、先進媒體串流及同步傳輸技術（media synchronization for realistic sensation）、超臨場感影像內容的重建（Reality reconstruction）等。其中，「Kirari!」系統內已嵌入多種多媒體影視音有關標準，如下世代影片壓縮標準「H.265 / HEVC」及無損影視音編碼技術「MPEG4-ALS」等。超高真實媒體同步技術（Advanced MMT）為此次日本NTT強力推動的主要標準化制定內容之一。
資料來源：Akihito Akutsu, Akira Ono, Hideaki Takada, Yoshihide Tonomura, and Maiko Imoto（2017）, ” 2020 Public Viewing—Kirari! Immersive Telepresence Technology, ” 資料獲取自：連結請按此。連結請按此。中經院（2018年/1月）。
圖2 「Kirari!」遠距沉浸式即時體驗系統內含的技術與相關標準
其中，即時性通訊功能的設計，現階段採用固網方式支持即時展演，未來將以5G通訊取代。以2017年SXSW 2017計畫項目為例，跨國通訊採用的網路基礎設施在日本是GEMnet2（NTT網路測試平台），而在美國部分則是與Texas System大學及Greater Austin地區電信網路等單位的合作，採用Internet2（美國大學先進網路環境的聯盟）及LEARN（Lonestar教育及研究網路）。
（一）「歌舞伎
」計畫
「歌舞伎
」計畫聚焦於日本傳統的歌舞伎表演，圖2為其推動進展；過程中，均採用的與「Kirari!」系統，但透過不同活動事件的歷練，逐步地添加許多不同的科技應用元素。
● 2016年4月首度在千葉市的「
2016」中，以「今昔饗宴
」為主題，進行中村獅童與初音未來（
）的對話，此為靜態的活動，透過實體的歌舞伎的舞台劇演員與全息投影虛擬人物的融合表演；
● 2016年5月，聚焦即時跨境（日本東京與美國拉斯維加斯）沉浸式虛擬表演試驗，主題為「KABUKI LION SHI-SHI-O」；整個活動中，涉及多種沉浸式即時的體驗服務，如全息即時投影表演、整合多個4K螢幕的全景展覽播放室、結合人臉識別及AR等科技的虛擬遊戲等。
● 2017年3月參與熊本縣的地震重建祈禱活動，仍以「KABUKI LION SHI-SHI-O」的歌舞伎為主題，推出全息投影虛擬歌舞伎劇場表演（Virtual Kabuki）；其中，如何虛擬還原歌舞伎表演的妝容與生動舞台表演，成為最大的挑戰測試主題。
● 2017年4月，在千葉市的「2017」中，以「今昔饗宴千本櫻」為主題，同樣係以日本歌舞伎演員中村獅童與初音未來的表演，但過程中，新增歌舞伎的即時全息虛擬投影表演。其中，最大的挑戰在於如何將歌舞伎的表演同步轉化為全息虛擬表演。
資料來源：Hiromichi Shinohara（2017）, ” B2B2X Value Creation by NTT R&D”, 獲取自NTT公司電子圖書館，連結請按此。中經院（2018年/1月）。
圖3 「歌舞伎」計畫發展進程
以2016年5月的「KABUKI LION SHI-SHI-O」主題項目活動為例，進一步觀之其所涉及的ICT融合應用。主要有四大活動，圖4所示。一是羽田機場的遠端高清全息投影直播表演（圖4的（a））：透過Kirari系統的影像提取技術，提取在拉斯維加斯舞台上的日本歌舞伎演員市川染五郎（Ichikawa Somegoro）影像，並傳送到羽田機場的活動現場，以超高真實性的全息投影方式展演。透過固網的即時傳送，現場觀眾可以提出問題，與市川染五郎進行即時互動。
二是整合多個4K螢幕組合的環形直播展覽室（圖4的（b））。研究團隊在拉斯維加斯戲劇院安置9台具有4K解析度攝影機拍攝，使用H.265/HEVG技術將Kabuki表演影像進行高階壓縮，並採用MTT技術同步的播放影像與聲音。在影像傳輸到播放之前，也導入糾錯技術增強影像訊號，讓觀看展演的觀眾可以感受到kabuki演員的表演張力，同時也可不受欣賞視角的限制，讓觀眾有如臨現場的感受。這為世界是第一個跨國傳輸多個同步4K螢幕的嘗試。
三是行動終端觀看高畫質的4K全景視頻（圖4的（c））。主要場域在羽田機場，觀眾透過VR頭戴式裝置，就可自由選擇想要觀看的視頻角度。NTT透過交互式串流技術讓高畫質的影片高效傳遞到智慧型手機等行動裝置。在有限的通訊頻寬下，也能夠讓羽田機場活動現場的與會者體驗到歌舞伎表演樂趣。
四是結合人臉識別及AR等科技的虛擬歌舞伎遊戲（Henshin Kabuki，圖4的（d））。NTT採用自由視角搜尋技術，可以高精準的自動辨識參與者選擇並握在手中的歌舞伎臉譜面具（Kumadori）。透過掌握參與者臉型後，透過AR技術可疊加至參與者臉上，並將歌舞技臉譜投影到一個巨大的3D面部物體上，讓參與者可以感受到各種各樣的歌舞伎逼真動作，例如笑聲或憤怒的動作。
資料來源：NTT(2016), “Ultra-High-Presence Video Live Viewing of “KABUKI LION SHI-SHI-O” Las Vegas Performance”, 連結請按此。中經院（2018年/1月）。
圖4 「KABUKI LION SHI-SHI-O」主題項目涉及的活動
（二）「Cyber Teleportation Tokyo at SXSW 2017音樂節」計畫
NTT在2017年5月推行的「Cyber Teleportation Tokyo at SXSW 2017」計畫項目，類似於韓國韓流全息投影展演（如K-Live），差異之處則是日本NTT更為強調即時通訊傳輸功能，進行跨境高臨場感的遠距雙向演場會。透過「Kirari!」系統，讓在美國Austin的SXSW 2017音樂節表演的starRo影像，可在日本進行現場直播，同時在日本登台表演的Cheeky Parade、Taichi Mukai等歌手的影像也可傳輸到美國Austin進行即時投影播放（如圖5（c）及（d））。透過NTT的「Kirari!」系統快速將展演場域上所捕捉的影像進行高效捕捉與傳輸，並且在3維的透明螢幕上進行動態投影，讓所有表演現場內容均可即時動態地在另一地區呈現，打破觀眾地域上的限制（如圖5（a）及（b））。
資料來源：連結請按此；連結請按此；連結請按此。中經院（2018年/1月）。
圖5 SXSW 2017計畫項目涉及的活動內容
三、小結
面向5G的發展，沉浸式即時體驗成為重要的垂直應用領域之一，相關標準組織也開始透過標準化規範的制定，加速促成沉浸式體驗服務的發展。日本與韓國相當積極投入標準化活動的推動。日本與韓國均以大型國際運動賽事作為平台，展示由多種數位科技整合而成的5G沉浸式體驗服務，但是設計的模式與策略路徑不同。在韓國模式方面，初期強力結合韓流文化形塑多種沉浸式體驗，運用韓流內容快速推動科技融合應用；2018年的平昌冬季奧運成為服務整合的展示平台，涉及科技元素，除全息投影技術外，相對偏重智慧終端與VR整合的沉浸式應用。日本模式方面，初期選擇傳統歌舞伎作為訴求，設計上更為強調高清畫質的全息虛擬影像服務系統的試驗，尤其是遠距的超臨場感即時傳輸；其中，亦可觀察到4K與8K應用也是日本NTT主推的融合應用之一。換言之，面對於各式各樣的沉浸式體驗服務，即便已經可以觀察部分類似應用服務的推出，但是如何找到好內容，有效地進行不同科技應用的融與串連、如何型塑具有自我特色與具有國際競爭力的服務體驗成為勝出的發展關鍵。
日韓發展模式的共通之處，即便現階段很多測試的沉浸式服務內容是與5G通訊有關，但是從現階段的設計來看，較多著墨在服務雛形的建立，以及整體服務的順暢性設計；網路基礎設施仍是採用4G或固網。此外，觀察計畫下的各項服務測試內容，很多的技術應用如全息投影、AR或VR等，並非是全新技術應用概念，部分也已有出口實績。但是透過結合不同的內容主題試驗，可讓技術在實際場域與展演進行測試與驗證，同時亦可強化新興應用服務的能見度。