video delay 60 ms

Minimalizace zpoždění přenosy pro spolupráci v kultuře
Sven Ubik, CESNET
Jiří Navrátil, Jiří Melnikov, Martin Kolbe,
Zdeněk Trávníček, Martin Kolbe
CESNET Community Forum
Praha, 3. června 2014
Motivace
• Sdílení obrazu, zvuku a dalších typů informací s dostatečně malým
zpožděním umožní distanční spolupráci v řadě oblastí
• Nejvyšší zpoždění pro pocit okamžité reakce je přibližně 150 ms [1],
ale závisí na aplikační oblasti
[1] ITU-T Recommendation G.114 - One-way transmission time, ITU-T
Study Group 12, May 2003
Souhra v hudbě
• Velmi vysoké nároky na nízké zpoždění celého řetězce:
7.5 ms rozpoznatelné
15 ms komfortní
30 ms silné omezení výrazových prostředků (rubato, …)
Síť
Trondheim
85 ms
Japonsko
22 ms
Kalifornie
135 ms
Londýn
15 ms
Praha
16 ms
Atény
Hardware pro vysílání / příjem
• Zařízení MVTP-4K (Modular Video Transmission Platform)
• Zpracování signálu v real-time systému s FPGA obvodem
• Přidané zpoždění od cca 3 ms v režimu bez komprese a 5 snímků
v režimu s kompresí JPEG 2000
• Až 2x 4K video a 96x zvukových kanálů
• HD-SDI vstupy a výstupy, 1G/10G připojení do sítě
Využití v medicínském vzdělávání
• Živé přenosy operací z lékařských přístrojů na kongresy
• V ČR, Evropě, USA, Asii, ….
3D HD přenos Ústi n.L. – Banská Bystrica Nx 3D přenos Oční festival Zlín
4K přenos ČR - Tchajwan
4K přenos ČR – Denver, USA
Využití ve zpracování
multimediálních materiálů
• Demonstrace distanční spolupráce při postprodukci
Vzdálena 3D postprodukce v
reálném čase
http://www.ces.net/doc/press/2011/pr110211.html
Aplikace v kultuře
 Souhra hudebníků přes síť
– pro distanční výuku, zkoušky před představením
 Distribuovaná kulturní představení
– výměna kulturních zkušeností
 Vzdálené mixování zvuku
– vysílání živých koncertů bez mobilního studia
 Vzdálený přístup ke kulturním artefaktům
– přístup k muzeálním sbírkám pro studium a výzkum
Projekt eMusic
• 18-měsíční projekt v rámci OpenCall výzvy projektu GN3plus
• Partneři
- 3 akademické sítě (CESNET, GARR, JANET)
- 3 školy múzických umění (HAMU v Praze, Conservatorio Tartini
v Terstu, Edinburgh Napier University)
• Cíl: ověřit podmínky pro distanční spolupráci v múzických uměních
na evropské úrovni, s využitím služby Bandwidth on Demand (BoD)
https://intranet.geant.net/JRA0/eMusic/SitePages/Home.aspx
Geant Symposium, únor 2015
Prague, laboratoř
SAGElab
Cca 1000 km
Athens, Megaron
Conference Center
Prague
Vienna
Bratislava
Athens
Hudba
• Marry keys quartet v Praze
(piano, bicí, saxofon, zpěv)
• Sebastiano Frattini v Aténách
(housle)
• Jazzový styl hudby
Hudba
Klasická hudba Praha - Londýn
• Praha: Hudební a taneční fakulta Akademie múzických umění (HAMU)
• Londýn: Royal College of Music (RCM)
• Vzdálenost: cca 1000 km
• Technika: MVTP-4K
HAMU
RCM
Hudba
1) J. Brahms: Violin concerto in D major Op. 77, 1st movement
2) M. Ravel: La Cigane
Matouš Pěruška – housle
Praha
Alison Rhind - piano
Londýn
Síť
Tanec a zpoždění
• Experimentální ověření ve spolupráci s tanečníky, výměna
“virtuálního míče”
• Laboratoř SAGElab
• Výrazně vyšší schopnost akceptace zpoždění, přibližně 250 ms
Dance with delay
Distribuovaná představení
•
•
„Dancing in space“, pro APAN 38 na Tchahjwanu, srpen 2014
Účastníci v Praze, Barceloně, Miami and Tchajwanu
Chicago
20G
APAN38
NanTou
Barcelona
10G
Miami
Taipei
10G
NanTou
20G
20G
Amsterdam
10G
10G Prague
Umělecké osobnosti
Hudební trio v HAMU Praha
Stage 2 | Dancing in Space
Cellista v Miami
Artists on Prague site
Ivan Vokac is a graduate of Prague Conservatory of Music. For the time being Ivan is studying with
Prof. Miroslav Petras at the Academy of Performing Arts in Prague.
Ivan Vokac
Jan Mracek Lukas Klansky
V. Cello
Violin
Piano
Choreografie a tanec v Barceloně
Andrew Larson
New World Symphony
Tanec na Tchajwanu
Alain Baumann Rosa Sánchez Victoria Macarte
Live video interaction Choreography
Dance
Yi Tzu Lee
Winnie
Snímání a projekce obrazu
CZ Trio
Praha
US Cellist
Miami
Normal Background
Barcelona
BC Dancer
Tchajwan
Black
Background
TW Dancer
Composed Picture
Hlavní jeviště v Nantou, Tchajwan
Music in Miami:
Dance in Barcelona
Musical trio in Prague
Dance in Taiwan
Hlavní jeviště v Nantou, Tchajwan
Představení mezi ČR, Španělskem,
Brazílií a Jižní Koreou
Prague, Czech
Republic
Daejeon,
South Korea
Barcelona,
Spain
Bahia, Brasil
Synchronizace obrazu a zvuku
From KR
③
③
ES
Max6
Synapse
From ES
①
Chamber Music
Local view
Dancer
network
audio
video
Dancer
I2CAT
④
From ES
From KR
④
From BR
From local
④
⑤
BR
②
From BR
④
Max6
Synapse
⑤
From CZ
②Dancer
CZ
KR
MVTP-4K
MVTP-4K
Max6
Synapse
I2CAT
UFBA
UFBA
Představení mezi ČR, Španělskem,
Brazílií a Jižní Koreou
Hudební trio na HAMU Praha, 4K video
„Avataři“ tanečníků
Tanečníci v Barceloně a Salvadoru
Tanečnice na Tchajwanu
Představení mezi ČR, Španělskem,
Brazílií a Jižní Koreou
Dálkový přístup ke sbírkovým
předmětům
• Experimentální ověření dálkového přístupu k Langweilově modelu
Prahy
• Model byl vytvořen v letech 1826-37 Antonínem Langweilem
• Měřítko 1:480, cca 2000 budov, asi polovina již není v původní podobě
Langweilův model Prahy je sbírkovým předmětem ve správě Muzea hl.m.
Prahy.
Digitální model
• Realizováno ve spolupráci společnosti Visual Connection a
Katedry počítačové grafiky a interakce FEL ČVUT
• 244 000 fotografií, 20 TB dat, 8100 hodin práce
Fotografie jsou rozmnoženinou sbírkového předmětu ve správě Muzea
hl.m. Prahy, www.langweil.cz
Dálkový přístup
Dálkový přístup
Interaktivní průchod částí modelu na univerzitě v San Diegu, USA
Vysílací / přijímací technika,
příklad uspořádání
4K kamera
6G-SDI to
audio
4xHD-SDI embedder
6G-SDI
MVTP-4K
1G/10G
připojení
audio vstup
studio mixer
4xHD-SDI
to HDMI
4xHD-SDI
HDMI
4K TV
audio dis-embedder
2x XLR balanced
audio výstup
Zpoždění kamery
Flash light
Photodetector
Dvojkanálový
osciloskop
SDI - analog
Zpoždění kamery
Canon Legria M56 (spotřební HDMI kamera):
video delay 100 ms
GoPro Hero4 Black Edition:
video delay 60 ms
Blackmagic Design 4K:
video delay 60 ms
Sony XC-HR70 (analog):
video delay 25 ms
Zpoždění TV / projektoru
SDI - HDMI /
DVI
video generator,
SDI output
SDI - analog
Photodetector
Dvojkanálový
osciloskop
Zpoždění TV / projektoru
ACER Full HD LCD monitor
HDMI input
DVI input
video delay 16 / 36 ms
Projector Optoma LH501 (Full HD)
HDMI / DVI / analog input
video delay 60 ms
Technologické shrnutí
• Technologie pro přenosy obrazu a zvuku s velmi nízkým
zpožděním i pro kritické aplikace je k dispozici
• Požadavky na síť mohou být vysoké (cca 5 Gbps pro
nekomprimovaný 4K obraz), ale jsou realizovatelné v
mezinárodním měřítku
Pozorování
• Pořadí důležitosti pro spolupráci v múzických uměních je
1) dobrý zvuk, 2) pocit přítomnosti ostatních umělců a
3) dobrý obraz
• Dobrý zvuk znamená nejen malé zpoždění, ale i kvalitu
snímání a reprodukce a srovnatelné dynamické, prostorové a
časové charakteristiky lokálního a vzdáleného zvuku
• Využití pro výuku, zkoušky, kulturní výměnu, přístup ke
kulturnímu dědictví
Děkuji za pozornost!
Sven Ubik
[email protected]