10- Multisnímková rekonstrukce objektů

1 / 28
Vícesnímková rekonstrukce scény
Jan Klečka
Rozvrh přednášky:
1.
2.
3.
4.
5.
6.
7.
Úvod.
Projekční geometrie.
Triangulace.
Určení parametrů projekčního modelu
Stereo rekonstrukce.
Bundle adjustment.
SLAM.
2 / 28
Vícesnímková rekonstrukce scény
Jan Klečka
Rozvrh přednášky:
1.
2.
3.
4.
5.
6.
7.
Úvod.
Projekční geometrie.
Triangulace.
Určení parametrů projekčního modelu
Stereo rekonstrukce.
Bundle adjustment.
SLAM.
3 / 28
Vícesnímková rekonstrukce scény - Úvod
Vícesnímková rekonstrukce – odhad prostorového modelu scény, která byla více než jednou
nasnímána kamerou (využívá se zde princi pasivní triangulace).
Stero rekonstrukce – speciální případ vícesnímkové rekonstrukce, kde je scéna nasnímána
právě ze dvou pohledů
Příklady aplikace:
-
Rekonstrukce prostorově rozsáhlých objektů
-
Hardwarově / Cenově nenáročné rekonstrukce
-
Automatická visuální navigace
-
Virtuální / Rozšířená realita
4 / 28
Vícesnímková rekonstrukce scény
Jan Klečka
Rozvrh přednášky:
1.
2.
3.
4.
5.
6.
7.
Úvod.
Projekční geometrie.
Triangulace.
Určení parametrů projekčního modelu
Stereo rekonstrukce.
Bundle adjustment.
SLAM.
5 / 28
Projekční geometrie
Kamera je aproximována modelem dírkové komory
Projekce bodu na obrazovou rovinu:
Přehledový pohled
X
x
C
p
-
Prostorové souřadnice 3D bodu
Obrazové souřadnice projekce bodu X
Prostorové souřadnice ohniska
Obrazové souřadnice středu projekce
Bokorys
f
fx
fy
fx =
f
px
-
Ohnisková vzdálenost
Zobrazovací konstanta pro osu x
Zobrazovací konstanta pro osu y
Kde: p x je velikost pixelu v ose x
6 / 28
Projekční geometrie – Systém souřadnic
V reálných souřadnicích je projekce nelineární zobrazení
R3 → R2
 X  
 x  
  = f  Y  = 
 y   Z  
  
fx X

+ px 
Z

f yY
+ p y 
Z

V homogenních souřadnicích je projekce lineární zobrazení
P →P
3
2
X
x
     fx
  Y  
 y = f  =  0
1  Z   0
  1 
 
Budeme tedy používat homogenní souřadnice !!
0
fy
0
px
py
1
X 
0  
 Y 
0 ⋅ 
Z


0   
1
7 / 28
Projekční geometrie – Projekční modely
Lineární projekční model s ohniskem v počátku systému souřadnic:
 x  fx
  
x =  y =  0
1  0
  
s
fy
0
cx
cy
1
X
0  
 Y 
0  ⋅   = K (I | 0 )X
Z


0   
1
Lineární model s obecnou polohou ohniska:
 x
 
x =  y  = K (R | t )X = PX
1
 
Model s nelineárním zkreslením:
x = K D(r )(R | t )X
8 / 28
Projekční geometrie – Rozklad projekčního modelu
P = K (R | t )
Matice vnitřních parametrů
- Značíme pomocí K
Matice vnějších parametrů
- Značíme pomocí (R | t )
-
-
Charakteristické kameře
Nezávislé na poloze
- Zobrazovací konstanty
- Poloha středu projekce
- Skew, nelin. zkreslení
Charakteristické dané poloze a orientaci
Pro každé umístění kamery jiné
- Translační vektor
- Rotační transformace
9 / 28
Vícesnímková rekonstrukce scény
Jan Klečka
Rozvrh přednášky:
1.
2.
3.
4.
5.
6.
7.
Úvod.
Projekční geometrie.
Triangulace.
Určení parametrů projekčního modelu.
Stereo rekonstrukce.
Bundle adjustment.
SLAM.
10 / 28
Triangulace
Triangulace je postup používaný pro dopočítání souřadnic 3D bodu ze souřadnic jeho projekcí.
x i = Pi X i ∈ {1,..., N }
Lineární triangulace:
x i × Pi X = 0
Lineární triangulace pro dva pohledy:
  x1p13T − p11T  

 
3T
2T
 y p − p  
min  1 13T 11T  ⋅ X 
X
  x2 p 2 − p 2  
  y p 3T − p 2T  
2 
 2 2

Nelineární triangulace:

2
min ∑ d(x i , Pi X ) 
X
 i

 p 1T 
 iT 
Pi =  p i2 
 3T 
 pi 


11 / 28
Triangulace
Příklady nejistoty rekonstrukce:
U triangulace nastává singulární stav (řešení není jednoznačné) v případě, že rekonstruovaný
bod leží na stejné přímce jako obě centra kamery.
12 / 28
Vícesnímková rekonstrukce scény
Jan Klečka
Rozvrh přednášky:
1.
2.
3.
4.
5.
6.
7.
Úvod.
Projekční geometrie.
Triangulace.
Určení parametrů projekčního modelu.
Stereo rekonstrukce.
Bundle adjustment.
SLAM.
13 / 28
Určení parametrů projekčního modelu
Kalibrace vnitřních i vnějších parametrů
- Vysoká přesnost
- Výsledná rekonstrukce je stabilní a robustní
- Možné použít jen pro statickou soustavu kamer
- Před rekonstrukcí je nutné provést kalibraci soustavy
Kalibrace vnitřních parametrů a průběžný výpočet vnějších z korespondenčních bodů
- Možné použití i pro pohybující se kamery
- Rekonstrukční chyba se promítá i do vnějších parametrů
- Před rekonstrukcí je nutné provést kalibraci soustavy
Autokalibrace
- Libovolné konfigurace kamer
- Není třeba žádná příprava
- Chyba při detekci korespondencí výrazně ovlivňuje kvalitu rekonstukce
14 / 28
Kalibrace kamery
Výpočet parametrů projekčního modelu pomocí referenční objektu
Jeden a více snímků kalibračního 3D objektu
Tři a více snímků kalibračního 2D objektu
15 / 28
Epipolární geometrie
Epipolární geometrie popisuje vztah dvou projekcí stejného prostoru
Matematickou reprezentací je fundamentální matice F
x 2 Fx1 = 0
T
l 2 = Fx1
l1 = F T x 2
Z fundamentální matice nelze bez dalších informací jednoznačně určit parametry projekčních
modelů.
Za předpokladu znalosti vnitřních parametrů kamery, je možné fundamentální matici použít
k jednoznačnému určení vnějších parametrů.
16 / 28
Trifokální a kvadrofokální geometrie
Matematický popis závislostí ve třech a čtyř projekcí.
Závislosti jsou reprezentovány pomocí trifokálního resp. kvadrofokálního tensoru.
Vlastnosti při určování parametrů projekčního modelu jsou stejné jako u epipolární geometrie:
Jen z tenzorů není možné jednoznačně určit parametry projekčního modelu
Při znalosti vnitřních parametrů kamery je možné určit parametry vnější
Matematicky jsou tyto závislosti velmi složité, vyšší než kvadrofokální tensor se prakticky
nepoužívá.
17 / 28
Autokalibrace
Autokalibrace využívá vhodného předpokladu, tvaru vnitřních parametrů.
S dostatečným počtem snímků je možné určit, vnitřní i vnější parametry projekčních modelů.
Standardní předpoklady jsou:
18 / 28
Vícesnímková rekonstrukce scény
Jan Klečka
Rozvrh přednášky:
1.
2.
3.
4.
5.
6.
7.
Úvod.
Projekční geometrie.
Triangulace.
Určení parametrů projekčního modelu.
Stereo rekonstrukce.
Bundle adjustment.
SLAM.
19 / 28
Stereo rekonstrukce - postup
Předpoklad: Je třeba mít zkalibrované kamery – alespoň znát jejich vnitřní parametry.
Výpočet vnějších parametrů:
1. Hledání korespondenčních bodů pomocí detekce a deskripce významných bodů (např.
pomocí SIFR, SURF).
2. Výpočet fundamentální matice.
3. Dekompozice fundamentální matice na vnější parametry.
Postup rekonstrukce:
1. Rektifikace snímků
2. Výpočet mapy disparity
3. Triangulace
0
1594 
 2722


K = 0
2714 1162 
 0
0
1 

20 / 28
Stereo rekonstrukce – hledání korespondenčních bodů
Korespondenční body nalezeny pomocí metody SIFT.
Stereo rekonstrukce – fundamentální
matice a výpočet vnějších paramenrů
21 / 28
Fundamentální matice vypočtená pomocí lineárního 8-bodového algoritmu, kvůli nesprávným
korespondencím byla data filtrována pomocí algoritmu RANSAC:
0
0 
0


F = 0
0
− 0,028 
 0 0,025 0,999 


Vnější parametry vypočtené z fundamentální matice:
 0,99 − 0,02 0,16 


R =  0,03
1
− 0,01
 − 0,16 0,01
0,99 

Korespondence vyfiltrované pomocí RANSAC:
 − 0,99 


t =  − 0,02 
 0,08 


22 / 28
Stereo rekonstrukce – rektifikace
Geometrická transformace vstupních obrazů tak aby všechny korespondence byly ve stejném
řádku.
V zásadě se používají dva algoritmy:
- Lineární rektifikace
- Polární rektifikace
Obrazy rektifikované pomocí lineární rektifikace:
23 / 28
Stereo rekonstrukce – mapa disparity
Mapa disparity je výsledek jemného hledání korespondenčních bodů. Hledání probíhá téměř
pro každý pixel. Jelikož hledání probíhá v rektifikovaných souřadnicích je možné korespondenci
pro pixel (x,y) reprezentovat pomocí scalární veličiny:
 x1   x2 
  ↔  
 y1   y2 
Příklad mapy disparity:
 xr 1   x r 2 
  ↔  
 y r   yr 
 xr 1   xr 1 + D ( xr 1 , y r ) 
  ↔ 

y
y
r
 r 

24 / 28
Stereo rekonstrukce – triangulace
Výsledek lineární triangulace:
25 / 28
Vícesnímková rekonstrukce scény
Jan Klečka
Rozvrh přednášky:
1.
2.
3.
4.
5.
6.
7.
Úvod.
Projekční geometrie.
Triangulace.
Určení parametrů projekčního modelu.
Stereo rekonstrukce.
Bundle adjustment.
SLAM.
26 / 28
Bundle adjustment
Iterativní způsob rekonstrukce scény. Jde o složitý optimalizační problém, používaný pro
rekonstrukci scény nasnímané z mnoha pohledů.
Bundle adjustment je často zkombinovaný i s autokalibrací.
Optimalizační kritérium:

2

min ∑ d(x i , j , Pi X j ) 
X j ,Pi
 i, j

27 / 28
Vícesnímková rekonstrukce scény
Jan Klečka
Rozvrh přednášky:
1.
2.
3.
4.
5.
6.
7.
Úvod.
Projekční geometrie.
Triangulace.
Určení parametrů projekčního modelu.
Stereo rekonstrukce.
Bundle adjustment.
SLAM.
28 / 28
SLAM
Simultaneous localization and mapping (= Souběžná lokalizace a mapování).
Rekurzivní řešení rekonstrukčního problému.