Mechanorecepce, sluch, a prostorové slyšení

Mechanorecepce, sluch,
a prostorové slyšení
Petr Maršálek
1. lékařská fakulta UK Praha, Ústav patologické fyziologie
přednáška/ seminář pro bioinženýrství ČVUT1 _z 64
Osnova
1) Sluchová dráha jako černá skříňka
2) Jak je zvuk zakódován? – Jednoduchá odpověď.
3) Fyzikální základ prostorového slyšení
4) Možnosti experimentálního výzkumu slyšení
5) Jak je prostorový zvuk zakódován? – Lepší odpověď
6) Teorie prostorového slyšení
7) Otevřené otázky
8) Potenciální aplikace
2 _z 64
1
Sluchová dráha jako černá skříňka
3 _z 64
Frekvence je na ose x a
akustický tlak na ose y,
obojí je v logaritmické
stupnici. Zelená křivka dole
je práh slyšení, červená
nahoře je práh bolesti.
Modré jsou subjektivně
stejné hladiny hlasitosti (to
se použije při definici fónu =
subjektivní jednotky). Žlutá
brambora veprostřed jsou
hlasitosti a frekvence u řeči.
Šedivou čarou je vytažen
tzv. referenční kmitočet.
Obor slyšení: frekvence a hlasitosti
4 _z 64
Vnější, střední a vnitřní ucho
Mechanický signál je ve vnitřním
uchu převeden na akční potenciály.
5 _z 64
V kostěném hlemýždi je
uložen blanitý labyrint se
třemi schodišti (scalae).
Na prostředním schodišti
na
tuhé
basilární
membráně sedí Cortiho
orgán a od středu spirály
ven (zde na řezu seshora)
vlásky
vnitřních
i
vnějších
vláskových
buněk pohybuje tektoriální membrána.
Řez Cortiho orgánem
6 _z 64
Mechanika basilární membrány.
Basilární membrána má různá
rezonanční místa pro různé
frekvence (v Hz na obrázku
vlevo). Dolní 3D obrázek ilustruje
příklad postupující vlny (f=500 Hz)
a připsány jsou skutečné rozměry.
Šířka u base
100 µm
Délka
33 mm
Šířka u apexu
500 µm
Basilární membrána –
pohled shora a rozvinutá do lichoběžníku –
kódování zvuku podle frekvence
7 _z 64
Horní obrázek ukazuje nábor
akčních potenciálů a obrázek
vlevo
tzv.
fázový
závěs
(synchronizaci), tj. sledování
fáze zvuku ve sluchovém nervu,
u člověka až do hraniční
frekvence 2000 Hz.
Kódování zvuku –
podle hlasitosti a podle frekvence
8 _z 64
Sluchová
dráha celkový
přehled
Jádra v modrém kruhu
patří do tzv. mozkového
kmene.
9 _z 64
Sluchová dráha
– její část
v mozkovém kmeni
Tři poznámky ke stranové
symetrii sluchové dráhy:
>Na rozdíl od zrakové dráhy,
kde se kříží levé a pravé
vnější části zrakové scény,
sluchová dráha od „třetího“
(prvního binaurálního
neuronu) je křížením
zálohovaná
>Stranově asymetrická jsou
řečová centra
(to má zřejmě funkční
význam)
>Porovnání informace zleva
a zprava je využito pro
prostorové slyšení
10 _z 64
Co? a Kde? ve sluchové kůře
[Rauschecker and
Tian, 2000]
11 _z 64
Co? a Kde?
ve zrakové [
kůře
12 _z 64
]
2
Fyzikální základ prostorového slyšení
ε, elevace, vertikální poloha;
α, azimut, horizontální poloha;
a r, vzdálenost zdroje zvuku
(= jsou přirozené sférické 3D souřadnice)
13 _z 64
ε, elevace, vertikální poloha;
α, azimut, horizontální poloha;
a r, vzdálenost zdroje zvuku
(= jsou přirozené 3D souřadnice)
• Elevace: Vnější ucho
selektivně odráží a potlačuje
frekvence zvuků z různých
směrů, to je popsáno jako
Head (shape) Related
(spectral) Transfer Function,
HRTF
• Azimut: je určen na základě
rozdílu ve fázi a v intenzitě.
• r, vzdálenost je určena na
základě spektra zvuku a
hlasitosti. Vyšší frekvence
jsou se vzdáleností
tlumeny více, než
frekvence nižší. Hlasitost
známého zdroje umožňuje
odhad vzdálenosti.
14 _z 64
Elevace, vertikální poloha zv. zdroje
Head Related (spectral) Transfer Function (HRTF)
+15°
0°
-15°
Poloha zářezu, značící
Potlačení určitých frekvencí
se mění s elevací.
15 _z 64
Body se stejným rozdílem vzdáleností
od obou uší (větve hyperboly)
Vně hlavy mohou být větve hyperboly
nahrazeny polopřímkami, jejich rotací
Vznikne kužel
„cone of confusion“.
16 _z 64
Jednotlivé směry, lišící se o
diskriminační práh
v přední polorovině
17 _z 64
Binaurální
rozdíl
vzdáleností D
α
d1
Pro azimut α
a šířku hlavy d
dostáváme:
d2
d
D = d1 + d2 = d*sin α
18 _z 64
Diskriminační práh ITD= řádově 30 µs
Jak dlouho trvá, než zvuk urazí rozdíl vzdáleností D?
Tento interval se nazývá ITD, Interaural Time Difference,
binaurální časový rozdíl
D
t=
v
Dosaďme sem úhel pro diskriminační práh, a = 4 o
a šířku hlavy d = 15 cm. Máme D = 1 cm, a pro v = 340
m/s (rychlost zvuku ve vzduchu) dostaneme:
t = 30 µs, (mikrosekund).
To je až paradoxně málo pro detekci pomocí
akčních potenciálů, které trvají více, jak 192_zms.
64
Kromě časového rozdílu je
azimut určen také podle
intenzitního rozdílu
Interaural intensity difference, IID,
(intenzitní rozdíl), je využit u vyšších frekvencí,
Kde vlnová délka zvuku je kratší než šířka hlavy.
Interaural time difference, ITD,
(časový rozdíl, též fázový rozdíl),
je využit u nižších frekvencí.
Tyto dva klíče jsou zpracovány
dvěma nezávislými neuronovými
obvody. Teorie o tom, jak fungují, je
někde nazývána jako
„duplexní teorie“.
20 _z 64
Shrnutí: časový a prostorový klíč
21 _z 64
3
Prostorové
slyšení
(lokalizace
zvuku)
některé
vlastní
výsledky
22 _z 64
Lokalizace zvuku u ptáků a
u savců - schémata zapojení
Schéma k teorii zpožďovací linky podle Jeffresse. Na
tomto obrázku je ukázáno, jak zpožďovací linka převádí
kód daný časováním akčních potenciálů do kódu
označené linky. ZA značí zvukový signál z levého ucha a
ZB signál z ucha pravého. A1−7, respektive B1−7, jsou
vstupy do detektorů koincidence. Výstupy z detektorů
koincidence jsou označeny jako C1−7.
Předpokládaná délka zpožďovací linky
Rozmezí azimutů 0-90 o odpovídají u
lidské hlavy se šířkou 16 cm zpoždění
přibližně 0-250 mikrosekund.
Při rychlosti vedení axony a dendrity
1 m/s urazí akční potenciál
0,25 mm za 0,25 ms.
Neurony v tomto obvodu:
Pokud by bylo použito
pouze jedno zpoždění, místo • AND – hradlo (detektor koincidence)
sady zpožďovacích linek
• Neuron s inhibiční synapsí
by mohla být použita náhodná
zpoždění akčních potenciálů. • Neuron s excitační synapsí
23 _z 64
Lokalizace zvuku u ptáků (horní obrázek)
a u savců (dolní obrázek)
Maximální odpovědi jednotlivých binaurálních neuronů ve zpožďovací lince,
vynesené v procentech na ose y v závislosti na zpoždění ITD (interaural time
delay), které je na ose x. Tyto aktivity odpovídají různým zpožděním podle
jejich polohy ve zpožďovací lince. Maximální odpověď každého z neuronů
je v místě zpoždění, na které je naladěn. Tlustou plnou čarou je vytažena
oblast relevantních ITD pro různé azimuty. Délka tohoto intervalu závisí na
šířce hlavy, čím je větší vzdálenost uší, tím je delší tento interval.
Tečkovanou tenkou čarou je vytažena oblast, která by ještě případně mohla
být využita při kódování azimutu a čárkovaná nejtenčí čára nám připomíná,
že odpovědi neuronů jsou periodickou funkcí. Dvanáct křivek znázorňuje
dvanáct neuronů, které jsou naladěny na různá ITD podél zpožďovací linky.
100
80
60
40
20
0
-300
-200
-100
0
100
200
300
ITD [ µs]
100
80
60
40
20
0
-300
-200
-100
0
ITD [ µs]
100
200
300
Maximální odpovědi všech binaurálních neuronů jedné strany podle
algoritmu s pravděpodobnostním zpožděním. Na tomto obrázku je ukázána
aktivita v procentech vynesená na ose y v závislosti na ITD, které je na ose x,
stejně jako na předchozím obrázku. V tomto případě je ale souvislý interval
ITD kódován populací binaurálních neuronů na základě jednoho
pravděpodobnostního zpoždění. Odpověď neuronů nemá maximum kolem
nulového zpoždění, ale kolem nulových hodnot ITD má největší derivaci
(bod pro ITD = 0 s aktivitou 50%), což odpovídá experimentálním
pozorováním u savců. Tlustá plná čára, tečkovaná tenká čára a nejtenčí
čárkovaná čára vyznačují intervaly se stejným významem jako na
předchozím obrázku. Sloupce s rozptylem aktivit mají ilustrovat, že odečtení
zpoždění je pravděpodobnostní, nikoli deterministické.
24 _z 64
Lokalizace zvuku u savců
experiment (nahoře) a model (dole)
<V Experimentu> aktivity
nahrané z mozkového kmene
pískomila (Meriones unguiculatus).
Osy stejné jako na předchozím slidu:
osa x zpoždění (ITD), osa y:
procenta maximální aktivity.
Modrá křivka - za fyziologických
podmínek. Červená křivka – při
aplikaci strychninu, který zruší
inhibiční větev.
<V modelu> je možné
simulovat odpojením inhibice.
toto
25 _z 64
Zpožďovací linka v nucleus
laminaris sovy pálené
CZ: sova pálená, EN: barn owl,LAT: tyto alba
0,5 mm
1 mm
IV – čtvrtá mozková komora Zpoždovací linka postulovaná
NM - nucleus magnocellularis [Jeffressem] v r. 1948 byla experimentálně
dokázána po 40 letech [Carr a Konishi, 1988].
NL – nucleus laminaris
26 _z 64
Souhrn některých vlastních výsledků
•
•
•
Navrhli jsme alternativní výklad, jak pracuje neuronový obvod pro
prostorové slyšení v mozkovém kmeni: azimut je počítán z jednoho
zpoždění (pomocí extrapolace; ze dvou zpoždění by mohl být počítán
pomocí interpolace) a s použitím pravděpodobnostního zpoždění.
Tento výklad se obejde bez sady zpožďovacích linek – pro různé
azimuty je použito jedno zpoždění vlevo (0-900) a jedno zpoždění
vpravo (90-1800) a interpolace mezi nimi pomocí náhodného
procesu. (Podobně, jako vjem celého spektra barev při barevném
vidění vzniká interpolací signálu ze tří typů receptorů – čípků.)
Podali jsme výklad funkce inhibice. Roli inhibice vysvětlujeme jako
operaci negace v posloupnosti binárních logických operací s akčními
potenciály realizovaných neurony. Toto využíváme v současném
projektu studia kódu na sluchovém nervu.
27 _z 64
4
Možnosti experimentálního
výzkumu slyšení
Na začátku musí být nějaká pracovní hypotéza
tou byla Jeffressova hypotéza/ teorie,
[Jeffress, 1948], J Comp Physiol Psychol
(Lloyd Alexander Jeffress (1900-1986),
profesor akustiky, publikoval hlavně v JASA.)
28 _z 64
Detektory
koincidence a
Jeffressova teorie
zpožďovací linky
Původní (ale
kolorované☺) schéma
a – ipsilaterální větev
zpožďovací linky,
b – kontralaterální větev
x – ipsilaterální vstup do linky
y – kontralaterální vstup do linky podle [Jeffress, 1948]
29 _z 64
Odpovědi z mozkového kmene pískomila
Z [Brand et al, 2002]
30 _z 64
Účinek inhibice
Z [Brandt et al, 2002]
31 _z 64
Experimentální
zvířata
32 _z 64
5
Jak je vjem (prostorového) zvuku
zakódován?
33 _z 64
Pulsní
kódová
modulace
(PCM)
Technická zařízení:
synchronní,
Sluchová dráha:
Nízké f. (20-500 Hz)
Synchronní se zvukem,
Vysoké f. (0.5-16 kHz)
Asynchronní, trigger
[Vejražka, 1991,
Signály a soustavy]
34 _z 64
Kódování zvuku ve sluchovém nervu
Nízké f. (20-500 Hz):
synchronní se zvukem,
Vysoké f. (0.5-16 kHz):
tonotopický kód
1
0.8
a AHP
0.6
m
n
0.4
0.2
Výška tónu:
tonotopický kód pro vyšší frekvence
Hlasitost:
recruitment (nábor) akčních potenciálů
0
-0.2
-0.4
V
-0.6
-0.8
0
20
40
60
80
100
120
time [ms]
140
160
180
200
(Obecně v mozku, zejm. ve smyslových
drahách je) většina modalit kódována
pomocí:
„označené linky“ (= labeled line)
35 _z 64
Fázový závěs akčních potenciálů
Akční potenciály sluchového
nervu jsou ve fázi/ ve fázovém
závěsu za zvukem
36 _z 64
Intervalový histogram
sluchového nervu
Histogram při stimulaci
frekvencí 412 Hz (A)
a při stimulaci frekvencí
1 kHz (B).
[Rose, 1962]
37 _z 64
Souhrnná odpověď 50 vláken
sluchového nervu
osa x: čas, osa y: charakteristická frekvence vlákna,
osa z: kumulativní histogram akčních potenciálů
[Kiang, 1965]
38 _z 64
Vektorová síla/ cirkulární
statistika (definice)
Pro fáze:
ϕ1 , ϕ 2 ,..., ϕ n
je vektorová síla definována jako:
r = (1 / n) (∑ cosϕi ) 2 + (∑ sinϕi ) 2
39 _z 64
Vektorová síla/ cirkulární
statistika (příklad)
40 _z 64
10
Kochleární
filtry
0
-10
-20
-30
-40
-50
-60
-70
1
10
2
3
10
10
4
10
fZ
Tonotopická organizace sluchové dráhy
Zde jsou ukázány charakteristické frekvence frekvenčních pásem paralelního
zpracování zvuku ve sluchové dráze na příkladě výstupu kochleárního modelu. Na ose
x je frekvence zvuku v Hz v logaritmické stupnici a na ose y je zisk v decibelech
Jednotlivé křivky ukazují zisk pro jednotlivé neurony, jejichž charakteristická
frekvence postupně vzrůstá. Tučně vyznačená úsečka je interval jedné oktávy.
Jednotlivé kochleární neurony jsou reprezentovány filtry, zde je ukázáno 13 neuronů s
charakteristickými frekvencemi s krokem cca půl oktávy,, tj. 128 Hz, 181 Hz, 256 Hz,
..., 8192 Hz
41 _z 64
5
Teorie prostorového slyšení
Jeffresova teorie je „implementovaná“ u ptáků.
Zda je tomu také tak u savců je otevřenou otázkou.
42 _z 64
Revize Jeffressovy teorie
Jeffresova teorie je „implementovaná“ u ptáků.
Zda je tomu také tak u savců je otevřenou otázkou.
Teorie
•
•
•
•
•
U ptáků je pro určení směru použita
zpožďovací linka, se zvláštní skupinou
neuronů pro každý směr.
U savců nebyla taková struktura
nalezena.
Je tedy možné, že určení všech směrů
je realizováno pomocí jednoho pevného
zpoždění.
Rozhodnout může pouze experiment.
(Toto je axiom, viz:
Šéf má vždycky pravdu.)
Jako pokusný pták byla použita sova
pálená, jako pokusní savci jsou použiti
pískomilové, morčata, myši a lidé.
Experimenty
•
•
•
•
Experimenty na mozkových kmenech
savců jsou blízko center pro životní
funkce – takový záznam/ stimulace u
lidí není možná
Je možné provádět psychoakustické
experimenty s binaurálně
implantovanými pacienty
Koordinovaná stimulace dvou
kochleárních implantátů je technickou
výzvou která je vyřešena pro
experiment a brzy bude k dispozici u
pacientů
Otázka binaurálních stimulačních
protokolů je otevřená
43 _z 64
Olivární komplex, (MSO a LSO) v mozkovém kmeni
CN – cochlear
nuclei
LSO – lateral
superior olive
MSO – medial
superior olive
MNTB – medial
nucleus of
trapezoid body
Zigmond a Blum, 1999
44 _z 64
6
Otevřené otázky
45 _z 64
Alternativa k Jeffressově teorii
Jeffresova teorie
Alternativa
• Zpožďovací linka
• Jsou využita jen dvě
obsahuje N
zpoždění a (jednorozměrné)
přednastavených
kontinuum mezi nimi je
zpoždění
kódováno tak, jako je
(dvourozměrné) kontinuum
barev kódováno pomocí tří
čípkových pigmentů
46 _z 64
6.1 Funkce jednotlivého
detektoru koincidence
Neurony v tomto obvodu:
• AND – hradlo (detektor koinc.)
• Neuron s excitační synapsí
• Neuron s inhibiční synapsí
Pokud by bylo použito
pouze jedno zpoždění, místo
sady zpožďovacích linek
by mohla být použita náhodná
zpoždění akčních potenciálů.
47 _z 64
[Marsalek
a Kofranek, 2005]
XZ
WA
Excitační
detekce
koincidence
W AB
WB
0
2
4
6
time [ms]
8
10
48 _z 64
[Marsalek a
Kofranek, 2005]
XZ
WA
Inhibiční
detekce
koincidence
W AB
WB
0
1
2
3
4
5
6
time [ms]
7
8
9
10
49 _z 64
Výstupní frekvence akčních potenciálů
v závislosti na frekvenci zvuku pro
nízkofrekvenční a vysokofrekvenční jádra
Předpověď neuronové,
případně psychofyzikální
odpovědi na zvuk dané
frekvence.
[Marsalek a
Lansky, 2005]
800
700
600
f ECD
f ICD
500
Normalizovaná
odpověď
detektorů
koincidence.
400
300
200
100
0
2
10
3
10
f Z [Hz]
4
10
50 _z 64
6.2 Počítání s frekvencemi
jednotlivých neuronů
51 _z 64
[Marsalek a
Kofranek, 2005]
XZ
Odečítání
frekvencí
akčních
potenciálů
(subtraction of
firing rates)
WA
W AB
WB
0
1
2
3
4
5
6
time [ms]
7
8
9
10
52 _z 64
Proč?
Proč soudíme, že odečítání frekvencí, (SFR),
realizované jako náhodná procházka s prahem,
pravděpodobně není neuronálním mechanismem
v MSO ani v LSO?
1) Nefungovalo by pro krátké zvuky, trvající méně, než 100 ms.
2) Nebyla by využita přesná synchronizace, pro kterou svědčí
anatomická i fyziologická pozorování.
3) Zpracování signálu by bylo delší ve srovnání s detekcí koincidence.
Proto se jako pravděpodobnější mechanismus může uplatnit
detekce koincidence.
53 _z 64
Ilustrační příklad:
Pravděpodobnost detekce vzrůstá s počtem cyklů
Z
A
B
1
0.9
P(n) 0.8
0.7
p=0.75
0.6
0.5
0.4
0.3
p=0.4
[Marsalek a
Lansky, 2005]
0.2
0.1
0
1
2
3
4
5
n
6
7
8
54 _z 64
Výstup modelových neuronů
v závislosti na ITD
Červeně – DK bez inhibice
Modře –DK s inhibicí
Error bars – směrodatná odchylka
simulací
55 _z 64
3.5
3
2.5
2
1.5
Použitá výstupní rozdělení
grafy funkcí B(x), q(z), atd.
B24 – příklad Beta
rozdělení
q24 – výstupní rozdělení
u24 = 2q24 (čtverečky)
N (tečky)– normální
rozdělení
[Marsalek a
Drapal, 2008]
u24
1
N(0,σ24)
B24
0.5
q24
0
-1
-0.5
0
x
0.5
56 _z 64
1
Konvoluce dvou Beta rozdělení
57 _z 64
Analytické výpočty (obecně): rozdělení časů
vstupních akčních potenciálů (AP) (Beta
rozdělení s parametry a, b) a výpočet
časového rozdělení AP na výstupech
z detektoru koincidence
1
y = f ( x, a, b) =
x a −1 (1 − x ) b −1 I ( 0 ,1)( x )
B (a, b)
hledejme densitu q takovou, že X , Y ∈ B ,
W = X − Y . For Z = X − Y dostaneme :
q(z) =
q(z) =
∫
∞
∫
min( z ,1 )
−∞
f ( x ) g ( z − x ) dx .
max( z −1, 0 )
f ( x ) g ( x − z ) dx .
58 _z 64
Analytické výpočty (numerický příklad):
(parametry beta rozdělení: a=2 and b=4)
B ( x ) = 20 x (1 − x ) 3 pro x ∈ [0,1], jinak B ( x ) = 0.
q ( z ) = −0.634 z 9 + 2.857 z 7 − 20 z 4 + 33 .33 z 3 − 17 .143 z 2 z+ 1.587 ,
pro z ∈ [0,1],
z
9
7
4
3
2
q ( z ) = +0.634 z − 2.857 z − 20 z − 33 .33 z − 17 .143 z + 1.587 ,
pro z ∈ [− 1,0 ],
q ( z ) = 0 pro z mimo [− 1,1].
59 _z 64
7
Potenciální aplikace
.
60 _z 64
Kochleární implantáty a kódování
U některých
poruch
vnitřního ucha,
které vedou k těžší
ztrátě sluchu,
mohou být použity
kochleární
implantáty, které
zčásti nahradí
porušenou funkci.
Technický design
kochleárního
implantátu používá
modely kódování
zvuku, se kterými
pracujeme i my.
61 _z 64
Posun stimulů/
akčních potenciálů
v čase
(timing jitter)
[Laback and Majdak,
2008]
62 _z 64
Timing jitter
může do systému
vstupovat na různých
etážích zpracování
[Marsalek, Koch,
Maunsell, 1996]
63 _z 64
Colleagues/ collaborators:
(KMOV TV, September 2007 )
Roxana Contreras,Marek Drápal, Zbyněk Bureš and P.M.
Děkuji Vám za pozornost
64 _z 64
Thanks to other collaborators, photos not shown here: