Final report - Usability testy Car Dialer a City Rider

IBM – CVUT Students Research Projects
Usability test Car Dialer a City Rider
Test Město a Change line
Závěrečná zpráva
Verze 1.9
Vypracovali:
Michal Karas
Jakub Jaroš
Pavel Staněk
[email protected]
[email protected]
[email protected]
1 / 23
IBM – CVUT Students Research Projects
1 Úvod
1.1 Zadání
Navrhněte sérii scénářů pro otestování Car Dialer aplikace v ČVUT Usability Lab. Car
Dialer použijte v kombinaci se City Rider aplikaci, tak aby se dalo plynule měnit zatížení
pozornosti řidiče (cognitive load). Zaměřte se na standardní testy používané v autě, t.j.
change-lane test, occlusion test, atd.
1.2 Cíl testu
Cílem je odhadnout velikost zvýšení zátěže řidiče při použití aplikace Car Dialer
v reálném provozu a vyhodnotit vliv této zátěže na bezpečnost jízdy. Reálné podmínky budou
simulovány simulátorem City Rider upraveným pro potřeby testu.
1.3 Principy testu
1.3.1 „Město“
V laboratorních podmínkách se pokusíme nasimulovat běžné použití aplikace Car Dialer
za použití simulátoru City Rider. Účastník testu absolvuje pět scénářů. V každé scénáři má za
úkol následovat určené vedoucí vozilo v simulovaném městském provozu a zároveň plnit
úkoly stanovené pro daný scénář. Obtížnost scénářů je dána počáteční konfigurací prostředí –
četností křižovatek a rychlostí vedoucího vozidla. Obtížnost akcí prováděných s aplikací Car
Dialer by měla být pro všechny scénáře konstantní, abychom mohli pozorovat účinky zátěže
prostředí. Za tímto účelem jsme jednotlivé akce prováděné s Car Dialerem rozdělili do skupin
podle obtížnost. Během testu se zaznamenává odchylka trasy projeté účastníkem od optimální
trasy vedoucího vozidla a vzdálenost vozidla účastníka od vedoucího vozidla. Dále je
pořizován vizuální záznam chování účastníka.
Předpokládáme, že se vzrůstající obtížností scénářů poroste odchylka projeté trasy od
ideální. Chceme zjistit, zda se v okamžiku používání aplikace Car Dialer tato odchylka ještě
zvýší a případně o kolik procent. Předpokládáme, že rostoucí obtížnost scénářů by měla tuto
odchylku činit výraznější.
1.3.2 Change-line
Nechali jsme se inspirovat Chrysler-Diamler Change line testem z automobilového
průmyslu. Úkolem tohoto testu je sledování uživatele během relativně konstantní zátěže.
Řidič pojede po tříproudé dálnici a dle značek bude měnit svůj pruh. Neustále ho tak
zatěžujeme tím, aby se držel současného pruhu, sledoval značky a vyhodnocoval zda nemusí
přejet do jiného pruhu (sledovat Plzeň). Jako úspěšný manévr bereme, pokud se řidič zařadí
do správného pruhu před průjezdem dané značky. V naší implementaci zajišťujeme
rovnoměrnost zátěže i neustálými mírnými zatáčkami, tím je nutné neustále sledovat svůj
pruh.
Chrysler-Diamler Change line test
Naše implementace Change line testu
2 / 23
IBM – CVUT Students Research Projects
2 Účastníci testu
Vzhledem k povaze aplikace je nutné, aby účastník ovládal řízení vozidla a alespoň
v základní míře anglický jazyk. Roli samozřejmě hrají řidičské zkušenosti a věk účastníka.
Ideální by bylo mít v testu zastoupené všechny věkové kategorie a účastníky s celou škálou
řidičských zkušeností, což bude bohužel v praxi obtížně realizovatelné.
Pro výběr a klasifikaci účastníků jsme sestavili vstupní dotazník. Testu se mohou zúčastnit
respondenti, kteří ovládají anglický jazyk alespoň na úrovni „pokročilý“, vlastní řidičské
oprávnění alespoň skupiny B.
Jejich vstupní dotazníky jsou shrnuty do následující tabulky:
Č. Otázka
1.
2.
3.
4.
5.
6.
7.
8.
9.
Odpověď
Účastník:
1
Jaké skupiny řidičského
A,B,C,
BE,CE
oprávnění vlastníte?
Kolik kilometrů odhadem 100 000
ročně najezdíte?
Jezdíte autem (i více
možností):
A
a) do práce
B
b) na nákup
c) na chalupu
D
d) na dovolenou
E
e) používám automobil
služebně
Vaše věková skupina je:
a) 18 – 25 let
A
b) 26 – 35 let
c) 36 – 45 let
d) více než 45 let
ANO
Užíváte mobilní telefon?
Používáte v autě hands
NE
free sadu?
Používáte na svém
NE
mobilním telefonu
hlasové vytáčení?
Ohodnoťte vaše znalosti
angličtiny:
a) anglicky neumím
C
b) začátečník
c) pokročilý
d) expert
e) rodilý mluvčí
Složil jste nějakou
NE
certifikovanou zkoušku
z angličtiny?
2
3
4
5
7
A,B
B
B
B
A1,B
2000
1000
10 000
250
1000
A
B
D
E
A
B
C
D
A
B
C
C
A
A
A
A
ANO
ANO
ANO
ANO
ANO
NE
NE
Částečně
NE
NE
NE
NE
NE
NE
NE
B
C
C
C
C
NE
NE
NE
NE
NE
Všichni účastníci běžně používají mobilní telefon a tak by jim nemělo činit problémy
pochopit ovládání Car Dialeru. Úroveň angličtiny značí, že můžeme očekávat drobné
problémy v ovládání aplikace zapříčiněné nedokonalou výslovností. Test prováděli dva
3 / 23
IBM – CVUT Students Research Projects
pokročilý řidiči, tři průměrní a jeden sváteční. Momentální nálada všech účastníků byla dobrá,
stupeň únavy minimální, stejně jako stupeň nervozity. V některých případech se nervozita
začala lehce stupňovat s neočekávanými reakcemi systému, zejména při chybném rozpoznání
klíčových slov.
3 Hardware a konfigurace testu
Test probíhal v Usability Laboratoři FEL ČVUT na
Karlově náměstí. Aplikace City Rider byla provozována na
počítačové sestavě s výkonnou grafickou kartou. Obraz byl
za pomoci Matrox TripleHead2Go promítán na třech LCD
monitorech.
City Rider byl ovládán volantem a pedály - Logitech
MOMO Racing. Při řízení uživatelé využívaly automatické
převodovky. Simulátor takto nedosahuje takových rychlostí
a auto vykazuje stabilní chování.
Car Dialer byl provozován na běžném notebooku a uživateli prezentován na 7“ TFT
displeji CARTFT (viz ilustrační foto).
Řadící páka volantu byla používána jako spouštěč hlasového ovládání. Jak bylo dříve
zmíněno nefungovalo přímé spojení Car Dialeru s volantem, a tak pověřená osoba musela při
každém stisku řadící páky ručně aktivovat hlasové ovládání standardní klávesou ESC.
4 Průběh testu
Každý test probíhá podle následujícího scénáře:
Akce
Doba trvání
Výchozí nastavení software
5 min
Počáteční pohovor s účastníkem
5 min
Seznámení uchazeče s ovládáním software
10 min
Vlastní testování (5 scénářů po 5 min)
25 min
Interview po skončení
5 min
Tabulka 1 – části testu a jejich délka
Doba trvání testu celkem 50 min + 10 min rezerva na přípravu na další test.
4 / 23
IBM – CVUT Students Research Projects
4.1 Výchozí nastavení software
Před každým scénářem bylo nutno uvést aplikaci City Rider a Car Dialer do výchozího
nastavení.
4.1.1 Výchozí nastavení aplikace City Rider
•
•
Nastavit aktuální scénář (mapu)
Uložit předchozí a vyčistit log soubory
4.1.2 Výchozí nastavení Dialeru
•
Nastavit seznam kontaktů
4.2 Počáteční pohovor s účastníkem
Hlavním úkolem počátečního pohovoru je zjistit informace o momentálním stavu
účastníka v době konání testu, které by mohly mít vliv na průběh a výsledky testu. Od
účastníka zjistíme a zaznamenáme mimo jiné :
•
•
•
Momentální náladu
Stupeň únavy
Stupeň nervozity
4.3 Seznámení účastníka s ovládáním software
Abychom minimalizovali vliv učební křivky, musíme účastníka seznámit s hlasovým
ovládáním aplikace. Postupně s ním projdeme všechny akce uvedené v tab.2. Některou
z těchto akcí ho necháme i zkušebně provést.
Car Dialer obsahuje jen nejběžnější funkce pro ovládání mobilního telefonu a tak
předpokládáme, že budou všechny úkony okamžitě pochopeny.
Dále účastníka seznámíme s požadavky při řízení simulátoru. U change line testu je
sledování daného města (Plzeň) a držení si pruhu triviálním zadáním, které by měli účastníci
rychle pochopit a být schopni jej plně provádět bez chyb. U simulace ve městě je přesnost
řízení mnohem náročnější a tak můžeme očekávat problémy. Nejobtížnější bude přesnost
zatáčení v pravoúhlých zatáčkách. Očekáváme tedy, že většina účastníků bude schopna
přesných zatáček jen při maximálním soustředění, ve většině případů budou při zatáčení
přejíždět do protisměru. Můžeme očekávat přerušení komunikace s Car Dialerem během
nejsložitějších manévrů. Opačný případ, kdy účastník přestane řídit při komunikaci s Car
Dialerem je známkou problémů - nedostatečné simulace reality řízení, nedostatečnou praxí při
řízení či přílišné zatíženosti účastníka.
5 / 23
IBM – CVUT Students Research Projects
4.4 Scénáře
Vlastní test sestává z pěti scénářů. Scénáře se od sebe liší mapou dané obtížnosti. Před
každým scénářem účastníkovi vysvětlíme jeho úkoly. Necháme jej nejprve následovat
vedoucí auto po dobu cca 1 – 2 min, poté je účastníkovi dán pokyn k zahájení plnění úkolů.
4.4.1 Ohodnocení obtížnosti jednotlivých akcí Car Dialeru
Pro vyvážení obtížnosti scénářů musíme nejprve vyhodnotit obtížnost jednotlivých akcí
prováděných s Car Dialerem. Tyto akce jsme rozdělili do skupin podle obtížnosti:
Akce
Vytočit kontakt
Lehká
Obtížnost
Střední
Obtížná
X
Vytočit číslo
X
Přidat kontakt
X
Zkontrolovat přijaté hovory
X
Zkontrolovat zmeškané hovory
X
Přečíst příchozí zprávy
X
Tabulka 2 – Rozdělení funkcí Car Dialeru podle obtížnosti
Účastník má v každém scénáři za úkol:
1. Následovat vodící auto
2. Plnit zadané úlohy s Car Dialerem
V každém scénáři jsou zastoupeny úlohy s Car Dialerem následovně:
•
Dvě úlohy třídy 1 (snadná) a jedna úloha třídy 2 (středně obtížná)
nebo
•
Jedna úloha třídy 1 (snadná) a jedna úloha třídy 3 (obtížná)
U účastníků s dostatečně přesnou výslovností očekáváme splnění lehkých úkolů na první
pokus. U středně těžkých úkolů můžeme očekávat delší zadávání příkazů, či opakování, ale
celkově ještě rychlé provedení. Teprve u obtížných úkolů očekáváme častější výskyt
opakování či jiných problémů.
6 / 23
IBM – CVUT Students Research Projects
4.4.2 Konkretizace úkolů do jednotlivých scénářů
Scénář 1
1. Vytočit kontakt J.F. Kennedy
2. Vytočit číslo 555 666 777
3. Zkontrolovat seznam zmeškaných hovorů
Scénář 2
1. Vytočit číslo 101 101 101
2. Vytočit kontakt „James Brown“
3. Vytočit kontakt „Thomas Watson“
Scénář 3
1. Přidat kontakt: „John Dave“ „608 111 222“
2. Zkontrolovat přijaté hovory
Scénář 4
1. Vytočit kontakt „John Dave“
2. Vytočit číslo „602 602 602“
3. Zkontrolovat seznam příchozích zpráv
Scénář 5
1. Přidat kontakt: „Kevin Smith“ „722 722 722“
2. Vytočit kontakt „Kevin Smith“
První úkol zadá moderátor po jedné minutě a další pak vždy po splnění nebo nesplnění
předchozího úkolu.
4.5 Interview po testu
Po absolvování posledního scénáře položíme účastníkovi následující otázky:
•
•
•
Zdálo se vám ovládání aplikace obtížné?
Která akce se vám zdála nejobtížnější a proč?
Jaký máte z testu dojem?
Případně ještě několik otázek ohledně simulátoru City Rider. Např. které části neodpovídají
realitě (grafika, fyzikální model auta apod.) a potřebují vylepšit.
4.6 Výstupy z testu
Od každého účastníka po skončení testu budeme mít k dispozici:
•
•
•
•
•
•
•
•
Vstupní dotazník
Poznámky z počátečního pohovoru
Poznámky z interview po testu
Log trasy vedoucího auta
Log trasy účastníka
Log vzdálenosti od vedoucího auta
Záznam pozorování průběhu testu
Vizuální záznam průběhu testu
7 / 23
IBM – CVUT Students Research Projects
5 Analýza testu
(P – aktivace hlasového ovládání neboli zmáčknutí řadící páky)
5.1 Scénář 1 – Change line test
Úkol č. 1: Vytočit kontakt J.F. Kennedy
Očekávané kroky:
P „Dial Contact“ P „J F Kennedy“
nebo
P „Dial J F Kennedy“
Očekávané výsledky:
Všichni účastníci bez problémů vytočí kontakt
Výsledky:
U dvou účastníků byl největší problém s výslovností. Car Dialer neustále jejich příkaz
vyhodnocoval jako „Dial“ a číslo. Polovina účastníků nezvládala v této fázi řízení – nedrželi
se ve správném pruhu.
Poznámky:
Nezvládání řízení je způsobeno spíše tím, že je to první úkol a účastnící nejsou zvyklí
dostatečně se soustředit na řízení, což může být způsobeno nedostatečným seznámením
s aplikacemi, především s aplikací Car Dialer. Účastník č. 3 používal místo klíčového slova
„Dial“ slovo „Call“. Účastník č. 4 se rychle zorientoval v celé situaci a úkol bleskurychle
dokončil. Účastník č. 5 musel několikrát dát „cancel“ a celý úkol dělat znovu. To se projevilo
i na jeho sledování značek.
Úkol č. 2: Vytočit číslo 555 666 777
Očekávané kroky:
P „Dial Number“ P „five, five, five, six, six, six, seven, seven, seven“ P „Dial“
nebo
P „Dial five, five, five, six, six, six, seven, seven, seven“
také je možné číslice rozdělit do libovolných intervalů.
Očekávané výsledky:
Všichni účastníci bez problémů vytočí číslo, popřípadě se několikrát opraví.
Výsledky:
Účastníkům dělalo největší problémy zejména špatné rozpoznávání klíčového slova
„Go back“ jakožto příkazu pro umazání poslední zadané sekvence číslic.
Poznámky:
Úkol č. 3: Zkontrolovat seznam zmeškaných hovorů
Očekávané kroky:
P „Calls“ P „Missed calls“
Očekávané výsledky:
Všichni účastníci bez problémů zobrazí seznam zmeškaných hovorů.
Výsledky: Všichni účastníci zvládli úkol bez problémů. Jediný problém představovala opět
výslovnost a z toho plynoucí nesprávná reakce Car Dialeru.
Poznámky:
8 / 23
IBM – CVUT Students Research Projects
5.2 Scénář 2
Úkol č. 1: Vytočit číslo 101 101 101
Očekávané kroky:
P „Dial Number“ P „one, zero, one, one, zero, one, one, zero, one“ P „Dial“
nebo
P „Dial one, zero, one, one, zero, one, one, zero, one“
také je možné číslice rozdělit do libovolných intervalů.
Očekávané výsledky:
Všichni účastníci bez problémů vytočí číslo, popřípadě se několikrát opraví.
Výsledky: Logiku aplikace uživatelé zvládli. Při rozpoznání číslic se projevily potíže
s nesprávnou anglickou výslovností účastníků, která zapříčinila chybné rozpoznání.
Účastníkům také nebylo zprvu jasné, že musí volbu čísla potvrdit klíčovým slovem „dial“.
Poznámky:
Účastník č. 3 velice rychle provedl danou akci, aniž by sledoval obrazovku Car Dialeru.
Úkol č. 2: Vytočit kontakt James Brown
Očekávané kroky:
P „Dial Contact“ P „James Brown“
nebo
P „Dial James Brown“
Očekávané výsledky:
Všichni účastníci bez problémů vytočí kontakt
Výsledky:
Nevyskytly se problémy s logikou aplikace. Účastník už v prvním scénáři jednou kontakt
vytáčel. Dva účastníky zaskočila volba přesného místa hovoru (domů, do práce…), ale
s úkolem se vypořádali.
Poznámky:
Účastník č. 3 velice rychle provedl danou akci, aniž by sledoval obrazovku Car Dialeru.
Úkol č. 3: Vytočit kontakt Thomas Watson
Očekávané kroky:
P „Dial Contact“ P „Thomas Watson“
nebo
P „Dial Thomas Watson“
Očekávané výsledky:
Všichni účastníci bez problémů vytočí kontakt
Výsledky:
Vzhledem k tomu, že předchozí úkol by rovněž vytočit kontakt, účastníci neměli s tímto
úkolem problémy.
Poznámky:
Účastník č. 3 vyslovil nesprávné jméno, načež nepočkal na nápovědu od aplikace a zkoušel
slovo „Down“ zobrazené na obrazovce aplikace Car Dialer.
9 / 23
IBM – CVUT Students Research Projects
5.3 Scénář 3
Úkol č. 1: Přidat kontakt John Dave 608 111 222
Očekávané kroky:
P „Add new contact“ P „John Dave“ P „OK“
P „six, zero, eight, one, one, one, two, two, two“ P „Add“
také je možné číslice rozdělit do libovolných intervalů.
Očekávané výsledky:
Předpokládáme problémy především při zadávání číslic, dále pak problémy při řízení díky
delší době potřebné k provedení úkolu jako celku.
Výsledky:
Potvrdilo se, že přidání kontaktu je z akcí Car Dialeru nejobtížnější. Problémy vznikaly vinou
špatné výslovnosti, docházelo k nesprávnému rozpoznávání číslic. Projevila se tendence
odkládat komunikaci s Car Dialerem na rovné úseky cesty.
Poznámky:
Účastník č. 3 často zapomínal na páku pro aktivaci rozpoznávání hlasových příkazů.
Úkol č. 2: Zkontrolovat přijaté hovory
Očekávané kroky:
P „Calls“ P „Incoming calls“
Očekávané výsledky:
Všichni účastníci bez problémů zobrazí seznam přijatých hovorů.
Výsledky:
Všichni účastníci zvládli tento úkol bez problémů.
Poznámky:
Účastník č. 3 velice rychle provedl danou akci, aniž by sledoval obrazovku Car Dialeru.
5.4 Scénář 4
Úkol č. 1: Vytočit kontakt John Dave
Očekávané kroky:
P „Dial Contact“ P „John Dave“
nebo
P „Dial John Dave“
Očekávané výsledky:
Všichni účastníci bez problémů vytočí kontakt
Výsledky:
Opět problémy s výslovností. Logiku aplikace měli účastníci zažitou z předchozích scénářů.
Začala se projevovat prodloužená doba reakce uživatele na odezvy Car Dialeru, kterou lze
přičítat zvýšené kognitivní zátěži při řízení. V tomto scénáři je nasazena mapa zvýšené
obtížnosti.
Poznámky:
Účastník č. 3 byl značně netrpělivý po vytočení špatného čísla.
10 / 23
IBM – CVUT Students Research Projects
Úkol č. 2: Vytočit číslo 602 602 602
Očekávané kroky:
P „Dial Number“ P „six, zero, two, six, zero, two, six, zero, two“ P „Dial“
nebo
P „Dial six, zero, two, six, zero, two, six, zero, two“
také je možné číslice rozdělit do libovolných intervalů.
Očekávané výsledky:
Všichni účastníci bez problémů vytočí číslo, popřípadě se několikrát opraví.
Výsledky:
S logikou aplikace Car Dialer neměli testované účastníci žádné potíže. Jako největší problém
se ukázala opět výslovnost při diktování číslic. Při chybě v rozpoznání číslic někteří účastníci
preferovali příkaz „cancel“ (rušící celou posloupnost) před příkazem „go back“ mazající jen
poslední posloupnost číslic. Pravděpodobně tak činili proto, že je příkaz „go back“ nenapadl
v souvislosti s číslicemi (byl vysvětlován na navigaci v menu).
Poznámky:
Účastník č. 3 velice rychle provedl danou akci, aniž by sledoval obrazovku Car Dialeru.
Úkol č. 3: Zkontrolovat seznam příchozích zpráv
Očekávané kroky:
P „Messages“ P „Incoming messages“
Očekávané výsledky:
Všichni účastníci bez problémů zobrazí seznam příchozích zpráv.
Výsledky:
Všichni účastníci úkol zvládli. S logikou aplikace ani s výslovností nebyly problémy.
Poznámky:
Tento úkol vyhodnotila většina účastník jako jednoduchý.
5.5 Scénář 5
Úkol č. 1: Přidat kontakt Kevin Smith 722 722 722
Očekávané kroky:
P „Add new contact“ P „Kevin Smith“ P „OK“
P „seven, two, two, seven, two, two, seven, two, two“ P „Add“
také je možné číslice rozdělit do libovolných intervalů.
Očekávané výsledky:
Předpokládáme problémy především při zadávání číslic, dále pak problémy při řízení díky
delší době potřebné k provedení úkolu jako celku.
Výsledky: Opět se objevily problémy s výslovností a rozpoznáním číslic. Logiku aplikace
uživatelé zvládli. Účastníky nezaskočilo ani to, že jméno Kevin Smith už v seznamu existuje.
Problém vyřešili (s nápovědou moderátora) přejmenováním kontaktu na Kevin Smith junior.
Poznámky: Bylo znát výrazné zvýšení kognitivní zátěže, účastníci při tomto úkolu více
chybovali v řízení. Situaci si snažili zjednodušit tím, že komunikaci s Car Dialerem odkládali
na dobu, kdy pojednou po rovném úseku a nebudou muset vynakládat tolik pozornosti na
řízení. Byla znát i zvýšená prodleva účastníka na odpovědi Car Dialeru.
11 / 23
IBM – CVUT Students Research Projects
Úkol č. 2: Vytočit kontakt Kevin Smith
Očekávané kroky:
P „Dial Contact“ P „Kevin Smith“
nebo
P „Dial John Dave“
Očekávané výsledky:
Všichni účastníci bez problémů vytočí kontakt
Výsledky: Vytočit kontak nečinilo již účastním v této fázi testu obtíže, neboť už měli
možnost si to vyzkoušet v předchozích scénářích. Díky tomu se neobjevily výraznější
problémy.
Poznámky:
Účastník č. 3 velice rychle provedl danou akci, aniž by sledoval obrazovku Car Dialeru, řekl
pouze jméno bez jakéhokoliv klíčového slova.
6 Závěrečná interview
Problémy zmiňované účastníky testu byly následující:
- neodhadnutelné hranice auta (i zkušený řidič nepoznal, kdy zatáčet)
- špatná brzda (pomalé brzdění i při plném sešlápnutí pedálu)
- špatné rozpoznávání čísel a některých klíčových slov („Go back“)
Obtížné akce dle účastníků byly následující:
- přidání kontaktu (Car Dialer)
- mnoho pravoúhlých zatáček za sebou
Celkový dojem z testu byl však u všech účastníků pozitivní.
7 Vyhodnocení grafů
Aplikace City Rider umožňovala u každého účastníka zaznamenávat trasu jeho pohybu,
vzdálenost od středu jízdního pruhu, vzdálenost od vodícího auta a rychlost vozidla. Bohužel
jsme mapy dostali se zpožděním a tak máma data pouze od čtyřech účastníků.
7.1 Trasy v jednotlivých městech
Následující grafy zobrazují projetou trasu v jednotlivých městech. Je z nich patrná stoupající
četnost zatáček tak, jak vzrůstala obtížnost map. Dále je patrný způsob, kterým jednotliví
účastníci projížděli zatáčky (všechny zatáčky na mapě města jsou pravoúhlé).
12 / 23
IBM – CVUT Students Research Projects
7.1.1 Město 1
Start
7.1.2 Město 2
13 / 23
IBM – CVUT Students Research Projects
7.1.3 Město 3
7.1.4 Město 4
7.2 Odchylka od středu pruhu
Odchylka vozidla účastníka od středu pruhu měla odrážet míru toho, jak je účastník schopen
udržet vozidlo ve svém jízdním pruhu. Jelikož odchylka na jednu stranu jízdního pruhu byla
záporná a na druhou kladná, pro výpočty průměru byla použita absolutní hodnota. Pro
srovnávací účely je však tato veličina nevyhovující, protože nezohledňuje rozdílný počet
zatáček se stupňující se obtížnost města. Můžeme za to porovnávat řidičské kvality účastníků
mezi sebou na stejných městech.
14 / 23
IBM – CVUT Students Research Projects
Město 1
Město 2
Město 3
Město 4
JH1
JP1
MJ1
ST1
Průměr
0,421742 0,987167 0,295869 0,534058 0,559709
0,778382 0,780428 0,622705 0,656544 0,709514
0,872187 0,304776 0,273337 0,481851 0,483038
0,717366 0,517304 0,64016 0,988439 0,715817
Tab. 4: Odchylka od středu pruhu
7.3 Vzdálenost od vodícího auta
Průměrnou vzdálenost auta účastníka od vodícího auta shrnuje tabulka:
Město 1
Město 2
Město 3
Město 4
JH1
36,39012
40,62208
43,88058
39,30121
JP1
29,771619
40,247429
38,39846
37,833097
MJ1
47,8713731
44,0875949
42,1761226
46,2739611
ST1
29,87868866
46,38602478
43,76104956
48,89073908
Průměr
35,97795
42,83578
42,05405
43,07475
Tab. 5: Průměrnou vzdálenost auta účastníka od vodícího auta v metrech
U průměru můžeme pozorovat nárůst v závislosti na obtížnosti mapy města (a tedy i zatáček).
7.4 Rychlost
Průměry rychlosti jednotlivých účastníků v jednotlivých městech shrnuje tabulka:
Město 1
Město 2
Město 3
Město 4
JH1
32,56714
33,70138
32,81544
32,57936
JP1
34,3172
26,34653
33,74699
34,31548
MJ1
30,31338
25,71565
30,68145
30,30849
Průměrná rychlost
ST1
ve městě
28,59341
31,44778395
24,80124
27,64120236
30,20618
31,86251562
28,59949
31,45070405
Tab. 6: Průměrná rychlost účastníků v jednotlivých městech
Na průměrné rychlosti se neprokázal žádný vliv obtížnosti mapy. Rychlosti účastníků
v jednotlivých městech zachycují následující grafy:
15 / 23
IBM – CVUT Students Research Projects
7.4.1 Město 1
7.4.2 Město 2
16 / 23
IBM – CVUT Students Research Projects
7.4.3 Město 3
7.4.4 Město 4
7.5 Vyhodnocení dat
Grafy jako takové nemají příliš velkou vypovídací hodnotu. Chybí časový index, pomocí
kterého by šlo jednotlivé průběhy porovnávat. Určitou představu poskytují statické hodnoty.
Dobrou pomůckou se ukázaly grafy projeté trasy, neboť je lze srovnávat s pořízeným
audiovizuálním záznamem.
17 / 23
IBM – CVUT Students Research Projects
Jako vylepšení metody záznamu dat doporučujeme:
1) Přidat časový index pořízení záznamu
2) Záznamy pořizovat v konstantním časovém intervalu (např. 10 záznamů za sekunu)
3) Do logu zaznamenávat stisknutí komunikačního tlačítka Car Dialeru (tím bude jasné,
kdy se Car Dialer přesně používal a umožní to lépe vyhodnotit jeho vliv na řízení
vozidla). Bude pak možné v grafech přesně zobrazit dobu, kdy se Car Dialer používal.
4) Místo odchylky od středu pruhu sledovat odchylku od trasy vedoucího vozidla.
8 Vyhodnocení vlivu používání Car Dialeru na bezpečnost
ovládání vozidla
Z nasbíraných dat a vizuálního záznamu nevyplývá žádné dramatické zvýšení nepřesnosti
řízení v době používání Car Dialeru, i když určitý vliv na ovládání vozidla tu samozřejmě je.
Účastníci si nechávali komunikaci s Car Dialerem na rovné úseky, vyhýbali se komunikaci
v zatáčkách.
Předpoklad, že větší počet zatáček a kratší úseky zvýší obtížnost mapy, se potvrdil, i když
efekt nebyl tak výrazný, jak bychom čekali. Do budoucna by chtělo nejtěžší mapu udělat
nejméně o dva stupně těžší, než byla současná nejtěžší mapa.
Při reálném použití aplikace dle našeho názoru nedochází k nějakému výraznému zvýšení
pravděpodobnosti nehody. Otázkou je, kolik pozornosti „spotřebuje“ vlastní obsah
telefonního hovoru, bude-li uživatel projednávat věci vyžadující velkou koncentraci. Je pak na
zodpovědnosti uživatele, zda raději zastaví a vyřeší důležitý hovor v klidu bez rizika, či bude
při telefonování dále řídit.
9 Seznam problémů k dořešení
•
•
•
•
•
•
•
•
•
Při zadávání nového kontaktu je na konci „add“ – výslovnost příliš blízká slovu
„eight“.
Problémy rozpoznání povelů při nepřesné výslovnosti.
Pohled z auta třeba více přiklonit k zemi, tak aby byla o trošku více vidět silnice při
zatáčení.
Přepracovat fyzikální model auta – zrychlování, brzda.
Malý rejd volantu.
Do testovaného vzorku osob zahrnout více žen.
Problémy se sběrem dat – viz bod 7.5
Padání simulátoru
Nefunkční tlačítko na volantu pro komunikaci s Car Dialerem.
10 Závěr
Bohužel se nám do začátku testů nepodařilo odstranit některé nedostatky, a tak jsme je
museli operativně řešit. Ovládání aplikace Car Dialer mělo být realizováno tak, že řidič
zmáčkne příslušné tlačítko, tím aktivuje rozpoznávání hlasu a může tak říci svůj příkaz. Přes
veškerou snahu však aplikace tlačítko nerozpoznávala. Jako pohotové řešení jsme dedikovali
další osobu, která spouštěla rozpoznávání řeči. Vzhledem k hlasitému „kliknutí“ páčky
volantu nebylo takto vytvářené zpoždění patrné a neovlivnilo průběh testu.
Finální vygenerování všech map města také neproběhlo ideálně (ne naší vinou) a tak jsme
pro první dva testované subjekty měli k dispozici jen jedinou mapu. Proto jsme operativně
zařadily testování s použitím change-line testu.
18 / 23
IBM – CVUT Students Research Projects
Během testů se ukázala jako zásadní problém anglická výslovnost. Pokud není dostatečně
přesná, Car Dialer neustále reaguje jinak, než uživatel očekává, a dostavuje se rychle frustrace
a nesoustředěnost na řízení. U různých subjektů byla samozřejmě různá. Někteří byli schopni
dál řídit bez většího vyjetí mimo požadovanou trasu, jiní by tou dobou způsobily vážné
dopravní nehody.
Při použití map města se ukázaly zásadní nedokonalosti simulátoru, obzvláště pravé
zatáčky byly pro většinu lidí nepřekonatelným problémem.
19 / 23
IBM – CVUT Students Research Projects
11 Přílohy – materiály použité pro záznamy v průběhu testu
Vstupní dotazník
Jméno účastníka:
Č.
Pořadové číslo:
Otázka
1.
Jaké skupiny řidičského oprávnění vlastníte?
2.
Kolik kilometrů odhadem ročně najezdíte?
3.
4.
Odpověď
Jezdíte autem (zaškrtnout, i více možností):
a) do práce
b) na nákup
c) na chalupu
d) na dovolenou
e) používám automobil služebně
Vaše věková skupina je:
e) 18-25 let
f) 26 – 35 let
g) 36-45 let
h) Více než 45 let
5.
Užíváte mobilní telefon?
6.
Používáte v autě hands free sadu?
7.
Používáte na svém mobilním telefonu hlasové
vytáčení?
8.
Ohodnoťte vaše znalosti angličtiny:
f) anglicky neumím
g) začátečník
h) pokročilý
i) expert
j) rodilý mluvčí
9.
Složil jste nějakou certifikovanou zkoušku
z angličtiny?
20 / 23
IBM – CVUT Students Research Projects
Průběh testu
Jméno účastníka:
Pořadové číslo:
Vstupní interview
Č.
Otázka
1.
Momentální nálada
2.
Stupeň únavy
3.
Stupeň nervozity
Odpověď
Pokyny sděluje moderátor vždy po 1. minutě průběhu scénáře.
Scénář 1
Č.
Úkol
1.
Vytočit kontakt J.F. Kennedy
2.
Vytočit číslo 555 666 777
3.
Zkontrolovat seznam
zmeškaných hovorů
Poznámky
21 / 23
IBM – CVUT Students Research Projects
Scénář 2
Č.
Úkol
1.
Vytočit číslo 101 101 101
2.
Vytočit kontakt
„James Brown“
3.
Vytočit kontakt
„Thomas Watson“
Poznámky
Scénář 3
Č.
1.
2.
Úkol
Poznámky
Přidat kontakt:
„John Dave“
„608 111 222“
Zkontrolovat přijaté hovory
22 / 23
IBM – CVUT Students Research Projects
Scénář 4
Č.
Úkol
1.
Vytočit kontakt
„John Dave“
2.
Vytočit číslo
„602 602 602“
3.
Poznámky
Zkontrolovat seznam
příchozích zpráv
Scénář 5
Č.
1.
2.
Úkol
Poznámky
Přidat kontakt
„Kevin Smith“
„722 722 722“
Vytočit kontakt
„Kevin Smith“
Závěrečné interview
Č.
Otázka
1.
Zdálo se vám ovládání aplikace
obtížné?
2.
Která akce se vám zdála nejobtížnější
a proč?
3.
Jaký máte z testu dojem?
Odpověď
23 / 23