2.7 Základy teorie testování

2.7 Základy teorie testování
Tato kapitola je věnována základním pojmům z oblasti teorie testování.
Dozvíte se jakým způsobem posuzovat validitu evaluačních metod. Také
se seznámíte se čtyřmi základními typy validity testu a metodami, které se
používají k jejich určování. V následujícím výkladu je definován význam
reliability (spolehlivosti) testu a způsoby relevantního ověřování
spolehlivosti testu.
V kapitole budou dále probrány základní typy testů a hlavní rozdíly mezi
nimi. Bude vysvětleno, pro jaký typ testování (s ohledem na testovanou skupinu) jsou vybrané
typy testů vhodné, včetně shrnutí základních požadavků na testové úlohy.
V závěru kapitoly jsou formou příkladů popsány výhody a nevýhody počítačových testů.
Po prostudování této kapitoly budete schopni:
•
•
•
•
•
•
určit platnost (validitu) testu pomocí vybraných způsobů určování
validity testů.
• definovat a aplikovat čtyři základní postupy pro určování validity
testu
definovat faktory, které ovlivňují validitu
za pomocí statistického aparátu určit spolehlivost (reliabilitu) testu
rozlišit jednotlivé typy testů a posoudit jejich vhodnost pro vybrané druhy ověřování
znalostí
znát základní požadavky, které musí testové úlohy splňovat
rozlišit specifické vlastnosti, kterými se vyznačují počítačově zpracovávané testy
2.7.1 Validita testu (platnost testu)
Validita patří k základním pojmům testování. Když připravujeme nebo
vybíráme test, musíme si položit následující otázku:
zda skutečně testuje to, co si myslíme, že testuje - respektive to, co
bychom chtěli, aby testoval.
90
V této souvislosti hovoříme o validitě testu, respektive validitě testových výsledků. Máme-li
validní výsledky, znamená to, že interpretujeme data ve shodě s tím, co jsme skutečně
naměřili.
V případě testu na zjištění dovedností žáků pracovat s textovými
informacemi vysoká validita testu znamená, že testový výsledek žáka
skutečně odráží jeho schopnost pracovat s textovou informací a není
zatížen jinými faktory.
Pro úspěšné posuzování validity evaluačních nástrojů je třeba si zapamatovat několik
základních pravidel:
•
Validita vyjadřuje míru adekvátnosti interpretace výsledků testu či jiného evaluačního
nástroje vzhledem ke konkrétní testované skupině. Validita tedy není vlastností testu
samého.
Například test z matematiky, který bude poskytovat validní
výsledky ve skupině žáků 2. stupně základních škol,
pravděpodobně nebude mít vysokou validitu pro maturanty
gymnázií. Většinou pro zjednodušení hovoříme sice o validitě
testu, ale správně bychom měli hovořit o validitě závěrů, které
z daného testu vyvozujeme v konkrétní situaci.
•
•
Validita vyjadřuje míru. Není to něco, co buď je a nebo není. Nejlépe je vyjadřovat ji
v nějakých kategoriích, např. vysoká validita, střední validita a nízká validita.
Validita se vždy vztahuje k nějakému konkrétnímu použití testu. Žádný test nemá
vysokou validitu pro všechny účely.
Výsledky testu z aritmetiky mohou mít vysokou validitu pro
hodnocení početních dovedností, nízkou validitu pro
hodnocení dovednosti žáků zdůvodňovat početní postupy,
střední validitu pro předpovídání budoucích úspěchů
v matematice a žádnou validitu pro posuzování úspěchů ve
výtvarné výchově či hudbě.
91
2.7.2 Způsoby určování validity
K určení validity existuje několik různých přístupů.
Na základě těchto přístupů posuzujeme čtyři druhy validity:
1. Obsahová (kurikulární) validita - zakládá se na posudku kompetentních osob, do
jaké míry je test v souladu s tím, co je v osnovách, standardech a jiných materiálech
určujících studijní program a také s tím, co je skutečně na hodinách vyučováno.
2. Kriteriální (souběžná) validita - výsledek měření se porovná s jinými všeobecně
uznávanými údaji o účastnících, které sledují stejné kvality (např. klasifikace).
3. Predikční validita - výsledek testu se porovnává s úspěšností účastníka testu v těch
oblastech, ve kterých se uplatňují kvality měřené testem - typicky výsledek přijímací
zkoušky a úspěšnost ve studiu. Jde vlastně o speciální případ kriteriální validity.
4. Face-validity - je vlastně jen zvláštním případem obsahové validity, jde o posouzení
testu na “první pohled“, a to buď účastníky zkoušky nebo jinou širší komunitou např.
učiteli.
Konstruktová validita udává, nakolik test měří určitou charakteristiku žáka (např.
komunikativnost) eventuálně nějaký psychologický konstrukt (např. sebehodnocení).
U všech typů testů zpravidla neposuzujeme všechny druhy validity, ve většině případů
musíme vystačit pouze s jednou nebo dvěma jejími složkami.
Například při konstrukci vědomostního testu je pro nás nejdůležitější obsahová validita, při
posuzování testu studijních předpokladů validita predikční.
Obsahová validita
Obsahovou validitu zjišťujeme téměř výhradně v případě vědomostních testů.
Udává, do jaké míry jsou testové položky reprezentativním zastoupením zjišťovaného,
respektive probíraného učiva.
Mějme modelovou situaci, kdy budeme zjišťovat validitu testu na
vyjmenovaná slova.
Aby měl tento test únosnou délku, bylo možno do něj zařadit pouze
některá vyjmenovaná slova. Při posuzování obsahové validity budeme
porovnávat slova v testu se všemi existujícími vyjmenovanými slovy a
posoudíme, zda test obsahuje jejich reprezentativní výběr.
Tedy posoudíme, zda na podkladě dobrého výsledku žáka v testu můžeme učinit závěr, že žák
zná vyjmenovaná slova. Bude-li test například obsahovat pouze vyjmenovaná slova po „b“
tento závěr pravděpodobně učinit nemůžeme, protože se může stát, že žák skončil u písmene
„b“ a k dalším vyjmenovaným slovům se již nedostal.
Při posuzování obsahové validity porovnáváme testové položky s popisem testované
oblasti, respektive s kurikulárním rámcem sloužícím za podklad k danému testu.
92
Abychom docílili dobré obsahové validity při konstrukci vlastního testu,
musíme dobře specifikovat testovanou oblast.
Velmi pomáhá podrobný kurikulární rámec a testová šablona. Pro dobrou obsahovou validitu
testu je důležité, aby byl test ve shodě s náplní výuky. Tedy, aby testové položky byly
v testové šabloně zastoupeny podle významu kladeného na jednotlivé obsahové a kognitivní
cíle. Další podmínkou obsahové validity jsou dobré vlastnosti testových položek.
Obsahovou validitu nemůžeme zaměňovat s ”face validitou”, kterou používáme pro první
hrubé posouzení testu. Spočívá v tom, že ukážeme test několika odborníkům a oni řeknou, jak
se jim test jeví. Toto posouzení může být v mnoha případech užitečné, ale od důkladného
posouzení testových položek vzhledem k testovanému učivu, které je základem stanovení
obsahové validity, je hodně vzdáleno.
Kriteriální validita
Kriteriální validita posuzuje vztah mezi výsledky testu a kritériem, které chceme na základě
testu předpovídat, eventuálně posuzovat.
Za taková kritéria můžeme považovat například studijní předpoklady
žáků, jiným příkladem může být inteligence. Výsledky validního testu
studijních předpokladů by měly být ve shodě s výsledky žáka
v pozdějším studiu, výsledky v novém testu inteligence by měly být ve
shodě s výsledky v jiných dostupných inteligenčních testech.
Při posuzování kriteriální validity porovnáváme výsledky v testu s nějakými jinými
hodnotami charakterizujícími dané kritérium. Nejběžnějším způsobem, jak provést takové
porovnání, je spočítat korelační koeficient mezi těmito dvěma hodnotami.
I když bychom si samozřejmě přáli mít testy s vysokými hodnotami
kriteriální validity, v praxi se s nimi příliš často nesetkáváme. Obecně platí,
že test, který má korelační koeficient mezi výsledkem v testu a kritériem
větší než 0,4, nám může poskytnout užitečnou informaci.
93
Konstruktová validita
S tímto typem validity pracujeme, používáme-li test zjišťující nějaký rys či charakteristiku
založenou na určitém teoretickém modelu (například logické uvažování, inteligenci,
kreativitu).
Posuzování konstruktové validity spočívá v procesu dokazování, že test
skutečně měří tento rys či charakteristiku.
Shromáždit takové důkazy nebývá jednoduché.
Představme si teoretickou situaci, že chceme sestavit test, který bude
měřit bojácnost. Abychom posoudili, zda náš test bojácnost opravdu
měří, učiníme s osobami, které absolvovaly náš test, následující
experiment. Posadíme je do čekárny zubního lékaře a podrobíme je
nějakému fyziologickému měření - budeme zjišťovat fyziologické
projevy strachu (např. pocení). Pokud náš test byl validním nástrojem na
měření bojácnosti, budou fyziologické projevy testovaných osob ve
shodě s výsledky v testu.
Faktory ovlivňující validitu
Validita testu je samozřejmě ovlivňována všemi nedostatky v testu
i v jeho administraci.
Nízkou validitu testu budou mít za následek například:
•
•
•
nejasné a nesrozumitelné pokyny či příliš obtížný jazyk testu
položky s příliš malou či příliš velkou obtížností
položky se špatně volenými alternativami či položky nejednoznačné.
94
Typickou ukázkou jsou některé přijímací testy na vysoké školy, které
mohou mít několik správných odpovědí a výběr správných odpovědí se
ještě složitým způsobem kóduje. Takový test (i když je třeba zdánlivě
z biologie) testuje schopnost orientovat se ve složité struktuře odpovědí a
tím snižuje validitu testu jako testu z biologie.
Validitu testu rovněž ohrožuje jeho špatná administrace, zejména
opisování žáků a špatné vyhodnocení, např. subjektivní hodnocení položek s otevřenou
odpovědí.
Validita je také snižována faktory na straně žáka, například strachem z výsledku, příliš
zbrklou a nepřesnou prací, atd.
2.7.3 Reliabilita testu (spolehlivost testu)
Každé testování je vlastně měřením výkonu žáka či studenta. A jako
každé měření i toto může být přesnější nebo méně přesné. Z tradičních
důvodů se pro přesnost tohoto měření užívá tzv. reliabilita. Teoreticky
jde o korelaci mezi dvěma po sobě následujícími provedeními téže
zkoušky u stejné skupiny testovaných za týchž podmínek (to znamená, že
při druhém testování zkoušení zapomněli na první testování).
Reliabilita je číslo mezi 0 a 1. Čím je reliabilita vyšší, tím menší vliv na
výsledek má náhoda.
Při reliabilitě 0 by šlo o výsledky zcela náhodné, při reliabilitě 1 by naopak šlo o zcela přesný
soulad mezi výsledky.
Protože však měříme intelektuální dovednosti, přesnosti 1 a ani jí blízké se nikdy nedosahuje.
Zpravidla se reliabilita pohybuje mezi 0,5 a 0,95.
Všeobecně uznávané hranice reliability jsou:
•
•
•
test s reliabilitou nad 0,95 je pokládán za vynikající
reliabilita nad 0,85, někdy nad 0,90 se pokládá za dostatečnou k tomu, aby na základě
jedné zkoušky bylo možné činit rozhodnutí
nad 0,65 lze zkoušku použít jako jeden z podkladů pro rozhodnutí
95
•
pod 0,65 již nelze zkoušku pokládat za spolehlivý ukazatel a nelze ji užít
k rozhodování. To ovšem neznamená, že testy s reliabilitou nižší než 0,65 jsou
k ničemu, mohou dobře posloužit v pedagogickém procesu k motivaci,
k diagnostikování konkrétních nedostatků apod., pouze by neměly být užity například
pro klasifikaci a rozhodně ne jako přijímací zkouška na jakékoliv úrovni.
Písemné testy a statistické charakteristiky
Statistické charakteristiky se zjišťují z celkových výsledků uchazečů, pokud se však písemná
část zkoušky skládala z více částí (např. testy z různých předmětů, testování různých
dovedností, testy v několika kolech), nebo měla několik variant, je nutné pracovat s výsledky
uchazečů za každou část a variantu zvlášť.
Za základní popisné statistické charakteristiky se obecně považují průměr, rozptyl
a směrodatná odchylka, minimální a maximální pozorovaná hodnota.
Rovněž je velmi vhodné uvést, jaký byl maximální a minimální možný počet bodů (ne
vždy je minimální možný počet bodů nula a maximální možný počet bodů roven počtu úloh).
Specifikum testování dále vyžaduje výpočet reliability, což je základní ukazatel spolehlivosti
výsledku zkoušky, jinými slovy reliabilita ukazuje, do jaké míry má resp. nemá na výsledek
zkoušky vliv náhoda.
Výpočet základních statistických charakteristik
Všechny uvedené charakteristiky je možné spočítat pomocí běžného programového vybavení
(např. programem Microsoft Excel). Pro porozumění smyslu charakteristik je vhodné naznačit
způsob jejich výpočtu. V dalším textu budeme předpokládat, že se výpočty provádějí pro
každou část a pro každou variantu zvlášť.
Průměr ( )
Aritmetický průměr výsledků jednotlivých účastníků,
kde xi jsou výsledky jednotlivců a n je počet testovaných). Výsledky jednotlivců musí být
pochopitelně již vyjádřeny jako skóre za danou část (variantu) (což většinou bude celkový
počet správných odpovědí, někdy jsou však úlohy různě bodovány nebo se penalizuje
nesprávná odpověď).
Zpravidla se pak průměr ještě vyjadřuje jako podíl z maximálního možného výsledku, tento
ukazatel se zpravidla nazývá průměrná úspěšnost.
96
Rozptyl (Var)
Vypočte se jako průměr druhých mocnin všech rozdílů výsledků jednotlivců od průměru.
Var =
kde xi jsou výsledky jednotlivců,
je průměr a n je počet testovaných.
Směrodatná odchylka (SD)
Vypočte se jako druhá odmocnina rozptylu. Pokud od průměru odečteme, resp. k němu
přičteme dvojnásobek směrodatné odchylky
, dostaneme hranice, mezi nimiž se
nacházejí téměř všechny výsledky (mimo ně je pouze přibližně 5 %).
Minimální a maximální pozorovaná hodnota
Tím je míněno nejvyšší a nejnižší dosažené skóre čili výsledek nejlepšího a nejhoršího
účastníka zkoušky (části, varianty).
Maximální a minimální možný počet bodů
Teoreticky nejnižší a nejvyšší dosažitelný výsledek.
Reliabilita
Uvádí, do jaké míry se v testu podařilo potlačit vliv náhody - nakolik by
účastníci testu dosáhli stejných či podobných výsledků při opakovaném
testování podobnými úlohami.
Existuje několik metod výpočtu reliability; pokud se u všech testových úloh používá pouze
hodnocení správně/špatně, je nejjednodušší metodou výpočet koeficientu KR-20 (KuderRichardson) podle vzorce
KR-20 =
kde Var je rozptyl (viz výše), k je počet úloh v testu a pi je úspěšnost účastníků testu u i-té
úlohy (úspěšnost je podíl počtu účastníků, kteří v úloze odpověděli správně, k počtu všech
účastníků, např. úspěšnost 0,65 tedy znamená, že danou úlohu vyřešilo správně 65 %
účastníků).
97
Jestliže má v některých úlohách bodová stupnice více než dvě hodnoty (např. boduje se
i částečné řešení zlomkem bodu nebo např. v matematice je za úlohu možné získat 0 až 5
bodů), je nutné použít koeficient Cronbachovo alfa.
α=
,
kde Var je opět rozptyl, k je počet úloh v testu a Vari je rozptyl výsledků u i-té úlohy.
Používání percentilů
Percentilem se pro každého účastníka testu stanoví, kolik procent účastníků dosáhlo
stejného nebo horšího výsledku (v EXCELu funkce PERCENTRANK).
Podle dosaženého počtu bodů se tedy účastníci uspořádají do pořadí, a to se následně
přepočítá na stupnici 0 až 100, kde 0 odpovídá nejhoršímu účastníku a 100 nejlepšímu. Toto
přepočítané pořadí se nazývá percentil.
Jeho interpretace je jednoduchá: například žák, který se umístil v 68.
percentilu, předstihl 68 % ostatních účastníků testu. Lepších (nebo
stejných) než on je tedy pouze 32 % – jedná se o nadprůměrný výsledek.
Naopak žák ve 14. percentilu předstihl pouze 14 % ostatních, neboli
86 % ze všech účastníků testu je lepších než on – jedná se o hluboce
podprůměrný výsledek.
Velký význam má použití percentilů tam, kde je nutné eliminovat rozdílnou obtížnost
různých variant zkoušky.
Pokud například fakulta chce přijmout 150 z 500 uchazečů (tj. 30 %) při
dvou variantách zkoušky, může uchazeče rozdělit náhodně na poloviny
(každá polovina bude mít svou variantu zkoušek), z každé poloviny pak
přijmout 75 nejlepších. Pokud ovšem nejsou účastníci rozděleni na dvě
stejně velké části, je třeba každému účastníkovi podle jeho výsledku
přiřadit percentil ve variantě, kterou řešil, přijati pak budou například
účastníci, kteří se umístili v 70. nebo vyšším percentilu (předstihli
v příslušné variantě nejméně 70 % ostatních účastníků, patří tedy mezi 30 % nejlepších).
2.7.4 Základní typy testů
Srovnávací testy - testy relativního výkonu
Úkolem srovnávacích testů je rozdělit testované podle úrovně jejich vědomostí na škálu
od nejlepších k nejhorším.
98
Typickým místem pro srovnávací testy jsou přijímací zkoušky. Není zpravidla důležité, aby
test svým obsahem pokryl vyčerpávajícím způsobem celý předem probraný předmět, naopak
je vhodné vybrat takové partie, o nichž se lze domnívat, že dobře rozliší lepší studenty od
slabších.
V ideálním případě je průměrná úspěšnost testovaných mezi 50 a 60 %
správně zodpovězených úloh. Důležitým kritériem použitých úloh je
jejich diskriminační schopnost. Délku testu i poměr lehčích a těžších
úloh je třeba na základě výsledků předběžné pilotáže testu zvolit tak, aby
zejména v oblasti pořadí testovaných, kudy povede hranice mezi např.
přijatými a nepřijatými, byly rozdíly mezi jejich úspěšností v testu
dostatečně průkazné.
Využití srovnávacích testů pro klasifikaci je velmi sporné
a nedoporučuje se.
Není vhodné, pokud u testu, který rozhoduje např. o přijetí uchazeče na
jím zvolenou školu, nejsou známy základní kvality testu vyjádřené
reliabilitou a směrodatnou odchylkou výsledků. Může se snadno stát, že
právě na hranici přijímaných a nepřijímaných uchazečů je vliv náhody
a neurčitosti v měřicí schopnosti testu větší než reálné rozdíly v kvalitách
uchazečů.
Zjednodušeně řečeno, ke studiu jsou přijati horší uchazeči, kteří měli
v danou chvíli štěstí.
Ověřovací testy - testy absolutního výkonu
Úkolem ověřovacích testů je zjistit, do jaké míry testovaný splňuje
předem stanovená a známá kritéria nebo standardy.
Testovaný není srovnáván s ostatními, ale s „ideálním žákem“, který
učivo dokonale ovládá (nebo ovládá podle představ tvůrců testu nebo
obecného názoru).
Nejlepším možným výsledkem ověřovacího testu by byla situace, kdy
všichni testovaní by dosáhli 100 % správných odpovědí (takový výsledek by u přijímací
zkoušky byl naopak nepoužitelný, pokud není možné přijmout všechny uchazeče).
Test by měl pokrývat přinejmenším všechny významné partie učiva. Kvalitní ověřovací test je
spolehlivým nástrojem pro průběžnou nebo závěrečnou klasifikaci.
99
Předem je však třeba mít stanoveno, jaký výsledek v testu znamená, že testovaný požadavkům
zkoušky vyhověl či nevyhověl, případně vyhověl na jaký stupeň (u srovnávacího testu - např.
přijímací zkoušky - je většinou stanoven procentní podíl přijímaných bez ohledu na to, jaký
nejhorší výsledek bude tvořit spodní hranici přijímaných).
Největší chybou u ověřovacích testů je situace, kdy testovaní předem
neznají přesné požadavky na rozsah vědomostí pro dosažení úrovně
"vyhověl".
Testy výsledků výuky
Jiným kritériem rozdělování testů je to, zda hodnotí zpětně dosažení nějakých stanovených
cílů, nebo zda testují schopnost dosáhnout určitých výsledků v budoucnu.
Test výsledků výuky tedy pravděpodobně bude nejčastěji testem ověřovacím (např. maturitní
zkouška). Pro tento typ testu je důležité, aby svou formou korespondoval s obsahem a
způsobem výuky a pokud možno prokazatelně měřil to, co testovaný výukou skutečně získal
(ne tedy to, s čím například do dané školy již přišel).
Oddělení jiným způsobem získaných znalostí od přínosu vlastního
vzdělávacího procesu je nejčastějším problémem, se kterým se lze
u nekvalitně připravených testů setkat.
Test studijních předpokladů
Test studijních předpokladů, jak název napovídá, zkoumá, jaký má testovaný vnitřní
potenciál rozvinout dosavadní vědomosti a dovednosti.
Je zarážející, jak malý podíl má tento typ testu v přijímacích zkouškách
na střední i vysoké školy v ČR. Představa, že jde o standardní testy IQ, je
mylná. Mnohaletá zahraniční zkušenost ukazuje, že další studijní
úspěšnost je v mnohem lepší korelaci právě k testům předpokladů, než
k ověřovacím testům výsledků výuky, které se v přijímacím řízení běžně
užívají.
100
Vlastnosti testů relativního výkonu a absolutního výkonu
Testy absolutního výkonu
Testy absolutního výkonu se dobře hodí k takzvanému formativnímu
hodnocení, tedy hodnocení, které se používá ve škole jako zpětná vazba
pro žáky i učitele v průběhu výuky.
Žáci se jeho prostřednictvím dozvídají, zda a jak nějakou část učiva zvládli, učitel dostává
podněty k modifikaci výuky. Může například získat informaci, že má postupovat pomaleji, na
podkladě výsledků může skupině žáků či jednotlivcům zadat speciální úkoly, poskytnout
doučování apod. Testy absolutního výkonu mohou také sloužit ke klasifikaci.
Úspěšné absolvování testu absolutního výkonu bývá také stanoveno jako podmínka pro
absolvování nějaké výukové jednotky, např. jako vstupní test do středně pokročilé úrovně
jazykového kursu.
Testy absolutního výkonu většinou mívají záběr spíše úzký, tedy se soustřeďují na jednu či
několik málo znalostí a dovedností, aby se zjistilo, do jaké míry žák zvládá tuto dílčí partii
učiva. V takových případech je nutné, aby testové položky pokrývaly všechny sledované části
učiva.
V testech absolutního výkonu se zpravidla volí spíše snazší testové položky, takové, které by
měl vyřešit každý žák zvládající látku alespoň průměrně, mohou se vyskytovat i položky,
které správně vyřeší všichni žáci, naopak položky, které vyřeší méně než polovina žáků, se
u testů absolutního výkonu užívají jen výjimečně ve speciálních případech, např. při testování
zvládnutí kreativních postupů.
U testů absolutního výkonu se úspěšnost na úrovni 80 % (např. 8 správně
vyřešených úloh z 10) obvykle pokládá za hranici dobrého zvládnutí
příslušné partie.
Testy relativního výkonu
Testy relativního výkonu mívají široký záběr. Zjišťují znalosti
a dovednosti žáků na velkém celku učiva. Úlohy do testu bývají
zpravidla voleny tak, aby je správně vyřešilo kolem 50 % testovaných
žáků.
101
Takto sestavený test mezi žáky dobře rozlišuje, a umožňuje tedy např. rozdělit žáky do
výkonnostních skupin, např. nejhorších 20 %, nejlepších 20 %, respektive je ohodnotit na
nějaké stupnici. Velmi snadné položky, které vyřeší téměř všichni žáci, nebo obtížné položky,
které vyřeší málo žáků, mají malou rozlišovací schopnost, a proto nebývají pro tento typ testu
přínosem.
Pro interpretaci výsledků testování relativního výkonu je vždy nezbytné uvést v rámci
jakého celku výsledek jednotlivce či skupiny posuzujeme.
Základní požadavky na testové úlohy
•
jasné a srozumitelné zadání, jednoznačné pokyny, úspěšnost okolo 50 %
Tedy, že každou úlohu úspěšně vyřeší přibližně polovina z těch, kteří se k ní během testu
dostanou.
•
diskriminační schopnost aspoň 20 %
Tedy, že podíl celkově nejlepších účastníků testu, kteří úlohu vyřešili, a podíl celkově
nejhorších účastníků testu, kteří úlohu vyřešili, se liší aspoň o 20 procentních bodů ve
prospěch lepších.
•
soulad s předmětem testování a vyloučení výhod vyplývajících ze znalosti z jiných
oborů
Tedy, že úloha testuje to, na co je celý test zaměřen, a ne nějaké jiné vědomosti a
schopnosti. Například v testu z českého jazyka - literatury je nutné sestavovat úlohy tak, aby
nebyli jednoznačně zvýhodněni dobří dějepisci, ledaže by celý test byl sestavován s tímto
předem deklarovaným záměrem.
•
srozumitelnost úlohy i pro laiky
Tedy, že i osoby bezprostředně se neúčastnící testování pochopí, o čem úloha je.
102
2.7.5 Úskalí počítačových testů
Uzavřené úlohy
1. uzavřené položky s nabízenou odpovědí
Uzavřená úloha s nabízenou odpovědí je nejčastěji používanou formou
testových položek v počítačových testech. Obsahuje zadání, ve kterém je
definován problém, a několik alternativ, které představují jeho možné
řešení.
Tyto alternativy jsou obvykle vyjmenovány, avšak mohou jimi být i obrázky, grafické
symboly nebo zvukové nahrávky (například v jazykových testech).
Správné je většinou pouze jedno řešení. Zadání může mít podobu přímé otázky (položky
rozhodovací) nebo může mít charakter neúplného tvrzení (položky doplňovací).
2. položky situační a interpretační
Tyto uzavřené úlohy nabízejí větší počet nesprávných variant a přitom neobsahují velký počet
nabízených odpovědí.
Tento typ položek tedy má velmi blízko k uzavřeným úlohám s nabízenou odpovědí.
Je nutné dbát na správnou interpretaci zadané odpovědi. Klasickým problémem je
vyhodnocení výrazu, který může obsahovat mezery nebo malá a velká písmena.
Výhody
•
•
Objektivní hodnocení
Při promyšlené formulaci je tato forma použitelná a vhodná i k testování složitějších
myšlenkových pochodů jako porozumění.
Nevýhody
•
Pravděpodobnost náhodného výběru správné varianty
103
Praktická doporučení pro tvorbu otázek s položkami s nabízenou odpovědí
•
•
•
•
•
•
Tvořte všechny alternativní odpovědi tak, aby byly gramaticky v souladu se zadáním.
Vyvarujte se toho, aby správná odpověď byla delší či kratší než ostatní.
Pokud v zadání použijete otázku v negativní formě, podtrhněte ji. Raději se tomu však
vyhněte.
Nepoužívejte otázek s dvojím záporem a složitých formulací, které mohou být logicky
matoucí.
V úlohách, kde studující vybírá správnou odpověď z několika variant, je vhodné, aby
žádná z variant nebyla na první pohled nesmyslná
Pokud je to možné, aby každá z variant odpovídala určité chybné úvaze a každá z
nejčastějších chybných úvah vedla k nějaké variantě odpovědi.
Úlohy přiřazovací
Úlohy přiřazovací jsou modifikací úloh na volbu odpovědi. Poskytují však větší počet
nesprávných odpovědí.
Tento typ položek nemusí být snadné vyhodnotit. Mezi zcela špatnou a zcela správnou
odpovědí se nachází celá řada částečně správných alternativ.
Obecné rady pro práci s přiřazovacími a uspořádacími položkami:
•
•
•
•
prvky v obou skupinách (doplňovaný výraz a položky k doplnění) musí být
homogenní.
v zadání otázky přesně určete, na jakém principu má být přiřazení provedeno.
do žádné skupiny (doplňovaný výraz a položky k doplnění) nezařazujeme více než 10
prvků.
položky k doplnění řaďte systematicky (např. chronologicky, abecedně). Usnadňuje to
orientaci a nezkresluje výsledky.
Otevřené úlohy
Úlohy doplňovací a otevřené úlohy se stručnou odpovědí představují kompromis mezi
úlohami uzavřenými a typickými otevřenými položkami.
1. Doplňovací položky
Zadání obvykle obsahuje definovaný problém, ve kterém musí studující doplnit slovo,
frázi nebo pojem. Tyto typy otázek v počítačových testech nejsou příliš praktické
a téměř se nevyskytují. Vyžadují kontrolu mezer, malých či velkých písmen,
překlepů. Je třeba také definovat jednotlivé varianty správných odpovědí, které budou
systémem přijaty jako platné.
2. Otevřená položka se stručnou odpovědí.
Používáme je zejména pro zjišťování znalosti faktů, vzorců, vztahů či specifických
informací. U problémů, jejichž řešení vyžaduje několik kroků (reprezentovaných
testovými položkami) udává výsledek bezpečnou informaci o tom, ve kterém z nich
došlo k omylu.
V počítačových testech se z tohoto typu používají především početní úlohy.
104
2.8 Modul Tester
V této kapitole se seznámíte s modulem Tester, který je nástrojem pro
přípravu interaktivních testů v prostředí iTutor. Testy vytvořené pomocí
modulu Tester jsou poté v rámci systému iTutor také automaticky
vyhodnocovány.
Dozvíte se, jakým způsobem navrhovat strukturu otázek pro snadnou
tvorbu modulárních testů.
Seznámíte se s problematikou přípravy testování pomocí LMS a
následným generováním testů.
V závěru této kapitoly budou v krátkosti probrány možnosti importu (exportu) otázek.
Po prostudování této kapitoly budete schopni:
•
•
•
•
používat funkce pro tvorbu otázek, které nabízí prostředí modulu
Tester.
• připravit si v centrální databázi vlastní sadu otázek.
vytvořit pro test předpis, který umožní automatizovanou přípravu jednotlivých variant
testů
vytvořit si test, který bude k dispozici uživatelům LMS iTutor
prohloubit si prostřednictvím interaktivních prezentací i reálné činnosti schopnost
ovládání LMS, jmenovitě modulu Tester
2.8.1 Správa témat a otázek
Aplikace iTutor Tester slouží jako nástroj pro správu a tvorbu testů, které
je možné provozovat v řídícím systému iTutor.
Správa témat a otázek
Pomocí témat lze namodelovat libovolnou strukturu otázek řazených do
dílčích témat. Každé téma může obsahovat libovolný počet otázek.
Každé téma může také obsahovat libovolný počet dalších témat. Úroveň
zanoření témat je neomezená, systém pouze kontroluje, zda nedochází
k rekurzi (opakování názvů témat).
105
Správa okruhů a předpisů s definovaným chováním
Pomocí okruhů lze namodelovat libovolnou strukturu předpisů řazených do dílčích okruhů.
Každý okruh může obsahovat libovolný počet předpisů. Každý předpis je tvořen neomezeným
počtem bloků, který předepisuje způsob vygenerování testu ze zadaného tématu.
Každý předpis obsahuje vzor zobrazení, které určuje vlastní grafickou podobu testu. Každý
předpis může obsahovat historii všech předchozích verzí konkrétních testů. Každý okruh
může obsahovat libovolný počet dalších okruhů.
Každý předpis obsahuje vzor zobrazení, které určuje vlastní grafickou podobu testu. Každý
předpis může obsahovat historii všech předchozích verzí konkrétních testů.
Každý okruh může obsahovat libovolný počet dalších okruhů.
Automatizovaná tvorba testů
Aplikace iTutor Tester umožňuje automatizovanou tvorbu AICC kompatibilních testů
z nadefinovaných předpisů.
Archivace vytvořených testů
Aplikace iTutor Tester archivuje chronologický seznam všech vytvořených testů. Archiv lze
prohlížet po jednotlivých měsících v sekci Testy.
Přihlášení do systému
Ihned po přihlášení do aplikace iTutor Tester se dostanete do sekce Otázky. Sekce Otázky je
určena pro správu témat a otázek. Do oblasti Otázky se můžete také kdykoliv přepnout
stiskem tlačítka
.
Seznam slouží k prohlížení a definici hierarchie témat a otázek:
Obr. 2.8.1 Seznam otázek v sekci Otázky
106
V tomto seznamu mohou být přítomny následující logické prvky:
Tento symbol představuje téma. Téma může obsahovat jiná témata a zejména otázky.
U tématu lze vyvolávat následující akce:
Nové téma - Vytvoření zcela nového tématu
Nová otázka - Vytvoření zcela nové otázky
Přidání tématu nebo otázky - Přidání existujícího tématu nebo existující otázky do tématu
Odebrání - Odebrání tématu z tématu
Smazání – smazání tématu ze systému
U tématu lze zobrazit položku obsahující:
Vlastnosti
Tento symbol představuje otázku.
U otázky jsou dostupné následující akce:
Odebrání otázky z tématu
Smazání otázky ze systému
U objektu otázka lze zobrazit následující informace:
Vlastnosti
Volby
Poznámka
Obrázek
Všechny tyto výše zmíněné operace si nyní postupně vysvětlíme.
Objekt Téma: Popis akcí
1. Nové téma
Stiskem uvedeného tlačítka v sekci Otázky vytvoříte nové Téma.
Akci lze vyvolat, pokud je v seznamu témat a otázek označeno téma. Nové
téma se potom založí jako téma v rámci vybraného tématu.
107
Po vyvolání akce se zobrazí okno s vlastnostmi tématu ve kterém zadáte údaje o zakládaném
tématu.
Vlastnosti tématu
Obr. 2.8.2 Formulář s vlastnosti tématu
Tento formulář je zobrazen jak při přidávání nového tématu, tak je možné jej vyvolat u již
definovaného tématu. Formulář slouží k prohlížení a zadávání vlastností tématu.
Popis významu jednotlivých položek formuláře:
Název Jedinečná identifikace tématu. Jedná se o povinnou položku. Dvě témata nesmí mít shodný
název.
Popis Podrobnosti o tématu.
Jestliže budete přidávat jakoukoliv novou položku pomocí formuláře,
systém iTutor ji sám přiřadí počáteční hodnotu (např. Nové Téma 1003).
Vy máte možnost změnit zadáním tuto hodnotu. Ovšem u položek
(označených ve výkladovém textu), které musí obsahovat jedinečnou
identifikaci, je třeba zajistit, aby se název položky v daném kontextu již
neopakoval.
Poznámka
Položky formuláře označené v pravé části vstupního pole znakem * jsou tzv. povinné položky.
Jejich vyplnění je vyžadováno pro úplné zpracování formuláře systémem iTutor.
108
2. Nová otázka
Stiskem uvedeného tlačítka v sekci Otázky vytvoříte ve vybraném tématu novou otázku.
Akci lze vyvolat, pokud je v seznamu témat a otázek vybráno téma. Po vybrání akce se
zobrazí okno, ve kterém můžete zadat údaje o zakládané otázce.
Chcete-li vytvořit novou otázku je nutné založit nové téma. Základní téma,
které je kořenovým uzlem seznamu témat nemůže obsahovat přímo
objekty typu otázka.
3. Přidání tématu nebo otázky
Stiskem uvedeného tlačítka v oblasti Otázky přidáte do zvoleného tématu již existující
(tzn. v systému iTutor vytvořené) Téma nebo Otázku. Akci lze vyvolat, pokud je v seznamu
označeno téma.
Po vyvolání akce se zobrazí následující formulář se seznamem, ve kterém můžete vybrat téma
nebo otázku, které chcete přidat:
Obr. 2.8.3 Seznam témat
109
4. Odebrání
Stiskem uvedeného tlačítka v oblasti Otázky nebo Předpisy odeberete objekt.
Akci lze vyvolat, pokud je v seznamu označeno téma, otázka, okruh, předpis apod.
Odebrání znamená, že je vybraný objekt odebrán ze seznamu objektů, ve kterém se aktuálně
nachází - samotný objekt však v systémové databázi zůstává.
Odebrání otázky z tématu znamená, že je daná otázka z tématu vyřazena,
ale otázka dále zůstává v systému v ostatních tématech.
Pokud je odebírána otázka (nebo téma), nelze ji odebrat v případě, že se
jedná o její poslední výskyt v systému.
Odebíráme-li tedy např. otázku z tématu a tato otázka se již nevyskytuje
v žádném jiném tématu - systém oznámí, že tuto otázku nelze odebrat a
pro její odstranění je tedy nutné ji smazat.
Popřípadě lze samozřejmě tuto otázku přidat do jiného tématu a poté ji odebrat z předešlého
tématu.
5. Smazání
Stiskem uvedeného tlačítka v oblastech Otázky, Předpisy nebo Testy smažete objekt.
Akci lze vyvolat, pokud je v seznamu označeno téma, otázka, okruh, předpis, blok, test apod.
Smazání znamená, že je vybraný objekt odstraněn ze systému.
110
Např. smazání otázky z tématu znamená, že je daná otázka z tématu
vyřazena a současně je smazána ze systému. Pokud se odstraňovaná
otázka nebo odstraňované téma vyskytuje ještě v jiném tématu, je jejich
výskyt odstraněn i z tohoto tématu.
Když odstraňované téma obsahuje další témata nebo otázky, přičemž se
jedná o jejich jediný výskyt v systému, jsou tyto objekty smazány.
Je-li například odstraňováno téma Fyzika (obsahující otázku
Magnetismus), bude tato otázka vymazána ze systému pouze v případě, pokud již není
prvkem v žádném jiném tématu. Je-li však otázka Magnetismus např. ještě součástí tématu
Elektřina, nebude ze systému odstraněna.
Dostupný pohled pro objekt...
Stiskem uvedeného tlačítka přejdete do dialogového okna Výběr pohledu, kde je možné
vybrat pohled pro označený objekt.
Obr. 2.8.4 Formulář s výběrem definovaných pohledů
Vybraný pohled můžete exportovat do formátu HTML pomocí tlačítka Exportovat nebo do
formátu MS Excel pomocí tlačítka Excel.
V případě doplňkových parametrů (nutných pro vykonání pohledu) se ještě doplňují jejich
hodnoty v následujícím okně.
111
Obr. 2.8.5 Formulář pro zadání doplňkových parametrů pohledu
Výstupy jednotlivých pohledů jsou vždy zobrazeny do
samostatného okna internetového prohlížeče (včetně souborů ve
formátu Excel).
Objekt - Otázka
Nyní si vysvětlíme jednotlivé položky objektu otázka, které je možné uživatelsky
modifikovat.
Na jednotlivé formuláře, které si zde popíšeme, se dostanete vždy
stejným způsobem. Zvolíte příslušné tlačítko pro editaci žádaného
formuláře.
Tedy např. na Vlastnosti otázky se dostanete stiskem tlačítka Vlastnosti..
112
1. Záložka Vlastnosti
Tento formulář je zobrazen jak při přidávání nové otázky, tak je možné
jej vyvolat u již definované otázky.
Formulář slouží k prohlížení a zadávání vlastností otázky.
Popis významu jednotlivých položek formuláře:
Název
Otázka
Zpožděná
Odpověď
Jedinečná identifikace otázky. Jedná se o povinnou položku. Dvě otázky nesmí mít
shodný název.
Obsahová náplň otázky.
Změnou hodnoty v tomto stavovém poli aktivujete tzv. zpožděnou odpověď.
Odpověď studujícího na testovou otázku bude vyhodnocena až po potvrzení
tlačítkem "Odezva" umístěném na stránce otázky.
Více se o této vlastnosti dozvíte v sekci Zpožděné odpovědi.
2. Záložka Volby
Obr. 2.8.6 Formulář Volby u vybrané otázky
113
Formulář vyvoláte v sekci Otázky označením otázky v seznamu
a stisknutím tlačítka Volby.
Formulář slouží k prohlížení a zadávání možností u odpovědí na otázku,
k výběru správných voleb, k přiřazení bodového hodnocení správným i
špatným odpovědím, apod.
Formulář se liší podle typu otázky (volba z více možností, volby z více
možností (tj. více odpovědí správně), doplnění slov, číselné odpovědi,
řazení položek, párování, atd.).
Jednotlivé typy otázek probereme v podkapitole 2.8.2 Typy otázek.
Animace: ukázka práce s tématy, úprava vlastností tématu nebo otázky, přidání tématu nebo
otázky
3. Záložka Poznámka
Obr. 2.8.7 Formulář Poznámka u vybrané otázky
114
Formulář vyvoláte v sekci Otázky označením otázky v seznamu a stisknutím tlačítka
Poznámka.
Formulář slouží k prohlížení a zadávání poznámky k otázce.
Poznámku můžete využít pro snadnější orientaci ve vámi vytvořených
otázkách. Poznámka může být také volitelně zobrazována studentům u
jednotlivých otázek.
4. Záložka Obrázek k otázce
Obr. 2.8.8 Formulář Obrázek u vybrané otázky
Formulář vyvoláte v sekci Otázky označením otázky v seznamu
a stisknutím tlačítka Obrázek.
Formulář slouží k prohlížení a přidávání obrázku k otázce. Kliknutím na
tlačítko Procházet... vyberete obrázek, který chcete připojit k otázce.
Poté tlačítkem Přidat obrázek uložíte do systému a po chvíli se objeví
náhled obrázku. Pokud je obrázek vyhovující, tlačítkem Uložit provedete
jeho uložení do systému k dané otázce.
Chcete-li obrázek odebrat zvolíte tlačítko Odstranit.
Každá otázka může obsahovat také obrázky pro jednotlivé varianty nabízených odpovědí.
Počet obrázků, které lze k otázce připojit, je potom dán počtem variant pro vybranou otázku.
115
K otázce je možné připojit obrázky ve formátu JPG.
Velikost souboru s obrazovými daty nesmí překročit 512 KB.
5. Záložka Zpožděné odpovědi
Formulář vyvoláte v sekci Otázky označením otázky v seznamu a volbou
tlačítka Zpožděná odpověď.
Formulář slouží k zadání odezvy při vyhodnocení odpovědi.
Vyhodnocení nastane, pokud uživatel použije tlačítko Odezva u
konkrétní otázky v testu. Tlačítko Odezva se v testu objeví, jen pokud
označíte stavové pole zpožděná odpověď na záložce Vlastnosti.
Obr. 2.8.9 Formulář Zpožděné odpovědi u vybrané otázky
116
Popis významu jednotlivých položek formuláře:
Text, který se zobrazí, pokud uživatel zadá v otázce správnou odpověď.
Text, který se zobrazí, pokud uživatel zadá v otázce špatnou odpověď.
Správná odpověď
Špatná odpověď
Ukázka testové otázky s tlačítkem Odezva pro zobrazení zpožděné
odpovědi.
Obr. 2.8.10 Zpožděná odpověď v testu
2.8.2 Typy otázek
V této kapitole si probereme jednotlivé typy otázek, které jsou
k dispozici v modulu Tester systému iTutor.
Význam a vhodné využití jednotlivých typů otázek již bylo součástí
výkladu v kapitole 2.7 Základy teorie testování. Proto se v této kapitole
zaměříme pouze na popis jednotlivých otázek v modulu Tester.
117
Praktickou přípravu otázek si budete ověřovat v rámci interaktivních
prezentací, které budou k dispozici ke každé popisované oblasti práce
s LMS iTutor.
•
•
•
•
Volby z více možností
Volba z více možností
Doplnění slov
Číselné odpovědi
•
•
•
•
Řazení položek
Drag and Drop
Křížovka
Doplnění textu
1. Volby z více možností
Výběr více než jedné správné odpovědi.
Obr. 2.8.11 Formulář pro otázku typu „Volby z více možností“
118
Volby z více možností
Popis významu jednotlivých položek formuláře:
Povolit více
odpovědí
studenta
Volbou tohoto stavového pole umožníte studujícímu vybrat pouze
jednu z odpovědí na danou otázku. Od otázky typu Volba z více
možností se tento typ otázky liší tím, že dovoluje autorovi označit více
odpovědí jako správné.
Počet odpovědí
Volba celkového počtu možností odpovědi v rámci dané otázky.
Volba
Obsahová náplň dané volby.
Skóre
Počet jednotek, které budou přičteny k celkovému bodovému
hodnocení studenta v daném testu při zvolení dané volby odpovědi (pro
nesprávnou odpověď lze zadat záporné hodnoty např. -1).
Správně
Stavové pole indikující systému, že se jedná o jednu z možných
správných odpovědí.
2. Volba z více možností
Výběr pouze jedné správné odpovědi.
Obr. 2.8.12 Formulář pro otázku typu „Volba z více možností“
119
Volba z více možností
Popis významu jednotlivých položek formuláře:
Počet
odpovědí
Volba celkového počtu možností odpovědi v rámci dané otázky.
Volba
Obsahová náplň dané volby.
Odezva
Text odezvy u jednotlivé volby
Skóre
Počet jednotek, které budou přičteny k celkovému skóre studenta
v daném testu při zvolení dané volby odpovědi (při chybné volbě lze
zadat záporná čísla např. -1).
Správně
Stavové pole indikující systému, že se jedná o správnou odpověď.
U textu v položce Odezva, lze zadat i hypertextový odkaz ve formě <A
HREF=“http://mujserver.cz/odpoved.html“>proč to tak nemůže být</A>
3.
Doplnění slov
Odpověď je formou zadání textového výrazu.
Obr. 2.8.13 Formulář pro otázku typu „Doplnění slov“
120
Doplnění slov
Popis významu jednotlivých položek formuláře:
Počet slov
k doplnění
Volba celkového počtu možností odpovědi v rámci dané otázky.
Text
Text podotázky.
Správně
Správná odpověď studenta.
Špatně
Chybná odpověď studenta.
Skóre
Počet jednotek, které budou přičteny k celkovému skóre studenta v daném testu
při zvolení dané volby odpovědi (při chybné volbě lze zadat záporná čísla např.
-1).
U tohoto typu otázky je možné zadávat jednotlivé varianty textových
odpovědí oddělené středníkem „;“.
Tímto způsobem lze zajistit, že systém bude jako správné odpovědi
hodnotit i různé varianty odpovědi.
Zadání otázky:
Dráha hmotného bodu je dána rovnicí: s = 6t3 + 5t + 2.
Napište rovnici jeho zrychlení.
Položka správná odpověď: 36t;36 t;36T;36 T
Zadání otázky:
Rychlost hmotného bodu je dána rovnicí: v = 3t2+ 2t + 5.
Napište rovnici jeho zrychlení.
Položka správná odpověď: 6t+2;6 t + 2;6T+2;6 T + 2;6T + 2
Maximální počet možných variant odpovědí u většiny typů otázek
(kromě otázky typu Drag&Drop) je šest. Tedy obdoba a-b-c-d-e-f.
Zvláštní případ představuje otázka typu "Doplnění slov". U tohoto typu
otázky je také možné vyhodnocovat maximálně šest správných
odpovědí. Každá z těchto odpovědí však může obsahovat více variant
oddělených středníkem.
121
4. Číselné odpovědi
Odpověď je v číselném tvaru. Systém rozeznává při zadání intervalu hodnot i desetinnou část.
Obr. 2.8.14 Formulář pro otázku typu „Číselné odpovědi“
Číselné odpovědi
Popis významu jednotlivých položek formuláře:
Počet číselných Volba celkového počtu možností odpovědi v rámci dané otázky.
odpovědí
Text podotázky.
Text
Správná odpověď je pouze ta, která se nachází v zadaném intervalu, kde první
Odpověď
číslo je počátek intervalu a druhé číslo je konec zprava uzavřeného intervalu.
Odpověď na otázku, která bude považována za nesprávnou. Pokud tuto
Odpověď
hodnotu nevyplníte (nejčastější případ), bude za nesprávnou odpověď
automaticky považována každá odpověď, která nesplňuje podmínky pro
správnou odpověď. Jedná se jistý druh penalizace za nesprávnou odpověď,
který není vhodné v testech využívat.
Počet jednotek, které budou přičteny k celkovému skóre studenta v daném
Skóre
testu při zvolení dané volby odpovědi (při chybné volbě lze zadat záporná
čísla např. -1).
122
Při zadávání výsledku, jehož hodnota je záporný interval, je třeba vložil
hodnoty ve správném pořadí. Tedy od menší hodnoty k větší hodnotě
intervalu.
Správný výsledek početního příkladu se nachází v intervalu -3,14 až -4.
Vstupní pole „interval od: a do: včetně“ vyplníte následujícím
způsobem:
Levé vstupní pole (od: ) -4
Pravé vstupní pole (do: ) -3.14
Při zadávání číselných hodnot s desetinnou částí je třeba důsledně
dodržovat správně zadaný znak desetinné tečky „ . “ - nikoliv desetinné
čárky „ , „
Pro studenty je již systém nastaven tak, že vyhodnocuje správnou odpověď
ve tvaru s desetinnou tečkou i s desetinnou „čárkou“.
123
5.
Řazení položek
Odpověď je formou seřazení jednotlivých položek.
Obr. 2.8.15 Formulář pro otázku typu „Řazení položek“
Řazení položek
Popis významu jednotlivých položek formuláře:
Počet řazených
položek
Volba celkového počtu možností odpovědi v rámci dané
otázky.
Skóre úspěšnosti
Bodové hodnocení při správné odpovědi na otázku.
Otázka bude vyhodnocena jako správně zadaná pouze v
případě, že jsou všechny varianty seřazeny v předepsaném
pořadí.
Skóre
neúspěšnosti
Bodové hodnocení při nesprávné odpovědi na otázku.
Položka
Text jednotlivých položek k seřazení.
124
6.
Drag and Drop
Odpověď je formou vkládání objektů (umístěných ve spodní částí otázky) na určitá místa
v textu.
Tyto objekty (tedy správné odpovědi) jsou potom „přetahovány“ pomocí myši studujícím na
předem určené místo.
Obr. 2.8.16 Formulář pro otázku typu „Drag and Drop“
Drag ang Drop
Popis významu jednotlivých položek formuláře:
Počet objektů
Volba celkového počtu variant odpovědí v rámci dané otázky
Text
Text obsahující značky, které určují, kde bude v testu cílová pozice, kam se
budou „přetahovat“ k tomu určené objekty.
Objekt
Obsahová náplň dané volby.
Správně
Skóre, které se přičte k celkovému skóre při správném vložení objektu na
cílovou pozici.
Špatně
Skóre, které se přičte k celkovému skóre při vložení objektu na nesprávnou
cílovou pozici.
Tlačítko vkládá do textu značku cílové pozice pro jednotlivý objekt.
125
7.
Křížovka
Odpověď je realizována formou vyplnění klasické křížovky.
Obr. 2.8.17 Formulář pro otázku typu „Křížovka“
Křížovka
Popis významu jednotlivých položek formuláře:
Volba celkového počtu řádků v křížovce.
Počet řádků
křížovky
Skóre úspěšnosti Skóre, které se přičte k celkovému skóre při správném vyplnění tajenky.
Skóre neúspěšnostiSkóre, které se přičte k celkovému skóre při nesprávném vyplnění
tajenky.
Správné znění tajenky.
Text tajenky
Text otázky pro jednotlivé řádky křížovky.
Otázka
Počet písmen doplňovaného slova.
Počet znaků
Pozice písmena z doplňovaného slova, které tvoří tajenku.
Pozice tajenky
8. Doplnění textu
Odpověď je ve formě volně tvořeného textového zápisu (např. vyjádření vlastního názoru).
Formulář volby obsahuje jedno textové pole, které představuje vždy správnou
(nevyhodnocovanou) odpověď.
126
Tato otázka představuje spíše možnost pro tutora/lektora, jak si ověřit
v automaticky nevyhodnocované odpovědi, zda studující zcela
porozuměl probírané látce.
Tento typ otázky je třeba vyhodnotit ručně. Je velmi vhodný
například pro vytvoření dotazníku, který obsahuje tvořené
odpovědi.
Animace: ukázka nastavení vlastností otázky, příprava otázky, přehled jednotlivých druhů
otázek
2.8.3 Výběrová pravidla – předpisy
Sekce Předpisy slouží ke správě Okruhů, Předpisů, Bloků a k tvorbě testů.
V seznamu můžete prohlížet a definovat okruhy, předpisy a bloky.
V tomto seznamu mohou být přítomny následující logické prvky:
Tento symbol představuje okruh.U okruhu lze vyvolávat následující akce:
•
•
•
•
•
Vytvoření zcela nového okruhu
Vytvoření zcela nového předpisu
Přidání existujícího okruhu nebo předpisu do okruhu
Odebrání okruhu z jiného okruhu
Smazání okruhu ze systému
U okruhu lze zobrazit následující informace:
•
Vlastnosti
Tento symbol představuje předpis. U předpisu lze vyvolávat následující akce:
•
•
•
•
Vytvoření zcela nového bloku
Odebrání předpisu z okruhu
Smazání předpisu ze systému
Vytvoření zcela nového testu
U předpisu lze zobrazit následující informace:
•
•
Vlastnosti
Volby
127
Tento symbol s názvem položky představuje libovolný blok. Blok může
obsahovat témata či otázky. U bloku lze vyvolávat následující akce:
•
•
•
•
Přidání existujícího tématu nebo existující otázky do bloku
Přesunutí bloku vpřed v rámci předpisu
Přesunutí bloku vzad v rámci předpisu
Smazání bloku ze systému
U bloku lze zobrazit následující informace:
•
•
Vlastnosti
Volby
Tento symbol s názvem položky představuje libovolné téma . Téma může
obsahovat jiná témata a zejména otázky. U tématu v sekci Předpisy lze
vyvolávat následující akce:
•
•
•
Přesunutí tématu vpřed v rámci bloku
Přesunutí tématu vzad v rámci bloku
Odebrání tématu z bloku
O tématu lze zobrazovat následující informace:
•
Vlastnosti
1. Nový okruh
Stiskem uvedeného tlačítka v sekci Předpisy vytvoříte zcela nový okruh.
Akci lze vyvolat, pokud je v seznamu okruhů, předpisů nebo bloků označen okruh. Nový
okruh je vytvořen jako podřazený okruh vybraného okruhu. Po vyvolání akce se zobrazí
formulář, ve kterém zadáte údaje o vytvořeném okruhu.
Vlastnosti okruhu
Obr. 2.8.18 Formulář s nastavením vlastností okruhu
128
Formulář slouží k prohlížení a zadávání vlastností okruhu.
Popis významu jednotlivých položek formuláře:
Název Jedinečná identifikace okruhu. Jedná se o povinnou položku. Dva okruhy nesmí mít
shodný název.
Popis Podrobnosti o okruhu.
2. Nový předpis
Stiskem uvedeného tlačítka v sekci Předpisy vytvoříte nový předpis.
Akci lze vyvolat, pokud je v seznamu okruhů, předpisů nebo bloků označen okruh. Po
vyvolání akce se zobrazí formulář, ve kterém zadáte údaje o vytvořeném předpisu.
Vlastnosti předpisu
Obr. 2.8.19 Formulář s nastavením vlastností předpisu
Formulář slouží k prohlížení a zadávání vlastností předpisu.
Popis významu jednotlivých položek formuláře:
Název Jedinečná identifikace předpisu. Jedná se o povinnou položku. Dva předpisy nesmí
mít shodný název.
Popis Podrobnosti o předpisu.
129
Předpis: Volby
Obr. 2.8.20 Formulář pro jednotlivé volby u předpisu
Formulář vyvoláte v sekci Předpisy označením předpisu v seznamu a stisknutím tlačítka
Volby.
Tento formulář slouží k prohlížení a zadávání záhlaví, úvodu a závěrečného komentáře k testu
a současně k rozhodnutí, zda se mají na konci testu zobrazit výsledky.
Volbou stavového pole Uzamknout odpovědi znemožníte uživateli měnit
odpovědi na již zodpovězené otázky. U reálných testů se tuto položku
nedoporučuje využívat, protože de facto studentovi znemožňuje se vrátit
k již zodpovězené otázce a opravit svou odpověď
3. Nový blok
Stiskem uvedeného tlačítka v sekci Předpisy vytvoříte nový blok.
Akci lze vyvolat, pokud je v seznamu okruhů, předpisů a bloků vybrán předpis. Nový blok je
vytvořen jako prvek obsažený ve vybraném předpisu.
Po vyvolání akce se zobrazí formulář, ve kterém zadáte údaje o vytvořeném bloku.
130
Vlastnosti bloku
Obr. 2.8.21 Formulář s nastavením vlastností bloku
Formulář slouží k prohlížení a zadávání vlastností bloku.
Popis významu jednotlivých položek formuláře:
Název
Jedinečná identifikace bloku. Jedná se o povinnou položku. Dva bloky
nesmí mít shodný název.
Popis
Podrobnosti o bloku.
Použij všechny
otázky
Určuje, zda se mají použít všechny otázky ze všech testů v daném
bloku.
Náhodné pořadí Určuje, zda budou otázky uživateli předkládány v náhodném pořadí
(aktivní) nebo v pořadí, ve kterém se nacházejí v testech.
Pohyb jen
kupředu
Touto volbou znemožníte studujícímu návrat na již navštívené stránky
testu.
Použij náhodně
otázky
Do pole vložte počet náhodně zvolených otázek, ze kterých se bude test
skládat. Položka je nedostupná, pokud je aktivní položka Použij
všechny otázky.
Možnost
předčasně
ukončit
Povoluje nebo zakazuje studujícímu předčasné ukončení testu.
Váha bloku
Koeficient, kterým se násobí bodové ohodnocení za tento blok testů.
Váha tak umožňuje nastavit důležitost daného bloku (např. 1 pro běžné
bloky testů, 2 pro bloky testů s vyšší důležitostí).
131
Blok: Volby
Obr. 2.8.21 Formulář pro jednotlivé volby u bloku
Formulář vyvoláte v sekci Předpisy označením Bloku v seznamu a stisknutím tlačítka Volby.
Tento formulář slouží k prohlížení a zadávání záhlaví, úvodu a možností u bloku otázek.
Popis významu jednotlivých položek formuláře:
Záhlaví
Text, který se zobrazuje u všech testových otázek z daného
bloku.
Úvod
Text úvodní strany bloku. V případě, že toto pole nevyplníte,
nebude úvodní strana zobrazena.
Ukazovat odpovědi
Určuje, zda na jednotlivých otázkách může být zobrazena
zpožděná nebo okamžitá odpověď.
Omezit dobu
odpovědí
Časový limit pro odpovědi.
Měnit pořadí voleb
Aktivováním zajistíte náhodné vzájemné pořadí odpovědí na
otázku. Studující pak musí znát skutečnou odpověď na otázku
a nikoliv jen číslo nebo písmeno odpovědi (např. "c" nebo "1.
možnost").
Zobrazovaný typ
otázek
Z roletové nabídky vyberte, jaký typ otázek se má v testech
objevit . Výchozí hodnotou jsou "všechny typy".
132
2.8.4 Vytvoření testu
1. Nový test
Stiskem uvedeného tlačítka v sekci Předpisy vytvoříte nový test.
Akci lze vyvolat, pokud je v seznamu okruhů, předpisů a bloků označen předpis.
Po vyvolání akce se zobrazí formulář, ve kterém zadáte údaje o vytvořeném testu.
Tento formulář slouží k zadání názvu testu a složky, do které bude vytvořený test uložen.
Vlastnosti vytvářeného testu
Obr. 2.8.22 Formulář pro vytváření testu
Zadání položky Uložit do: určuje složku výukového systém iTutor, do které
budou testy uloženy.
Výběr složek, které budou dostupné v tomto formuláři, se pro aktuálně
přihlášeného uživatele řídí přiřazenými rolemi.
Jak již bylo zmíněno v předchozích kapitolách, nastavování rolí je většinou
v pravomoci administrátora LMS.
133
2. Přidání okruhu nebo předpisu
Stiskem uvedeného tlačítka v oblasti Předpisy přidáte do zvoleného okruhu existující
Okruh nebo Předpis.
Akci lze vyvolat, pokud je v seznamu označen okruh.
Po vyvolání akce se zobrazí následující formulář se seznamem, ve kterém vyberete přidávaný
okruh nebo předpis.
3. Přidání tématu nebo otázky
Stiskem uvedeného tlačítka v oblasti Předpisy přidáte do zvoleného bloku existující Téma
nebo Otázku.
Akci lze vyvolat, pokud je v seznamu označen blok.
Po vyvolání akce se zobrazí následující formulář se seznamem, ve kterém vyberete přidávané
téma nebo přidávanou otázku.
Přidání okruhu nebo předpisu
Obr. 2.8.23 Seznam pro přidávání okruhu
134
Přidání tématu nebo otázky
Obr. 2.8.24 Seznam pro přidávání bloku
4. Přesuny objektů v rámci seznamu bloků nebo témat
Jednotlivé bloky nebo témata je také možné přesouvat pomocí tlačítek
Stiskem uvedeného tlačítka v sekci Předpisy přesunete vybraný objekt (blok nebo téma)
nahoru nebo dolů v rámci vybraného seznamu.
5. Odebrání
Stiskem uvedeného tlačítka v oblasti Otázky nebo Předpisy odeberete objekt.
Akci lze vyvolat, pokud je v seznamu označeno téma, otázka, okruh, předpis apod.
Odebrání znamená, že je vybraný objekt odebrán z množiny, která je
aktuálně označena v seznamu, ale samotný objekt zůstává i nadále
v systému.
135
Odebrání otázky z tématu znamená, že je daná otázka z tématu vyřazena.
Otázka dále zůstává v systému v ostatních tématech.
Pokud chcete odebrat otázku nebo téma, které se již vyskytuje pouze
v jediném tématu, nelze její odebrání provést.
Systém oznámí, že tuto otázku nelze odebrat, že pro odstranění je
nutné ji smazat.
Popřípadě lze samozřejmě tuto otázku přidat do jiného tématu a poté ji
z předešlého tématu odebrat.
6. Smazání
Stiskem uvedeného tlačítka v oblastech Otázky, Předpisy nebo Testy smažete označený
objekt.
Akci lze vyvolat, pokud je v seznamu označeno téma, otázka, okruh, předpis, blok, test apod.
Smazání znamená, že je vybraný objekt odstraněn ze systému. Obnovení vymazaného objektu
není možné provést z uživatelského rozhraní systému iTutor
Tedy například chceme-li odstranit téma „Fyzika“, ve kterém je otázka
„Atomové jádro“. Tato otázka bude vymazána ze systému pouze v
případě, jestliže není přítomna v žádném jiném tématu.
Je-li však otázka např. „Informační systémy“ ještě součástí tématu
„Počítačové sítě“, není ze systému smazána.
Animace: ukázka nastavení vlastností okruhu, vlastností předpisu,
nastavení vlastností bloku a vytvoření předpisu
Testy
Do oblasti Testy se dostanete stiskem tlačítka
.
Sekce Testy slouží k prohlížení archívu všech testů, které byly vytvořeny
prostřednictvím aplikace iTutor Tester. Archiv je organizován
chronologicky po jednotlivých měsících v seznamu.
Animace: ukázka vytvoření testu, manipulace s již vytvořenými testy,
úprava vlastností testu
V seznamu si můžete prohlížet jak testy, tak předpisy a bloky témat a otázek, z kterých byl
test vytvořen.
136
Obr. 2.8.25 Seznam vytvořených testů
Obr. 2.8.26 Formulář s informacemi o vytvořeném testu
Pokud se nerovnají hodnoty uvedené v položce Max-Max skóre (Maximální bodové
hodnocení, které může uživatel dosáhnout v testu, náhodně sestaveném z otázek
s maximálním skóre) a v položce Min-Max skóre (Maximální bodové hodnocení, které může
uživatel dosáhnout v testu, náhodně sestaveném z otázek s minimálním skóre), je vhodné test
přepracovat tak, aby se rovnaly, a vytvořit jej znova.
137
Test může obsahovat otázky, které mají více samostatně bodovaných
variant.
Například otázka, kde jsou nabízeny čtyři varianty a správné jsou tři
varianty, každá za 0,33 bodů.
Potom hodnota maximálního bodového zisku za kompletní test nemusí
v důsledku desetinných hodnot představovat celé číslo.
Import otázek
Do modulu Tester je možné provést import otázek vytvořených v jiných
editorech.
Podmínkou je dodržení předepsané struktury souboru ve formátu XML.
Textové soubory určené pro import otázek musí být uložené v kódování
UTF-8. Je proto vhodné použít textový editor, který ukládá soubory
v tomto kódování.
Struktura importního souboru
Textový importní soubor musí mít následující strukturu:
<IMPORT>
< QUESTION NAME=" " >
</ QUESTION >
…
< QUESTION NAME=" " >
…
</ QUESTION >
</IMPORT>
•
•
•
importní soubor musí začínat značkou <IMPORT> a končit značkou </IMPORT>
mezi značkou <IMPORT> a </IMPORT> je uveden výčet jednotlivých otázek dle
jejich standardního popisu v XML jazyce
každá otázka je reprezentována svými párovými značkami <QUESTION> …
</QUESTION>
138
XML struktura otázek
Všechny značky i jejich atributy, které jsou zde uvedeny k jednotlivým
typům otázek, jsou povinné, tzn. nelze vynechat žádné značky či jejich
atributy.
Každý typ otázky obsahuje:
•
•
•
•
•
•
•
•
•
•
<QUESTION> … </ QUESTION > - značka reprezentující
otázku (mezi značky se uvádí text samotné otázky).
• NAME - název otázky.
• <TRACKING … /> - značka reprezentující vyhodnocení otázky.
• ENABLED - nabývá hodnot „true“ nebo „false“, pokud je
nastavena hodnota true“, otázka je započítána do vyhodnocení testu.
OBJECTIVE_ID - id otázky pro vyhodnocení.
WEIGHTING - váha otázky.
<INTERACTION …/> - značka reprezentující nastavení interakce.
LIMIT_TIME - není implementováno, takže bude vždy hodnota prázdná.
LIMIT_TRIES - omezení počtu změn odpovědi na otázku v rámci jednoho
spuštění – je implementováno pouze u otázek typu SC – nabývá číselných hodnot, „1“ znamená neomezeno. U ostatních typů otázek není implementováno a nastavuje se
na hodnotu „1“.
<COMMENT></COMMENT > - poznámka k otázce.
<FEEDBACK …></FEEDBACK> - značka reprezentující zpětnou odezvu
studentovi.
IMMEDIATE - okamžitá odezva – je implementováno pouze u otázek typu SC a
nabývá hodnot „true“ nebo „false“. U ostatních typů otázek se vždy nastavuje na
hodnotu „false“.
DELAYED - zpožděná zpětná odezva – je implementováno u všech typů otázek a
nabývá hodnot „true“ nebo „false“.
139
Příklad souboru s jednou otázkou typu „Volba z více možností“
<IMPORT>
<QUESTION NAME="Otázka 1" IMG="">Zadejte odpověď na otázku
<TRACKING ENABLED="true" OBJECTIVE_ID="Q001"
WEIGHTING="1"/>
<INTERACTION LIMIT_TIME="" LIMIT_TRIES="-1"/>
<COMMENT></COMMENT>
<FEEDBACK>
<DELAYED CORRECT="true"></DELAYED>
<DELAYED CORRECT="false"></DELAYED>
</FEEDBACK>
<ANSWER TYPE="SC-1" SIZE="2">
<CHOICE CHOICE_ID="ch1" CORRECT="false" SCORE="0"
FEEDBACK="">Ano</CHOICE>
<CHOICE CHOICE_ID="ch2" CORRECT="true" SCORE="1"
FEEDBACK="">Ne</CHOICE>
</ANSWER>
</QUESTION>
</IMPORT>
Animace: ukázka exportu a importu otázek, ukázkový soubor s otázkou
POT - Povinný úkol
S využitím poznatků z kapitoly 2.8 vytvořte v modulu Tester vlastní ukázkový test.
Přístup do modulu Tester
Můžete také využít kompletní ukázkový postup tvorby testu
Rozsah práce: test obsahující minimálně 10 otázek.
140
Testy, které můžete vytvořit v modulu Tester, jsou připraveny pro
přímé použití LMS iTutor. V systému iTutor budou automaticky
vyhodnocovány a informace o průběhu a výsledcích testu budou
ukládány do centrální databáze. Tyto údaje jsou přístupné jak
lektorovi, tak studujícím prostřednictvím výstupních sestav
(pohledů).
Lektor může sledovat mnoho parametrů od doby strávené nad
jednotlivými otázkami až po vyhodnocování úspěšnosti studentů v jednotlivých
otázkách.
Vygenerované testy jsou kompatibilní dle specifikací AICC, což umožňuje jejich
případné použití v jiných LMS, které tento formát podporují.
Tzv. obálka testu (tedy konečná vizuální podoba testu), který vytvoříte, je přednastavena
a nelze ji modifikovat. Výsledný test je generován ve formátu Macromedia Flash.
Instalace přehrávače tohoto formátu jak na vašem počítači, tak na počítači studenta, je
nutností pro správný běh.
Testové otázky můžete vytvářet v interaktivním prostředí webového prohlížeče. Otázky
ovšem také můžete do (z) systému přenést s využítím definičních XML souborů.
141