Ať už recykluješ hodnotící tabulku z loňska nebo jsi se rozhodnul/a udělat kompletní rework (prosím jen když k tomu budeš mít dobré důvody!), můžeš se opřít o níže uvedené principy hodnocení, které nejsou nutně TdA-specific, ale v každém ze zmíněných bodů můžeš nalézt hodnotu.
⭐ Férovost je proces, ne výsledek
Férové hodnocení nevzniká tím, že to „vyjde hezky v tabulce“, ale tím, jak je celý proces navržený. Ať už hodnocení designuješ ty, nebo někdo jiný, máte menší kontrolu nad jednotlivými verdikty, ale plnou kontrolu nad tím, kolik prostoru dáváte náhodě a biasu.
Klíčová dovednost není „být objektivní“, ale:
- navrhnout kritéria tak, aby je různí lidé četli podobně,
- dát hodnotitelům oporu v instrukcích,
- vědomě počítat s lidskou chybou a systémově ji tlumit.
Férovost v TdA neznamená dokonalou shodu bodů, ale minimalizaci systematických odchylek.
Eliminace biasu
Příkladem může být, že jednotlivé UX kategorie hodnotí stejní lidé napříč všemi týmy. Pokud budou přísní, budou pravděpodobně přísní vůči všem.
⭐ Hodnocení je nejsilnější vzdělávací nástroj soutěže
„Hej, proč jako máme 0 bodů u položky XSS? A co to vlastně je?“
Hodnocení může působit i jako koncentrovaný mentoring v extrémně krátkém čase. Nepřemýšlej jen nad tím, jak týmy rozdělit a kdy nakreslit tlustou čáru, ale také nad tím, co si týmy z hodnocení odnesou.
To znamená:
- navrhovat zpětnou vazbu tak, aby byla čitelná i bez osobního vysvětlení,
- upřednostňovat informace, které vedou k dalšímu kroku,
- vědomě pracovat s tím, že soutěžící čtou feedback ve stresu.
Pokud hodnocení nic nenaučí, selhává i tehdy, když je formálně správné.
Vzdělávání skrze hodnocení
V ideálním světě by týmy vůbec nezajímalo kolik mají bodů a na jakém místě jsou v celkovém pořadí. Týmy by si měli odnášet informace o tom, co dělat lépe a to by jim mělo být dostatečnou motivací. Ale to není v reálném světě možné, že? Více o tomto viz další bod.
⭐ Formativní a sumativní složka sledují jiné cíle – a je nutné je oddělit
Jedna z nejčastějších chyb je snaha, aby jedno hodnocení plnilo dvě role najednou. Při designu hodnocení se musí počítat s tím, že:
- sumativní složka slouží soutěži (pořadí, postup, vítěz),
- formativní složka slouží týmům (pochopení, růst, korekce směru).
Tyto cíle se přirozeně dostávají do konfliktu.
Řešením není vybrat si jen jeden z nich, ale vědomě navrhnout jejich koexistenci – v tónu, struktuře i očekáváních.
Oddělení bodů od růstu není slabost hodnocení, ale jeho zralost. Jak ale na to? Zatím netestované, ale do budoucna zajímavé uchopní by mohlo být například:
- první iterace = feedback only (bez bodů, bez pořadí),
- body až za poslední verzi nebo zvolený checkpoint,
- povinné „mezikroky“ s komentářem, ne se skóre.
TdA24: Míchání formativního a sumativního hodnocení
Formativní zpětná vazba (i když poměrně neuhlazená) byla jako pokus přidána jako malý textík k bodovému hodnocení. Bohužel, dokud je ve škole (nebo soutěži) hlavním signálem výsledek a skóre, formativní zpětná vazba se nikdy nestane skutečně formativní – jen „přípravou na verdikt“ (zdroj).
Oddělení formativního a sumativního hodnocení
Je otevřenou otázkou do budoucích ročníků, jak zajistit oddělení formativního a sumativního hodnocení. Nabízí se možnost průběžného (sebereflektivního?) checkpointu, kde by se týmům někdo věnoval detailněji, což částečně plní odborný , ale aktuálně chybí didaktický přesah.
⭐ Ideální hodnocení neexistuje – existuje jen dostatečně dobré
Každý ročník TdA probíhá pod omezeními:
- omezený čas,
- omezený počet lidí,
- různá úroveň zkušeností hodnotitelů.
Je potřeba umět dělat kompromisy vědomě, ne náhodně – občas je lepší mít hrubější hodnocení s méně informacemi, pokud budou čitelné a je realistické ho s kapacitami ET realizovat.