Pojďme naplánovat prezenční akci, kde budeme hodnotit aplikace.
Termín a čas
Hodnocení SK i NK je akce na dva dny, které by měly následovat neprodleně po ukončení daného kola. Aktivnější práce vychází zhruba na 0,7 člověkohodiny na tým v NK a 0,9 člověkohodiny na tým v SK (po zavedení Špechfishe). Tzn., pokud v Nominačním kole hodnotíš 120 týmů a chceš to stihnout za 4+4 hodiny, budeš potřebovat minimálně
Proč 4+4 hodiny? Hodnotitelé se nezvládají soustředit delší dobu, dělají pak více chyb a jsou méně produktivní. Raději prolož hodnocení jinými aktivitami a rozděl ho na dva dny.
Prostory
K hodnocení se nabízí dvě možnosti:
- Spolkové prostory MUNI
Ty je možné zarezervovat skrze spřízněný spolek Klub evenťáků. Pozor, víkendové rezervace jsou možné jen přímou domluvou s koordinátory na adrese spolky@rect.muni.cz. - Whalebone
Hezké prostory v centru Brna, které je možné zarezervovat skrze KOO nebo někoho z VVčka.
Lidé
Všichni hodnotitelé nemuí být ajťáci z TdA org týmu! Je potřeba zajistit alespoň 1-2 lidi zabývající se grafikou až polovina lidí mohou být organizátoři ostatních soutěží. Nezapomeň poslat dotazník (min 2 týdny předem), kde se lidé závazně přihlásí!
Průběh
Za předpokladu, že máme připravené hodnotící scénáře, rozběhlé aplikace po domluvě s IT, případně bulkově spuštěný skript pro nahrání testovacích dat, můžeme se hned po srazu pustit do rychloškolení. Na začátek:
- ukaž všem jak používat Špechfish,
- rychle zopakuj zadání daného kola.
Sbírej poznámky!
Hodnocení je nejlepší příležitost, jak sesbírat mnoho poznámek ke VŠEM soutěžním aplikacím, což může být užitečné i pro další aktivity, jako je příprava Grandfinále, mentoring, příprava formativní zpětné vazby atd.
Když nic nesesbíráš teď, už to budeš velmi těžce získávat později.
UX
Jako první se vždy hodnotí UX, protože se díky němu všichni podívají na všechny aplikace a dostnou tak lepší obrázek o tom, jak vypadá lepší i horší řešení. Všechna UX kritéria jsou subjektivní, existuje připravené slovní hodnocení úrovní (e.g. Nothing, Minor+, Major+, Critical+), ale konkrétní kritéria za zaždou hodnocenou položkou si stanovuje až skupina hodnotitelů.
Základní principy:
- hodnotitelé si sami definují mentální laťku,
- hodnocení je relativní, ne absolutní,
- slovní škála slouží jako label na rozdíly.
Jak pomoci se stanovením subjektivních kritérií
Pokud má nějaká skupinka hodnotitelů potíže se stanovováním konkrétních kritérií, pomož jim nastavit kotvy. Ať si projdou cca 10–15 aplikací bez hodnocení a v rychlosti si zapíší poznámky typu:
- „tohle je hodně slabé“,
- „tohle funguje, ale je to generické“,
- „tohle je fakt dobře promyšlené“. A pak si pro každý subjektivní aspekt pojemnují (a třeba i vyscreenshotují):
🟥 Spodní kotvu – jasně slabý příklad
🟨 Střední kotvu – „ok, neurazí, ale nenadchne“
🟩 Horní kotvu – výrazně nadprůměrné řešení
Veškeré hodnocení probíhá minimálně párově, vytvoř dvou- a vícečlené skupinky, které budou vždy hodnotit kategorii napříč VŠEMI aplikacemi.
FX
FX hodnotíme trochu jinak. Skupinky (klidně už i proházené) si postupně rozebírají zatím nehodnocené aplikace a jakmile nějakou obdrží, projdou celý set definovaných scénářů. Každá položka je buď splněna nebo nesplněna, nic mezi. Scénáře jsou definované tak, že jejich doslovné následování vždy vede k jasnému výsledku.
Základní principy:
- hodnotitelé neodhadují záměr, ale ověřují pozorovatelné chování aplikace,
- postup se řídí doslovně definovaným scénářem (bez improvizací),
- pokud výsledek není jednoznačný, považuje se scénář za nesplněný,
- hodnocení se opírá o reprodukovatelnost – jiný hodnotitel by při stejném postupu měl dojít ke stejnému výsledku.
Zápisky
Právě během hodnocení FX vzniká prostor k sepisování zápisků, které mohou být podkladem pro předání formativní zpětné vazby týmům.
Předání výsledků
Absolutní výsledky (celkové pořadí v soutěži) musí být zveřejněné na webu soutěže, ale detailní výsledky je lepší dát týmům individuálně, neboť obsahují citlivé informace o jejich řešeních, možný feedback atd.
Formativní zpětná vazba
Pokud se podaří oddělit formativní zpětnou vazbu od sumativního hodnocení, týmy budou méně stresovány a budou lépe schopny se z ní učit. Stále platí, že by neměla být přímo součástí hlavního hodnocení, ale pokud se k ní dostanemenapříkald až v rámci hodnocení NK, můžeme si ji poznamenat a pak ji propojit s SK nebo ji týmům předat v jiný moment (buď výrazně dříve nebo později) než absolutní výsledky.
Příklad krátké formativní zpětné vazby:
Váš tým vstupoval do NK s minimálním pochopením architektury aplikací a základy HTML a CSS. V průběhu soutěže jste však systematicky zapracovali zpětnou vazbu, udělali velký posun v oblasti designu UI a přepracoval strukturu řešení do vhodnějšího frameworku. V Soutěžním kole jste pak vystupovali velmi profesionálně a bylo příjemné s vámi spolupracovat zejména díky efektivně vedeným schůzkám. I přestože jste nepostoupili do GRF, váš posun považujeme za mimořádný.
Pro další projekty bychom vám doporučili podívat se na
XXa zaměřit seYY. Dobrým zdrojem je např.ZZ, který toto ukazuje na jednoduchých příkladech.