Vyhodnocení ankety k používání systému Virtlab studenty POS ve školním roce 2008/09

Z VirtlabWiki

Anketa sestávala ze sekce týkající se spokojeností se způsobem používání Virtlabu a s jeho provozem a ze sekce k organizaci vypracovávání úloh předmětu POS na Virtlabu a jejich odevzdávání. Poznatky získané z ankety jsou shrnuty níže ve struktuře odpovídající jednotlivým otázkám ankety. Komentáře vedení vývojového tými Virtlab k vyjádřením respondentů jsou uvedeny kurzívou.

Anketu vyplnilo 102 respondentů (z celkového počtu 350 studentů POS zapsaných v ZS 2008/2009)

Co pozitivního Vám přinesla možnost práce s Virtlabem ?

možnost práce na projektu z pohodlí domova
možnost zopakovat si prakticky procvičovanou problematiku ze cvičení
možnost reálné práce s reálnými prvky, běžně nedostupnými
- "online zážitek oproti PacketTraceru" - cit. jedné z odpovědí
možnost práce s profesionálními síťovými prvky Cisco
možnost otestovat si funkčnost řešení projektu před jeho odevzdáním
nová zkušenost
možnost vyzkoušet si technologii bez obav, že ji pokazím ;-)

V čem Vám byla práce s Virtlabem nepříjemná ?

Velká latence appletu, při každé rezervaci jiné namapování fyzických prvků a propojujících síťových rozhraní, práce s rezervačním systémem. Detaily viz níže.

Připadalo Vám při práci s Virtlabem něco matoucí nebo nesrozumitelné ? Co ?

Práce se systémem připadala respondentům po krátném zorientování v GUI povětšinou srozumitelná. Jako matoucí a neergonmické bylo vnímání GUI pro rezervace (konkrétně viz příslušná sekce níže).

Pokud jste během své práce narazili na chybu systému, nahlásili jste ji z GUI Virtlabu ?
- Pokud ano, jak jste byli spokojeni s ohlašovacím formulářem a s reakcí provozního týmu Virtlabu ?
- Pokud ne, můžete uvést, proč jste se rozhodli chybu nenahlásit ?

S reakcí vývojového týmu i její rychlostí byli prakticky všichni studenti spokojeni. Někteří studenti hlásili chybu cvičícímu namísto do bugtracking systému Virtlabu. Někteří studenti uvádějí, že nahlášení chyby považovali za zbytečné nebo je tato možnost nenapadla (z toho vyvozujeme potřebu větší propagace možnosti hlášení chyb a vysvětlení jejího smyslu pro zvýšení stability a kvality systému). Dva studenti uvedli, že chybu nenahlásili proto, že by jim to v dané chvíli konkrétně k ničemu nepomohlo. Jeden student uvedl, že cbybu nenahlásil, protože předpokládal, že to udělá někdo jiný.

Máte konkrétní komentáře/návrhy k následujícím komponentám/částem/vlastnostem systému ?

GUI:

GUI bylo hodnoceno zpravidla jako vyhovující a po "proklikání" systému přijatelně přehledné (s výjimkou systému rezervace, viz níže). Některým studentům se zdálo "málo atraktivní". Zde vidíme prostor pro aplikaci vhodného grafického designu - systém byl zatím orientován hlavně na funkčnost a osvědčenou organizaci GUI jsme si dovolili s úctou k jeho autorovi převzít od "starého dobrého KatISu". Pro lepší úvodní zorientování v GUI jsme vyhotovili krátký uživatelský manuál, který je nyní k dispozici přímo v GUI Virtlabu.

Rezervační systém:

Někteří studenti navrhovali rezervační systém úplně zrušit a zajistit, aby bylo možné přistupovat kdykoli, kdy mají na řešení úlohy chvilku času.

Protože se jedná o vzdálené zpřístupnění omezeného počtu fyzických laboratorních prků, je rezervační systém nezbytný, aby studenti při práci na zařízeních nekolidovali. Rezervace od aktuálního okamžiku je možná kdykoli (je-li právě k dispozici dostatek laboratorních prvků). Pro zvýšení počtu paralelně rezervovatelných úloh máme v úmyslu v nejbližších měsících navýšit počet laboratorních prvků (předpokládáme zvýšení počtu paralelně realizovatelných rezervací úloh POS o 2).

Bylo navrhováno více specifičtější hlášení v případě neúspěchu rezervace.

O problému málo informativního hlášení víme. Bohužel je poněkud svázán s aktuální implementací algoritmu dynamicky vyhledávajícího vhodné laboratorní prvky pro sestavení topologie požadované úlohy. Na reimplementaci algoritmu zlepšující tuto vlastnost postupně pracujeme. Povětšinou bylo důvodem pro neuskutečnění rezervace nedostatečný počet volných laboratorních prvků, což je také v hlášení o neúspěchu rezervace uvedeno.

Návrh realizace mpžnosti ukončit rezervací předčasně v případě dřívějšího dokončení úlohy nebo zjištění chyby systému znemožňující další práci.

Tato možnost je bohužel systémově dosti obtížná. Prvky mohou být rezervovány v mnoha lokalitách, v nichž je třeba rezervaci zrušit, je třeba explicitně vyžádat rozpojení distribuované topologie přeplánovat mazací akce po skončení rezervace. Vedeme ji nicméně v patrnosti pro implementaci v příštích verzích. Prozatím jsme se alespoň snažili v případě chybného chování systému studentům, kteří byli chybou dotčeni, administrátorským zásahem rezervaci smazat, aby nebyla ovlivněna jejich týdenní kvóta v okolí problematické rezervace.

Zpřehlednit GUI pro rezervace, implementovat kalendář pro zadávání data. Nabízet jen volné timesloty namísto přehledu rezervací ostatních uživatelů.

Na zpřehlednění GUI pracujeme. Nabízení volných timeslotů je však problematické s ohledem na základní filosofii Virtlabu - dynamické vyhledávání vhodných prvků pro rezervovaný timeslot v době zadávání rezervace dotazy ve všech lokalitách Virtlabu. Zvažujeme možnost automatizovaného prohledávání rozumného "budoucího okolí" okamžiku začátku požadované rezervace formou zkusmých žádostí o rezervaci s krokem např. 5 minut.

Umožnit filtraci seznamu rezervací jen pro časové období.

Bylo realizováno.

Neobvyklý/neergonomický systém výběru více kolegů při rezervaci.

Bude optimalizováno.

Zvýšit počet prvků ve Virtlabu pro umožnění paralelních rezervací více skupinám studentů.

Bude realizováno během LS 2008/2009. Předpoklad dodání cca 6 nových routerů a 4 nových přepínačů. Současně bude opětovně zprovozněno sdílení prvků z lokality OPF SLU Karviná, dočasně odstavené po dobu zimního semestru z důvodu nespolehlivého připojení tamější lokality IR pojítkem závislým na povětrnostních podmínkách (mlhy).

Doplnit tabulku obsazenosti systému.

Bude realizováno s příští verzi rezervačního serveru - možnost zobrazení, které fyzické prvky které lokality jsou kdy obsazeny. Z bezpečnostních důvodů bude možná zobrazení omezeno na vlastní lokalitu uživatele (?), v případě projektů POS se nicméně téměř všechny rezervace realizovaly lokálně.

Přístupový applet:

Byla navrhována možnost sdílení konzole jednoho a téhož zařízení.

V nové implementaci konzolového serveru (předpoklad nasazení v letních měsících 2009) tato možnost již bude implementována - studenti skupiny budou moci přistupovat na konzole skupinou rezervovaných zařízení paralelně.

Applet je pomalý.

Z důvodu požadavku provozovatelnosti na různých platformách jsme nenašli lepší portabilní řešení, než je platforma Java. V současnosti plánujeme dát k dispozici variantu standalone Java aplikace spouštěné z JWS. K latenci při psaní znaků přispělo také umělé zpožděním několik desítek ms, které konzolový server z technických důvodů vnášel při zápisu na sériovou linku. Toto se nám podařilo vyřešit jiným způsobem a v nové verzi konzolového serveru budou umělá zpoždění odstraněna.

Zpoždění může být způsobeno také samotným připojením uživatele k Internetu (je častým jevem, že přenosová rychlost je dostatečná, avšak latence vysoká (např. CDMA) - vyzkoušejte si dobu odezvy ping na server Virtlabu).

Nutnost kliknutí do okna appletu pro získání focusu (i při překlíkávání mezi záložkami prohlížeče)

Předávání focusu je bohužel z větší části v režii prohlížeče. Můžeme se nicméně pokusit applet vyladit alespoň pro majoritní prohlížeče (Firefox, IE) formou JavaScriptu.

Applet by mohl mít paměť na historii více řádků (scrollbar)

Pokusíme se implementovat.

Funkce Vložit (Paste) vkládá nadbytečné tabulátory.

Toto chování je se nám nepodařilo reprodukovat.

Inactivity timeout appletu způsobuje nežádoucí odpojování klienta-

Inactivity timeout byl implementován s ohledem na skupinovou práci a řešení případů studenta odšedšího od terminálu bez zavření appletu, což by znemožnilo přístup ostatním členům skupiny až do konce rezervace. V nové implementaci konzolového serveru zvažujeme jednak dát možnost sdíleného paralelního přístupu celé skupinky studentů na konzolu jednoho a téhož zařízení a jednak reimplementaci inactivity timeoutu tak, aby konzolový server studenta odpojil po vypršení "soft inactivity timeoutu" až v případě žádosti jiného studenta o přístup na jím obsazenou konzoli. Mimo to bude ponechán "hard inactivity timeout" pro odpojení, avšak po výrazně delší době neaktivity.

Funkce odchycení výstupu appletu do souboru na některých platformách nefunguje správně (vynechává znaky).

Problém diagnostikujeme a budeme dále řešit.

Systém kvót:

Kvóty hodnotili někteří studenti jako problematické, nesrozumitelné nebo zbytečné, Požadovali také výpis aktuálního zůstatku kvóty.

S ohledem na počet uživatelů Virtlabu a omezený rozsah laboratorního vybavení jsou (a patrně vždy budou) kvóty bohužel nutností. Jejich smyslem je chránit standardní uživatele před uživateli, kteří by měli tendenci zabrat laboratorní vybavení čistě pro sebe. Jako nedostatek jsme vyhodnotili malou informovanost o způsobu výpočtu kvót - nejedná se o ubývající a pravidelně obnovovaný "kredit", ale o omezení počtu rezervovaných hodin v plovoucím (7-denním) časovém okně. Proto také není možné vypisovat aktuální zůstatek "kreditu" (žádný neexistuje). Vysvětlení bude propříště umístěno mezi Informace pro uživatele po přihlášení do systému.

Ostatní části (příp. návrhy na rozšíření nebo změny stávajících funkcí):

Na některých instalacích WWW prohlížeče je problematická práce s applety. Byla navrhována realizace klienta systému Virtlab ve formě standalone aplikace.

Pracujeme na systému spouštění terminálového appletu jako plnohodnotné Java aplikace spouštěné pomocí technologie Java Web Start (JWS).

Chybí možnost uložení rozpracované konfigurace laboratorních zařízení pro pokračování v příští rezervaci.

Na realizaci archivu konfiguraci a poloautomatického downloadu/uploadu konfigurací z/do laboratorních zařízení pracujeme. Systém bude automaticky řešit i přepisování názvu síťových rozhraní v konfiguračních souborech podle aktuálně přidělených prvků v jednotlivých rezervacích.

Při každé rezervaci použity jiné fyzické prvky propojené jinak pojmenovanými síťovými rozhraními.

Fakt měnícího se propojení plyne ze základní filosofie Virtlabu dynamického vyhledávání vhodných prvků pro realizaci požadované topologie. Dynamické vyhledávání jsme implementovali po špatných zkušenostech se statickým přiřazením, kdy alternativní úlohy kolidovaly o konkrétní síťové prvky, pokud ty byly předepsány explicitně svou identitou. Protože toto zdůvodnění patrně nebylo dostatečně uvedeno ve známost, umístíme vysvětlení a upozornění na fakt měnícího se propojení a použitých fyzických laboratorních prvků do MOTD pro uživatele. Rovněž pracujeme na systému podpory přepisu názvu rozhraní v konfiguracích síťových prvků mezi následnými rezervacemi téže úlohy.

Systém vykazoval časté výpadky.

Toto je bohužel pravda. Situace byla zapříčiněna tím, že v takto masovém měřítku (nasazení v předmětu pro 350 zapsaných studentů) systém dosud nikdy nasazen nebyl a přes veškeré předchozí testy se až při tomto nasazení objevily (zejména v počátku provozu) některé chyby. Chyby jsme se snažili přůběžně a urychleně odstraňovat a studenty, jichž se chyba dotkla, informovat (v některých případech i v předstihu). Došlo také k několika HW výpadkům již poměrně letitého laboratorního vybavení, jimž nebylo v našich možnostech předejít. Výrazné zvýšení spolehlivosti ke konci semestru nás vede k optimistickému předpokladu, že v příštím běhu předmětu bude situace s nasazením tohoto poměrně komplexního a stále se rozšiřujícího distribuovaného systému již výrazně lepší

Studenti rušivě pociťují heterogenitu laboratorního vybavení (mírně rozdílné příkazy na některých laboratorních prvcích / IOSech).

Heterogenitě vybavení se bohužel nedokážeme vyhnout. Vybavení Virtlabu je postupně skládáno a nově dokupováno z různých zdrojů, pro zajištění maximálního počtu kusů jsou integrována i starší zařízení. Rozdíly v konfiguračních příkazech jsou minimální, vnímáme však potřebu upozornit na ně studenty krátkou informací uvedenou v MOTD pro uživatele. V technické praxi setkáte s obdobnou situací - zcela homogenní síť najdete jen na velmi málo místech (a to jen po omezenou dobu, než dojde k nutnému rozšíření sítě novými odlišnými modely, výkonnostně efektivnějšími nebo cenově výhodnějšími).

Aktualizace laboratorních síťových prvků.

Je pravda, že Virtlab v současné době disponuje vybavením spíše starším - převládají modely Cisco řady 2500 a 4000. Přestože je toto vybavení pro účely výuky technologií probíraných v POS dotačující, realizujeme (i s ohledem na fyzickou opotřebovanost a občasné HW výpadky) postupnou obměnu zejména za směrovače řady Cisco 2800. V současné době jsme získali finance ze 2 grantů Fondu rozvoje vysokých škol, které obnovu prvků ve Virtlabu podpoří. Další nákupy plánuje realizovat také naše RCNA.

Další komentáře, hodnocení, návrhy

Další komentáře se objevily jen v několika jednotlivých dotaznících. Jejich obsah byl zapracován do vyjádření k ostatním konkrétním sekcím.

Jak probíhala skupinová spolupráce při řešení Vašich úloh ? (zakroužkujte)

- Jednotliví členové byli přihlášení z různých počítačů na různých místech - 30 respondentů.
- Jednotliví členové byli přihlášení z různých počítačů ve společné místnosti - 20 respondentů
- Členové skupiny pracovali společně od jednoho počítače- 27 respondentů
- 24 respondentů se ke způsobu své práce nevyjádřilo.

Ze statistiky vyplývá mírně většinové využití plně distribuovaného vzdáleného přístupu v režimu, pro který byl Virtlab původně koncipován. Pro vývojový tým z toho plyne motivace pro implementaci komunikačních kanálů mezi vzdáleně spolupracujícími studenty. V současné době jsme např. dokončili integraci systému VirtlabMail, umožňující uživatelům Virtlabu vzájemně si předávat zprávy zobrazované online v GUI Virtlabu.

Ve dvou případech byla kritizována problematičnost týmové spolupráce (někteří členové týmu se pouze podepsali).

Cvičící pedagogové nemají bohužel možnost řešit vztahy uvnitř studentských týmů. Vedení k týmové spolupráci je nutnou součástí VŠ výuky, v oblasti počítačových sítí obzvláště (fïrmy tuto schopnost často vyžadují). I negativní zkušenost může být pro formování svého přístupu k týmové spolupráci v budoucnu užitečná. Vyučující předmětu POS doporučují usilovat již při rozdělování studentu do týmů o formování týmů s těmi kolegy, na které se je možné spolehnout.

Studenti kombinovaného studia vnímají jako reálně zorganizovatelné skupinky nejvýše 2 studentů, případně preferují individuální práci.

Komentáře k organizaci odevzdávání úloh (rozdělení na celky, rozložení, v čase, ...)

Organizace, dělení na části a termíny odevzdávání povětšinou vyhovovaly. V několika případech by bylo preferována rozdělení na větší počet menších částí.

K většímu počtu menších skupinek nebo k individuální práci jsme bohužel nemohli přistoupit s ohledem na zátěž při definici zadání a opravě takovéhoto množství vzájemně různých zadání (aktuálně cca 350 studentů). Od příštího roku bude situace usnadněna implementací automatického systému testování studentských konfigurací na Virtlabu, takže bude snížení počtu studentů ve skupinkách reálné.

Časování bylo problematické pouze pro jednu skupinu studentů, v níž odpadl velký počet cvičení vlivem svátků a volna.

Svátky a vyhlášená volna nemůžeme nijak ovlivnit, často se ani o nich v předstihu dozvědět. Úprava časování a termínu odevzdání je v takovýchto případech v kompetenci cvičícího - pokud nepřijme žádné řešení aktivně, je třeba se s ním v takovémto případě domluvit.

[editovat]

Shrnutí celkového hodnocení

Celkově studenti hodnotí Virtlab poměrně kladně. Charakterizující jsou patrně věty "Tož přes pár problémů s funkčností to docela šlo" a "celkem se povedl" ;-) vyňatě z dotazníků.

Negativněji hodnotí Virtlab uživatelé zvyklí na Packet Tracer. Využití Packet Traceru namísto Virtlabu uvedlo 9 respondentů, 1 se nepřímo odkazoval na "využití alternativního programu". Využití Packet Traceru předpokládáme také u 3 studentů, kteří pouze uvedli, že s Virtlabem nepracovali. Vyjádření k použití PacketTraceru je uvedeno v sekci #Vyjádření ke srovnání s Packet Tracerem.

[editovat]