Vyhodnocení ankety k používání systému Virtlab studenty POS ve školním roce 2008/09

Z VirtlabWiki

Anketa sestávala ze sekce týkající se spokojeností s technickým řešením Virtlabu a jeho provozem a ze sekce k organizaci vypracovávání úloh předmětu POS na Virtlabu a způsobu odevzdávání. Poznatky získané z ankety jsou shrnuty níže ve struktuře odpovídající jednotlivým otázkám ankety. Komentáře vedení vývojového tými Virtlab k některým vyjádřením jsou uvedeny kurzívou.

Anketu vyplnilo XXX respondentů (z celkového počtu 350 studentů POS zapsaných v ZS 2008/2009)

Co pozitivního Vám přinesla možnost práce s Virtlabem ?

• možnost práce na projektu z pohodlí domova
• možnost zopakovat si prakticky procvičovanou problematiku ze cvičení
• možnost reálné práce s reálnými prvky, běžně nedostupnými
  • "online zážitek oproti PacketTraceru" - cit. jedné z odpovědí
• možnost práce s profesionálními síťovými prvky Cisco
• možnost otestovat si funkčnost řešení projektu před jeho odevzdáním
• nová zkušenost
• možnost vyzkoušet si technologii bez obav, že ji pokazím ;-)

V čem Vám byla práce s Virtlabem nepříjemná ?

Velká latence appletu, při každé rezervaci jiné namapování fyzických prvků a propojujících síťových rozhraní, práce s rezervačním systémem. Detaily viz níže.

Připadalo Vám při práci s Virtlabem něco matoucí nebo nesrozumitelné ? Co ?

GUI připadala práce se systémem po krátném zorientování v GUI povětšinou srozumitelná. Problematicky bylo vnímání GUI pro rezervace.

Pokud jste během své práce narazili na chybu systému, nahlásili jste ji z GUI Virtlabu ?

• Pokud ano, jak jste byli spokojeni s ohlašovacím formulářem a s reakcí provozního týmu Virtlabu ?
• Pokud ne, můžete uvést, proč jste se rozhodli chybu nenahlásit ?

S reakcí vývojového týmu i její rychlostí byli prakticky všichni studenti spokojeni. Někteří studenti hlásili chybu cvičícímu namísto do bugtracking systému Virtlabu. Někteří studenti uvádějí, že nahlášení chyby považovali za zbytečné nebo je tato možnost nenapadla (z toho vyvozujeme potřebu větší propagace možnosti hlášení chyb a vysvětlení jejího smyslu). Někteří studenti uvedli, že chybu nenahlásili proto, že by jim to v dané chvíli konkrétně k ničemu nepomohlo.

Máte konkrétní komentáře/návrhy k následujícím komponentám/částem/vlastnostem systému ?

• GUI:

GUI bylo hodnoceno zpravidla jako vyhovující a po "proklikání" systému přijatelně přehledné (s výjimkou systému rezervace, viz níže). Některým studentům se zdálo "málo atraktivní". Zde vidíme prostor pro aplikaci vhodného grafického designu - systém byl zatím orientován hlavně na funkčnost a organizaci GUI ve stylu | "starého dobrého KatISu". Pro lepší úvodní zorientování v GUI jsme vyhotovili krátký uživatelský manuál, který je nyní k dispozici přímo v GUI Virtlabu.

• Rezervační systém:

Někteří studenti navrhovali rezervační systém úplně zrušit a zajistit, aby bylo možné přistupovat kdykoli, kdy mají na řešení úlohy chvilku času.

Aby studenti na zařízeních nekolidovali, je rezervační systém nezbytný. Rezervace od aktuálního okamžiku je možná kdykoli (je-li právě k dispozici dostatek laboratorních prvků). Pro zvýšení počtu paralelně rezervovatelných úloh máme v úmyslu v nejbližších měsících navýšit počet laboratorních prvků (předpokládáme zvýšení počtu paralelně realizovatelných rezervací úloh POS o 2).

Bylo navrhováno více specifičtější hlášení v případě neúspěchu rezervace.

O problému málo informativního hlášení víme. Bohužel je poněkud svázán s aktuální implementací algoritmu dynamicky vyhledávajícího vhodné laboratorní prvky pro sestavení topologie požadované úlohy. Povětšinou bylo pro neuskutečnění rezervace nedostatečný počet volných laboratorních prvků, což je také v hlášení o neúspěchu rezervace uvedeno.

Návrh realizace mpžnosti ukončit rezervací předčasně v případě dřívějšího dokončení úlohy nebo zjištění chyby systému znemožňující další práci.

Tato možnost je bohužel systémově dosti obtížná. Prvky mohou být rezervovány v mnoha lokalitách, v nichž je třeba rezervaci zrušit, je třeba explicitně vyžádat rozpojení distribuované topologie přeplánovat mazací akce po skončení rezervace. Vedeme ji nicméně vedeme v patrnosti pro implementaci v příštích verzích. Prozatím jsme se alespoň snažili v případě chybného chování systému studentům, kteří byli chybou dotčeni, administrátorským zásahem rezervaci smazat, aby nebyla ovlivněna jejich týdenní kvóta v okolí problematické rezervace.

Zpřehlednit GUI pro rezervace, implementovat kalendář pro zadávání data. Nabízet jen volné timesloty namísto přehledu rezervací ostatních uživatelů.

Na zpřehlednění GUI pracujeme. Nabízení volných timeslotů je však problematické s ohledem na základní filosofii Virtlabu - dynamické vyhledávání vhodných prvků pro rezervovaný timeslot v době zadávání rezervace dotazy ve všech lokalitách Virtlabu. Zvažujeme možnost automatizovaného prohledávání rozumného "budoucího okolí" aktuálního okamžiku formou zkusmých žádostí o rezervaci s krokem např. 5 minut.

Umožnit filtraci seznamu rezervací jen pro časové období.

Bylo realizováno.

Neobvyklý/neergonomický systém výběru více kolegů při rezervaci.

Bude optimalizováno.

Zvýšit počet prvků ve Virtlabu pro umožnění paralelních rezervací více skupinám studentů.

Bude realizováno během LS 2008/2009. Předpoklad dodání cca 6 nových routerů a 4 nových přepínačů. Současně bude opětovně zprovozněno sdílení prvků z lokality OPF SLU Karviná, dočasně odstavené po dobu zimního semestru z důvodu nespolehlivého připojení tamější lokality IR pojítkem závislým na povětrnostních podmínkách (mlhy).

Doplnit tabulku obsazenosti systému.

Bude realizováno s příští verzi rezervačního serveru - možnost zobrazení, které fyzické prvky které lokality jsou kdy obsazeny. Z bezpečnostních důvodů bude možná zobrazení omezeno na vlastní lokalitu uživatele (?), v případě projektů POS se nicméně téměř všechny rezervace realizovaly lokálně.

• Přístupový applet:

Byla navrhována možnost sdílení konzole jednoho a téhož zařízení.

V nové implementaci konzolového serveru (předpoklad nasazení v letních měsících 2009) tato možnost již bude implementována - studenti skupiny budou moci přistupovat na konzole skupinou rezervovaných zařízení paralelně.

Applet je pomalý.

Z důvodu požadavku provozovatelnosti na různých platformách jsme nenašli lepší portabilní řešení, než je applet. V současnosti plánujeme dát k dispozici variantu standalone Java aplikace spouštěné z JWS (což ovšem odezvy zásadně nezlepší, spíš omezí nepříjemné efekty spojené se spouštěním appletu v některých prohlížečích). Latence při psaní znaků může být způsobena také samotným připojením uživatele k Internetu (je častým jevem, že přenosová rychlost je dostatečná, avšak latence vysoká - vyzkoušejte si ping na server Virtlabu).

Nutnost kliknutí do okna appletu pro získání focusu (i při překlíkávání mezi záložkami prohlížeče)

Předávání focusu je bohužel z větší části v režii prohlížeče. Můžeme se nicméně pokusit applet vyladit alespoň pro majoritní prohlížeče (Firefox, IE).

Applet by mohl mít paměť na historii více řádků (scrollbar)

Pokusíme se implementovat.

Funkce Vložit (Paste) vkládá nadbytečné tabulátory.

Toto chování je patrně závislé na platformě klienta. Pokusíme se diagnostikovat a odstranit.

Inactivity timeout appletu způsobuje nežádoucí odpojování klienta-

Inactivity timeout byl implementován s ohledem na skupinovou práci a řešení případů studenta odšedšího od terminálu bez zavření appletu, což by znemožnilo přístup ostatním členům skupiny až do konce rezervace. V nové implementaci konzolového serveru zvažujeme jednak dát možnost sdíleného paralelního přístupu celé skupinky studentů na konzolu jednoho a téhož zařízení a jednak reimplementaci inactivity timeoutu tak, aby studenta odpojil po vypršení "soft inactivity timeoutu" až v případě žádosti jiného studenta o přístup na jím obsazenou konzoli. Mimo to bude ponechán "hard inactivity timeout" pro odpojení, avšak po výrazně delší době neaktivity.

Funkce odchycení výstupu appletu do souboru na některých platformách nefunguje správně (vynechává znaky).

Problém diagnostikujeme a budeme dále řešit.

• Systém kvót:

Kvóty hodnotili někteří studenti jako problematické, nesrozumitelné nebo zbytečné, Požadovali také výpis aktuálního zůstatku kvóty.

S ohledem na počet uživatelů Virtlabu a omezený rozsah laboratorního vybavení jsou (a patrně vždy budou) kvóty bohužel nutností. Jejich smyslem je chránit standardní uživatele před uživateli, kteří by měli tendenci zabrat laboratorní vybavení čistě pro sebe. Jako nedostatek jsme vyhodnotili malou informovanost o způsobu výpočtu kvót - nejedná se o ubývající a pravidelně obnovovaný "kredit", ale o omezení počtu rezervovaných hodin v plovoucím časovém okně. Proto také není možné vypisovat aktuální zůstatek "kreditu" (žádný neexistuje). Vysvětlení bude propříště umístěno mezi Informace pro uživatele po přihlášení do systému.

• Ostatní části (příp. návrhy na rozšíření nebo změny stávajících funkcí):

Na některých WWW instalacích prohlížeče je problematická práce s applety. Byla navrhována realizace klienta systému Virtlab ve formě standalone aplikace.

Pracujeme na systému spouštění terminálového appletu jako plnohodnotné Java aplikace spouštěné pomocí technologie Java Web Start (JWS).

Chybí možnost uložení rozpracované konfigurace laboratorních zařízení pro pokračování v příští rezervaci.

Na realizaci archivu konfiguraci a semiautomatického downloadu/uploadu konfigurací z laboratorních zařízení pracujeme. Systém bude automaticky řešit i přepisování názvu síťových rozhraní podle aktuálně přidělených prvků v jednotlivých rezervacích.

Při každé rezervaci použity jiné fyzické prvky propojené jinak pojmenovanými síťovými rozhraními.

Fakt měnícího se propojení plyne ze základní filosofie Virtlabu dynamického vyhledávání vhodných prvků pro realizaci požadované topologie. Dynamické vyhledávání jsme implementovali po špatných zkušenostech se statickým přiřazením, kdy akternativní úlohy kolidovaly o konkrétní síťové prvky, pokud byly předepsány explicitně svou identitou. Protože toto zdůvodnění patrně nebylo dostatečně uvedeno ve známost, umístíme vysvětlení a upozornění na fakt měnícího se propojení a použitých prvků do MOTD pro uživatele. Rovněž pracujeme na systému podpory přepisu názvu rozhraní v konfiguracích síťových prvků mezi následnými rezervacemi téže úlohy.

Systém vykazoval časté výpadky.

Toto je bohužel pravda. Situace byla zapříčiněna tím, že v takto masovém měřítku (nasazení v předmětu pro 350 zapsaných studentů) systém dosud nikdy nasazen nebyl a přes veškeré předchozí testy se až při tomto nasazení objevily (zejména v počátku provozu) některé chyby. Chyby jsme se snažili přůběžně a urychleně odstraňovat a studenty, jichž se chyba dotkla, informovat (v některých případech i v předstihu). Došlo také k několika HW výpadkům již poměrně letitého laboratorního vybavení, jimž nebylo v našich možnostech předejít. Výrazné zvýšení spolehlivosti ke konci semestru nás vede k optimistickému předpokladu, že v příštím běhu předmětu bude situace s nasazením tohoto poměrně komplexního a stále se rozšiřujícího distribuovaného systému již výrazně lepší

Studenti rušivě pociťují heterogenitu laboratorního vybavení (mírně rozdílné příkazy na některých laboratorních prvcích / IOSech).

Heterogenitě vybavení se bohužel nedokážeme vyhnout. Vybavení Virtlabu je postupně skládáno a nově dokupováno z různých zdrojů, pro zajištění maximálního počtu kusů jsou integrovány i starší zařízení. Rozdíly v konfiguračních příkazech jsou minimální, vnímáme však potřebu upozornit na ně studenty krátkou informací uvedenou v MOTD pro uživatele. V praxi bude situace stejná, zcela homogenní síť najdete jen na velmi málo místech (a to jen po omezenou dobu, než dojde k nutnému rozšíření sítě novými odlišnými modely, ýkonnostně efektivnějšími nebo cenově výhodnějšími.

Aktualizace laboratorních síťových prvků.

Je pravda, že Virtlab v současné době disponuje vybavením spíše starším - převládají modely Cisco řady 2500 a 4000. Přestože je toto vybavení pro účely výuky technologií probíraných v POS dotačující, realizujeme (i s ohledem na fyzickou opotřebovanost a občasné HW výpadky) postupnou obměnu zejména za směrovače řady 2800. V současné době jsme získali finance ze 2 grantů Fondu rozvoje vysokých škol, které obnovu prvků ve Virtlabu podpoří. Další nákupy plánuje realizovat také naše RCNA.

Další komentáře, hodnocení, návrhy

Další komentáře se objevily jen v několika jednotlivých dotaznících. Jejich obsah byl zapracován do vyjádření k ostatním konkrétním sekcím.

---

Jak probíhala skupinová spolupráce při řešení Vašich úloh ?

Studenti kombinovaného studia vnímají jako reálně realizovatelné skupinky nejvýše 2 studentů, případně preferují individuální práci.

Komentáře k organizaci odevzdávání úloh (rozdělení na celky, rozložení, v čase, ...)

Organizace, dělení na části a termíny odevzdávání povětšinou vyhovovaly. V několika případech by bylo preferována rozdělení na větší počet menších částí.

K většímu počtu menších skupinek nebo k individuální práci jsme bohužel nemohli přistoupit s ohledem na zátěž při definici zadání a opravě takovéhoto množství vzájemně různých zadání (aktuálně cca 350 studentů). Od příštího roku bude situace usnadněna implementací automatického systému testování studentských konfigurací na Virtlabu, takže bude snížení počtu studentů ve skupinkách reálné.

Časování bylo problematické pouze pro jednu skupinu studentů, v níž odpadl velký počet cvičení vlivem svátků a volna.

Svátky a vyhlášená volna nemůžeme nijak ovlivnit, často se ani o nich v předstihu dozvědět. Úprava časování a termínu odevzdání je v takovýchto případech v kompetenci cvičícího - pokud nepřijme žádné řešení aktivně, je třeba se s ním v takovémto případě domluvit.

Shrnutí celkového hodnocení

Celkově studenti hodnotí Virtlab vcelku kladně. Charakterizující je patrně věta "celkem se povedl" ;-) z jednoho dotazníku. Negativněji hodnotí Virtlab uživatelé zvyklí na Packet Tracer. Vyjádření k tomuto bodu je uvedeno v sekci #Vyjádření ke srovnání s Packet Tracerem.

Vyjádření ke srovnání Virtlabu s Packet Tracerem

Packet Tracer je simulátor, Virtlab je distribuovaný systém pro vzdálené zpřístupnění reálných síťových prvků automaticky fyzicky propojovaných do topologií podle potřeby uživalelů. Přestože je práce s Packet Tracerem pohodlná, je mnohdy od reality poněkud vzdálená. Naší ambicí je poskytnout studentům reálnou zkušenost při práci s reálnými síťovými prvky, která jim bude užitečná pro představu o situaci v praxi.

Packet Tracer považujeme za zdařilý a neustále se rozvíjející simulátor pro některé základní technologie Cisco, vhodný k snadnému procvičování základních konfigurací stocých prvků. Bohužel je však v něm možná pracovat jen s příkazy a funkcionalitou, jejichž simulace je implementována, nikoli tedy například s plnohodnotnou konfigurací služeb na OS Linux. Poněkud nepříjemná je také absence debug výpisů. Licence Packet Traceru je navíc vázána pouze na studenty programu CNAP a z konzultací s vedením CNAP nevyplynulo, že by se tato politika firmy Cisco měla v dohledné době změnit. Další komentáře ke srovnání Packet Traceru se systémem Virtlab je možné najít v konferenčním příspěvku z konference NetAcad 2008.

Protože těžiště hlavního využití obou systémů leží v poněkud jiných oblastech, není cílem vývojového týmu Virtlabu Packet Traceru konkurovat. V současné době se napak pokoušíme o integraci Packet Traceru do Virtlabu tak, aby část topologie mohla být lokálně simulovaná u uživatele a část topologie vytvořená s reálných laboratorních prvků Virtlabu.

Vyjádření zpracoval vedoucí vývojového týmu Virtlabu Petr Grygárek.