| Summary: | Thesis ((DMed)--Stellenbosch University, 2015. === ENGLISH ABSTRACT: We have developed an innovative multimedia e-learning resource, the Electrolyte
Workshop, to provide students and clinicians with instruction and the opportunity for
simulated practice in managing electrolyte and acid-base disorders. Our teaching
approach is built around relevant physiology and makes use of real cases and
storytelling to engage the learner. We have documented the challenges encountered
during the development process and have made recommendations for the managing
of similar projects.
While there are many factors that must be in place to ensure successful e-learning,
this dissertation focuses on an important but under-appreciated factor, namely the
usability of the computer interface. Usability describes how easy technology
interfaces are to use and is routinely evaluated and optimized in the software
development industry. This is not yet the case with e-learning, especially in the area
of medical education. Poor usability limits the potential benefit of educational
resources, as this means that learners will struggle with the interface as well as with
the challenges of the content presented.
A comprehensive usability evaluation of our Electrolyte Workshop was completed.
This included testing with typical end-users, where data were collected via
standardized questionnaires and by observing and analysing their interactions with
our application. We employed heuristic evaluation as an additional approach and
assembled a panel of experts to evaluate our application against a set of heuristics,
or principles of good interface design.
Many serious usability problems were identified, thus severely limiting the potential
educational impact of our Electrolyte Workshop. There was a striking disconnect
between the objective measures of usability and self-reported questionnaire data.
Our user-testing data make a useful contribution to the debate on how many users
are required to find most of the usability problems in an interface. Heuristic
evaluation proved to be a very efficient approach. However, both user testing and heuristic evaluation detected serious problems which were missed with the other
method.
These evaluations informed a comprehensive revision of our application and we
could then compare the original with an optimized version in a randomized trial. We
found large improvements in objective usability measures, which are likely to
increase the satisfaction and motivation of learners. There were similar scores on
measures of learning. This was not surprising as our participants were all relatively
high-knowledge learners and not novices as regards the subject matter.
Our study clearly indicates that the usability evaluation of e-learning resources is
critical, and provides an example of how clinician-teachers can improve the usability
of the resources they develop. Usability should be evaluated as a routine part of the
development and implementation of e-learning materials, modules and programmes.
This should start with the earliest versions of the resource, when making changes is
easier and less costly. We have demonstrated that a combination of methods should
be employed and have highlighted the utility of heuristic evaluation. An iterative
approach should be followed, with several cycles of testing and re-design. User
testing should always include the study of objective usability measures and not rely
only on self-reported measures of user satisfaction. === AFRIKAANSE OPSOMMING: Ons het ’n innoverende multimediahulpbron vir e-leer, die Electrolyte Workshop,
ontwikkel om studente en klinici van ’n onderrighulpmiddel sowel as die geleentheid
vir gesimuleerde oefening in die hantering van elektroliet en suur-basis stoornisse te
voorsien. Ons onderrigbenadering is gegrond op relevante fisiologie en maak
gebruik van werklike gevalle en vertelkuns om die leerder te betrek en te boei. Ons
het die uitdagings gedurende die ontwikkelingsproses opgeteken en aanbevelings
oor die bestuur van soortgelyke projekte gedoen.
Hoewel suksesvolle e-leer van etlike faktore afhang, konsentreer hierdie
verhandeling op ’n belangrike dog onderskatte faktor, naamlik die bruikbaarheid van
die rekenaarkoppelvlak. Bruikbaarheid verwys na die gemak waarmee
tegnologiekoppelvlakke gebruik kan word, en word gereeld in die
sagtewareontwikkelingsbedryf beoordeel en verbeter. Tog is dit nog nie die geval
met e-leer nie, veral op die gebied van mediese onderrig. Swak bruikbaarheid
beperk die moontlike voordeel van opvoedkundige hulpbronne, aangesien leerders
voor die dubbele uitdaging van ’n ingewikkelde koppelvlak én die voorgeskrewe
inhoud te staan kom.
’n Omvattende bruikbaarheidsbeoordeling is van die Electrolyte Workshop
onderneem. Dit het toetsing met tipiese eindgebruikers ingesluit, waarvoor data met
behulp van gestandaardiseerde vraelyste ingesamel en gebruikers se interaksie met
die toepassing waargeneem en ontleed is. Ons het heuristiese evaluering as
bykomende benadering gebruik en ’n kennerspaneel saamgestel om ons toepassing
aan die hand van ’n stel heuristiek, oftewel beginsels van goeie koppelvlakontwerp,
te beoordeel.
’n Hele aantal ernstige bruikbaarheidsprobleme is uitgewys, wat die moontlike
opvoedkundige impak van die Electrolyte Workshop erg beperk. Daar was merkbare
teenstrydigheid tussen die objektiewe bruikbaarheidsmaatstawwe en die
selfaangemelde vraelysdata. Ons gebruikerstoetsdata lewer ’n waardevolle bydrae tot die debat oor hoeveel gebruikers nodig is om die meeste van die
bruikbaarheidsprobleme met ’n koppelvlak te ontdek. Heuristiese evaluering was ʼn
baie doeltreffende benadering. Tog het gebruikerstoetsing op sekere ernstige
probleme afgekom wat heuristiese evaluering misgekyk het, en andersom.
Hierdie beoordelings het as grondslag gedien vir ’n omvattende hersiening van die
toepassing, waarna ons die oorspronklike weergawe in ’n verewekansigde proef met
’n verbeterde weergawe kon vergelyk. Die objektiewe bruikbaarheidsmaatstawwe
het groot verbeterings getoon, wat waarskynlik leerders se tevredenheid en
motivering sal verhoog. Leermaatstawwe het soortgelyke tellings opgelewer. Dít was
egter te wagte gewees, aangesien die deelnemers almal betreklik ingelig was oor die
vakmateriaal, eerder as nuwelinge.
Ons studie het bevestig dat die bruikbaarheidsbeoordeling van e-leerhulpbronne
noodsaaklik is, en bied ’n voorbeeld van hoe klinici-opvoeders bruikbaarder
hulpbronne kan ontwikkel. Bruikbaarheid behoort as ’n roetinedeel van die
ontwikkeling en inwerkingstelling van e-leermateriaal, -modules en -programme
beoordeel te word. Dit behoort reeds by die vroegste weergawes van die hulpbron te
begin, wanneer dit makliker en goedkoper is om veranderinge aan te bring. Ons het
ook getoon dat ’n kombinasie van metodes gebruik behoort te word, en het die nut
van heuristiese evaluering beklemtoon. ’n Herhalende benadering moet gevolg word,
met etlike siklusse van toetsing en herontwerp. Gebruikerstoetsing behoort altyd die
beoordeling van objektiewe bruikbaarheidsmaatstawwe in te sluit, en moenie slegs
op selfaangemelde maatstawwe van gebruikerstevredenheid staatmaak nie.
|
|---|
