Learning from doing: Chances and constraints of studying medical devices through usability methods in field studies

This paper deals with the limitations and chances of usability methods focused on quantitative data. It presents a usability field study of an anaesthesia device performed at a children’s hospital, emphasizing the advantages and limitations of the methods used. It reflects on the experience of conducting the study, moves on to lessons learned, and highlights possible improvements to the quality and cost-benefit relationship of this type of studies, in order to support the design of future products.RésuméL’article traite des limitations et possibilités des approches d’utilisabilité centrées sur des données quantitative. Il présente une étude d’un dispositif d’anesthésie réalisée dans un hôpital d’enfants, mettant en évidence les avantages et limitations des méthodes utilisées. Il reflète l’expérience gagnée au niveau de la conduite de l’étude, indique des leçons tirées et mets en évidence à quel niveau il serait possible d’améliorer la qualité et le rapport coût-bénéfice de ce type d’études afin de soutenir la conception des futurs produits.ZusammenfassungDieser Artikel befasst sich mit den Grenzen und Chancen von Usability-Methoden, welche als Ergebnis quantitative Daten liefern. Dies wird beispielhaft anhand der Feldstudie eines Anästhesiegerätes erläutert, welches im laufenden Betrieb in einer Kinder-Tagesklinik untersucht wurde. Im Fokus dieser Untersuchung lag es die Vorteile und Grenzen unterschiedlicher Methoden aufzuzeigen, die als Ergebnis ausschließlich quantitative Daten liefern. Die Erfahrungen der durchgeführten Studie werden erläutert und Verbesserungspotentiale werden aufgezeigt, um die Qualität und das Kosten-Nutzen-Verhältnis dieser Art von Studie zu verbessern und um die zukünftige Produktgestaltung hierdurch nachhaltiger zu unterstützen.

[1]  H. Harbers,et al.  The body multiple , 2005 .

[2]  Ralph Bruder,et al.  Internationales Verständnis von Usability sowie Methodenanwendung im Bereich der Usability , 2010 .

[3]  Dirk Büchel,et al.  Ergonomic Usability Testing of Operating Room Devices , 2008, MMVR.

[4]  James T. Miller,et al.  An Empirical Evaluation of the System Usability Scale , 2008, Int. J. Hum. Comput. Interact..

[5]  Karin Garmer,et al.  Arguing for the Need of Triangulation and Iteration when Designing Medical Equipment , 2002, Journal of Clinical Monitoring and Computing.

[6]  Robert E. Goodin,et al.  The Oxford Handbook of Contextual Political Analysis , 2006 .

[7]  Anna-Lisa Osvalder,et al.  Cognitive engineering methods as usability evaluation tools for medical equipment , 2004 .

[8]  Ralph Bruder,et al.  Ergonomics and Usability in an International Context , 2011 .

[9]  Michael Burmester,et al.  Der User Experience (UX) auf der Spur: Zum Einsatz von www.attrakdiff.de , 2008, Usability Professionals.

[10]  Patrick W. Jordan,et al.  An Introduction to Usability , 1998 .

[11]  Wiebe E. Bijker,et al.  Why and How Technology Matters , 2006 .

[12]  J. B. Brooke,et al.  SUS: A 'Quick and Dirty' Usability Scale , 1996 .

[13]  Cathleen Wharton,et al.  Cognitive Walkthroughs: A Method for Theory-Based Evaluation of User Interfaces , 1992, Int. J. Man Mach. Stud..

[14]  Claus Backhaus,et al.  Usability-Engineering in der Medizintechnik , 2010 .

[15]  Brian Traynor,et al.  Rent a Car in Just 0, 60, 240 or 1,217 Seconds? - Comparative Usability Measurement, CUE-8 , 2010 .