Cusum analysis is a useful tool to assess resident proficiency at insertion of labour epidurals

PurposeCumulative sum (cusum) analysis is a statistical and graphical tool that examines trends for sequential events over time. It has been used to determine proficiency in technical procedures. We used cusum to determine the number of labour epidural attempts necessary for proficiency in our training program.MethodsResidents unfamiliar with epidural anesthesia kept a log of their labour epidural successes and failures during a six-month hospital rotation. Failure was defined as a dural puncture or relinquishing the procedure to staff. Cusum analysis was performed using an acceptable failure rate of 10%. Residents were deemed competent when their graph remained below the calculated cusum boundary.ResultsEleven anesthesia residents were recruited. The number of epidural attempts over six months ranged from 75 to 128. Ten residents attained competency by cusum between one and 85 attempts. One resident failed to achieve competency by cusum after 75 attempts.ConclusionAfter a period of training, residents are expected to perform the skill of labour epidural insertion independently. This study illustrates that some residents may need as many as 75 attempts to ensure proficiency. Training programs could use cusum to track the progress of their residents’ technical skills in order to guarantee an adequate experience.RésuméObjectifL’analyse des sommes cumulées (cusum) est un outil statistique et graphique qui permet de vérifier les tendances d’événements séquentiels dans le temps. Elle a été utilisée pour déterminer la maîtrise d’habiletés techniques. Nous l’avons donc choisie pour préciser le nombre de ponctions nécessaires à la maîtrise de la technique épidurale pendant le travail.MéthodeLes résidents, inexpérimentés en anesthésie épidurale, ont noté leur taux de succès et d’échec à réaliser cette anesthésie pendant leur rotation de six mois à l’hôpital. L’échec était défini comme une ponction durale ou l’abandon de la technique à un membre du personnel. L’analyse cusum utilisée comportait un taux d’échec acceptable de 10 %. Les résidents ont été jugés compétents si le graphique de leur performance était sous la limite de cusum calculée.RésultatsOnze résidents ont été recrutés. Au cours des six mois, le nombre d’essais épiduraux a été de 75 à 128. Dix résidents sont devenus compétents par cusum de un à 85 essais. Un résident n’a pu maîtriser la technique par cusum après 75 essais.ConclusionAprès une formation, les résidents devraient pouvoir réaliser seuls une anesthésie épidurale pour le travail obstétrical. L’étude illustre que certains résidents peuvent avoir besoin d’autant d’essais que 75 pour acquérir l’habileté nécessaire. Les programmes de formation peuvent se servir de cusum pour suivre l’évolution des compétences techniques de leurs résidents dans le but de garantir une expérience suffisante.

[1]  D A Rogers,et al.  A virtual reality module for intravenous catheter placement. , 1999, American journal of surgery.

[2]  Herbert J. Walberg,et al.  The International encyclopedia of educational evaluation , 1990 .

[3]  R. Reznick,et al.  Teaching and testing technical skills. , 1993, American journal of surgery.

[4]  O. L. Davies,et al.  Design and analysis of industrial experiments , 1954 .

[5]  J Stewart,et al.  Identifying appropriate tasks for the preregistration year: modified Delphi technique , 1999, BMJ.

[6]  M. Pietroni The assessment of competence in surgical trainees. , 1993, Annals of the Royal College of Surgeons of England.

[7]  D G Altman,et al.  The hidden effect of time. , 1988, Statistics in medicine.

[8]  Get lio Rodrigues de Oliveira Filho,et al.  The construction of learning curves for basic skills in anesthetic procedures: an application for the cumulative sum method. , 2002 .

[9]  B. Finucane,et al.  Confirmation of epidural catheter placement using nerve stimulation , 1998, Canadian journal of anaesthesia = Journal canadien d'anesthesie.

[10]  D. Kopacz,et al.  The Regional Anesthesia “Learning Curve”: What Is the Minimum Number of Epidural and Spinal Blocks to Reach Consistency? , 1995, Regional Anesthesia & Pain Medicine.

[11]  E. Gates,et al.  New surgical procedures: can our patients benefit while we learn? , 1997, American journal of obstetrics and gynecology.

[12]  I. Kestin,et al.  A statistical approach to measuring the competence of anaesthetic trainees at practical procedures. , 1995, British journal of anaesthesia.

[13]  S M Williams,et al.  Quality control: an application of the cusum. , 1992, BMJ.

[14]  R. Reznick,et al.  Objective structured assessment of technical skill (OSATS) for surgical residents , 1997, The British journal of surgery.