간호교육에서 악화 환자인지 및 대응 시뮬레이션 교육의 학습성과 평가: 주제범위 문헌고찰

Assessing Learning Outcomes in Simulation-based Education to Recognize and Respond to Deteriorating Patients in Nursing Education: A Scoping Review

Article information

J Korean Crit Care Nurs. 2025;18(1):39-54

Publication date (electronic) : 2025 February 28

doi : https://doi.org/10.34250/jkccn.2025.18.1.39

Yi Kyung Ha ^,

Department of Nursing, Dong-eui University, Busan, South Korea

하이경^,

동의대학교 간호학과

Correspondence: Ha, Yi Kyung Department of Nursing, Dong-eui University, 176 Eomgwangno, Busanjin-gu, Busan 47340, Korea Tel: 82-51-890-4252, Fax: 82-505-182-6876, E-mail: yikyung.ha@deu.ac.kr

Received 2024 September 26; Revised 2024 October 16; Accepted 2024 November 15.

Trans Abstract

Purpose

This scoping review examined the assessment of learning outcomes in simulation-based education to recognize and respond to deteriorating patients in nursing education.

Methods

The review followed Arksey and O'Malley's scoping review framework and the Joanna Briggs Institute's manual. Studies were retrieved from databases such as Cochrane Central, PubMed, EMBASE, and the Cumulative Index to Nursing and Allied Health Literature.

Results

A total of 15 studies, published between 2010 and 2023, were reviewed. Only six studies (40%) assessed both the cognitive learning outcomes related to recognition and the psychomotor outcomes related to responses to DPs. The learning outcomes included knowledge, situational awareness, cognition, the modified early warning score (MEWS), the situation–background–assessment–recommendation score, and teamwork in the cognitive domain; the MEWS action algorithm and psychomotor performance in the psychomotor domain; and self-efficacy, confidence, and self-confidence in the affective domain.

Conclusion

Effective SBE for recognizing and responding to DPs should be designed to assess cognitive and psychomotor learning outcomes in nursing education. Future research should focus on enhancing non-technical skills through various approaches to SBE to recognize and respond to DPs.

Keywords: Clinical deterioration; Nursing; Patient simulation; Review

Keywords: 간호; 고찰; 시뮬레이션; 임상적 악화

I. 서 론

1. 연구의 필요성

심정지나 호흡정지가 발생한 환자의 60%는 상황이 발생하기까지 4∼48시간 전에 이미 상태가 악화하는 활력징후의 변화나 의식 저하 등의 증상이나 징후를 나타낸 것으로 보고되었으며, 이러한 환자를 악화 환자(deteriorating patient)라고 한다[1-3]. 그러나 의료인이 악화 환자를 조기에 인지하지 못하여 구조 실패로 이어져 환자의 11%는 사망에 이르고 있다[1-3]. 이에 악화되는 환자의 구조 실패를 환자 안전을 위협요인으로 파악하고 환자 안전 지표로 관리한다[1]. 악화 환자 구조 실패를 예방하기 위하여 미국의 Joint Commission과 영국의 National Institute for Health and Care Excellence (NICE)는 의료기관 내에 신속 대응 시스템(rapid response system [RRS])과 조기 경고 체계를 구축하도록 하고, 의료인을 대상으로 악화 환자인지 및 대응 교육을 시행하기 위한 가이드라인을 제시하였다[4-7]. 국내에서는 2019년부터 보건복지부 주관하에 의료기관 내에 신속 대응 시스템 구축 관련 시범 사업이 진행되고 있지만[8], 의료인 교육에 대한 내용은 포함되어 있지 않다. 그러므로 국내 의료기관의 구조 실패를 예방하기 위해 의료인 대상의 악화 환자인지 및 대응 교육을 효과적으로 운영할 방안을 모색하는 것이 필요하다.

2004년 DeVita [9]는 구조 실패를 예방하기 위한 병원 내 환자 안전 시스템 구축의 기틀로서 RRS 모델을 발표하였다. RRS 모델은 구심성 경로(afferent limb)와 원심성 경로(efferent limb)가 연결된 구조이다. 구심성 경로는 의료진이 환자의 상태가 악화하면서 나타나는 초기 징후를 발견하고, 신속하게 연락하여 RRS를 활성화하는 과정이며, 원심성 경로는 환자에게 신속하고 적절한 중재를 제공하는 과정이다. 악화 환자 구조의 실패는 주로 구심성 경로와 원심성 경로에서 의료인의 역량 부족으로 인해 발생한다[9,10]. 특히, 구심성 경로의 오류가 구조 실패의 주요 원인으로, 이는 상황인식, 의사소통, 팀워크, 리더십과 같은 비기술적 술기(non-technical skills)의 부족에서 기인한다[1,10].

악화 환자를 조기에 인지하고 대응하기 위하여 간호사는 24시간 환자를 모니터링하며 환자의 미묘한 변화를 파악하는 중요한 역할을 한다. 그러나 간호사는 다양한 업무를 동시에 해결해야 하거나, 악화 환자인지 및 대응에 대한 경험 부족하여 악화 환자를 조기에 인지하기 어려울 수 있다[11,12]. 이를 개선하기 위해 국외에서는 시뮬레이션 교육을 적용하여 간호대학생과 간호사의 악화 환자인지 및 대응 역량을 향상하게 하는 효과가 있었고[13-17] 메타분석을 통해서도 효과를 확인하였다[17-19]. 그러나 국내 간호교육에서 악화 환자인지 및 대응 교육은 미흡한 실정이므로, 악화 환자인지 및 대응 역량을 개선하기 위하여 시뮬레이션 교육을 적용하고 효과를 검증하는 것이 필요하다.

시뮬레이션 교육은 교육목표와 학습성과를 달성할 수 있도록 설계되어야 하며, 학습성과는 교육목표를 기반으로 설정되고 평가되어야 한다[20,21]. 간호교육에서 악화 환자인지 및 대응 시뮬레이션의 교육목표는 구심성 경로와 원심성 경로에 해당하는 악화 환자 인지와 대응 역량을 모두 향상하는 것이다. 그러나 선행 연구에서는 평가 결과인 학습성과만 보고하고, 교육목표와의 연계성을 확인하지 않아 악화하는 환자의 증상을 조기에 ‘인지’하고, 적절한 양질의 ‘대응’을 한다는 교육목표가 모두 달성되었는지 파악할 수 없었다. 시뮬레이션 교육의 평가는 Kirkpatrick의 평가 기틀을 기반으로 검토할 수 있다[22]. Kirkpatrick의 평가 기틀은 교육 프로그램의 평가를 반응-학습-행동-결과의 단계로 진행하며, 학습성과는 인지적 영역(knowledge, cognitive domain) -심동적 영역(skills, psychomotor domain)-정의적 영역(attitude, affective domain)으로 구분한다[22]. 지금까지 악화 환자인지 및 대응 시뮬레이션 교육의 학습성과는 이러한 기틀에 따라 분석한 연구는 드물었고, Haddeland 등[17]은 지식-기술-태도의 기틀로 분석하였으나, 인지적 영역의 학습성과를 지식으로만 지식만 평가하였기 때문에 악화 환자인지에 대한 학습성과를 충분히 파악할 수 없었다. 일부 간호교육에서 악화 환자인지를 평가하기 위하여 Lasater [23]의 임상 판단 루브릭을 이용하였고[23-25] ‘모니터링하다, 사정하다, 수집하다, 집중하다 등’의 학습자의 행위를 관찰하여 평가하거나, 시뮬레이션 실습을 마친 후 학습자가 작성한 임상 판단 루브릭 기반의 성찰일지로 평가하였다. 이러한 방법은 행위를 통해 학습자의 인지 내용을 추정하거나 교육 후 성찰을 시행하기 때문에 학습자의 기억오류가 발생할 수 있어서[26] 악화 환자인지에 대한 평가는 여전히 어려운 문제이다. 그러므로, 효과적인 악화 환자인지 및 대응 시뮬레이션 교육을 설계하기 위해 교육목표를 달성하기 위한 학습성과를 인지적, 심동적, 정의적 영역으로 구분하여 교육목표와의 연계성을 분석하고, 영역별 학습성과에 대한 평가 도구와 방법에 대한 포괄적 검토가 필요하다.

이에 시뮬레이션 교육의 학습성과 평가를 포괄적으로 파악하기 위한 방법으로 주제범위 문헌고찰을 수행하고자 한다. 주제범위 문헌고찰은 연구 영역을 이루는 주요한 개념이나 정보를 확인하고, 사용 가능한 근거의 유형을 파악하는 방법이다. 이는 연구 분야의 범위와 본질을 조사하여 결과를 요약하고 확산시키며, 기존 연구 간의 간극을 확인하는 것을 목표로 하는 지식 합성의 중요한 방법론이다[27,28]. 따라서 본 연구에서는 악화 환자인지 및 대응 시뮬레이션 교육을 효과적으로 설계하기 위해 평가에 대한 광범위한 선행 문헌을 단계에 따라 체계적으로 고찰하고, 교육목표와 학습성과의 연계성, 영역별 학습성과에 따른 평가 도구와 평가 방법에 대해 파악하고자 한다.

2. 연구목적

본 연구의 목적은 간호교육에서 악화 환자인지 및 대응 시뮬레이션 교육 관련 연구의 학습성과 평가를 통합적으로 파악하기 위해 문헌을 고찰하고 분석하여 악화 환자인지 및 대응 시뮬레이션 교육 프로그램을 개발하기 위한 기초자료를 제공하는 것이다.

II. 연구방법

1. 연구설계

본 연구는 간호교육에서 악화 환자인지 및 대응 시뮬레이션 교육의 학습성과 평가를 분석하여 파악하는 주제범위 문헌고찰이다.

2. 문헌고찰 절차

본 연구는 Arksey와 O'Malley [27]가 제시한 주제 범위 문헌 고찰 절차에 따라 (1) 연구 질문 도출, (2) 문헌 검색, (3) 문헌 선정, (4) 자료 기입, (5) 결과 수집 및 요약, 보고의 5단계로 진행하였다.

1) 1단계: 연구 질문 도출

연구 질문을 확인하는 단계[27,28]로, Arksey와 O'Malley [27]의 가이드라인을 바탕으로 간호교육의 악화 환자인지 및 대응 시뮬레이션 교육을 폭넓게 확인하기 위해 Joanna Briggs Institute (JBI) [29]에서 제안한 PCC(population, concept, context)를 사용하여 구체적인 연구 질문을 만들었다. 연구 질문은 다음과 같다:

(1) 간호교육에서 악화 환자인지 및 대응 시뮬레이션 교육은 어떠한가?
(2) 간호교육에서 악화 환자인지 및 대응 시뮬레이션 교육의 교육목표와 학습성과 간의 연계성은 어떠한가?
(3) 간호교육에서 악화 환자인지 및 대응 시뮬레이션 교육의 학습성과 평가 도구와 방법은 어떠한가?

2) 2단계: 문헌 검색

문헌 검색 단계는 연구 목적에 부합하는 논문을 체계적으로 검색하기 위한 전략을 수립하여 자료를 검색하는 과정이다[27,28]. 두 명의 저자가 검색 전략, 적격성 기준 및 전자 데이터베이스에 대해 논의하였고, JBI [29]의 PCC 틀을 사용하여 P (population)는 간호사 또는 간호대학생, C (concept)는 학습성과 평가, C (context)는 악화 환자인지 및 대응 시뮬레이션 교육으로 설정하였다. 문헌 검색은 2024년 7월 1일부터 7월 31일까지 진행하였으며, 연구 발표 기간에 제한을 두지 않았다. 검색된 데이터베이스는 Cochrane Central, PubMED, EMBASE, Cumulative Index to Nursing and Allied Health Literature (CINAHL)이며 두 저자가 독립적으로 수행한 검색 전략을 통해 발표된 1차 연구를 찾았다. 전문 학술지에 게재된 연구를 대상으로 검색하였으며, 언어는 영어로 제한하여 검색하였다. 논문 검색에 사용된 주제어와 불리언 연산자는 ‘((simulation AND(education OR training)) AND(deteriorating OR deteriorated) AND(nurse OR nursing)’ 이었다.

3) 3단계: 문헌 선정

문헌 선정 단계는 검색한 자료를 포함 기준과 제외 기준에 따라 선정하는 과정이다[27,28]. JBI에서 권장하는 PCC 틀을 적용하여 포함 기준을 충족하는 연구를 검토 대상에 포함했다(Table 1). 제외 논문은 의과대학생이나 의사를 대상으로 한 교육에 간호사나 간호대학생이 일부 포함된 연구, 웹 기반 또는 가상 현실 시뮬레이션, 문헌 고찰이나 질적 연구, 도구 개발 연구, 감사 보고서는 제외하였다. 두 명의 검토자가 제목, 초록, 논문 전문을 선별하여 포함 여부를 판단한 후 최종 합의를 위해 포함 기준에 따라 논문 전문을 독립적으로 심사하였다. 포함 및 제외 기준을 충족한 15개의 연구가 주제 범위 문헌 고찰을 위해 선정되었다(Figure 1).

Table 1.

PCC Framework in This Study (N=15)

Figure 1.

PRISMA flow diagram for selection of studies

4) 4단계: 자료 기입

자료 기입 단계는 연구 문제에 대한 통합된 결론을 도출하기 위해 추출한 자료를 정리하고 유사한 내용끼리 코딩, 분류, 요약하는 과정이다[27,28]. 선정된 연구의 자료를 출판 연도순으로 배열한 후, 두 명의 연구자가 각각 논문을 읽고 연구 수행 국가와 대상자, 연구 설계, 시뮬레이션 방법 및 설정, 학습성과와 결과로 구분하여 표에 정리하였다. 이러한 분류는 연구의 목표와 관련된 주요 요소를 강조하기 위한 것이었다.

5) 5단계: 결과 수집 및 요약, 보고

결과 수집 및 요약, 보고 단계는 통합적 고찰의 결과를 독자가 확인할 수 있도록 논리적으로 구성된 표나 그래프로 제시하는 단계이다[27,28]. 연구 목적에 따라 분석 대상 연구의 특성(Table 2)과 교육 목적과 학습성과 간의 연계(Table 3), 악화 환자인지 및 대응 시뮬레이션 교육의 학습성과 평가 도구 및 방법에 대한 분석(Table 4)으로 연구 결과에 제시하였다. 데이터 추출은 각 논문에 대해 독립적으로 수행되었으며, 합의가 이루어지지 않으면 제3의 검토자에게 의견을 구하여 결정하였다.

Table 2.

Characteristics of Included Studies (N=15)

Table 3.

Alignment of Goals and Learning Outocmes of Simulation-based Education for Recognizing and Responding to Deteriorating Patients (N=15)

Table 4.

Instruments and Methods to Assess Learning Outcomes of Simulation-based Education for Recognizing and Responding to Deteriorating Patients (N=15)

3. 윤리적 고려

본 연구는 동의대학교 생명윤리위원회의 심의 절차에 따라 심의면제(DIRB-202409-HR-W-49)를 확인받아 시행하였다.

III. 결 과

1. 분석 연구의 특성

본 연구에서 분석한 연구의 특성을 요약한 결과는 Table 2와 같다. 분석한 연구는 총 15편이었고 2010년부터 2023년까지 발표된 연구로, 호주에서 수행된 연구가 5편(33.3%)으로 가장 많았다. 서술적 조사연구가 5편[A3, A8, A11, A14, A15], 혼합연구 5편[A4-6, A9, A10], 무작위 대조군 실험연구가 4편[A2, A7, A12, A13], 관찰연구가 1편[A1]이었다. 연구 목적은 프로그램 개발이 4편[A3, A4, A11, A13]이었고 시뮬레이션 교육의 효과를 분석한 연구는 11편이었다. 참여자가 간호대학생인 연구가 11편[A1-3, A6-10, A12, A13, A15], 간호사 대상이 3편[A3, A5, A14], 간호대학생과 의과대학생 대상인 경우는 1편[A11]이었다. 시뮬레이션교육에서 14편은 고충실도 시뮬레이터를 사용하였고, 표준화 환자를 적용한 경우는 1편[A9]이었다. 시뮬레이션에서 설정된 상황은 대부분(14편, 93.3%)이 성인의 호흡곤란, 출혈, 패혈증, 패혈성/저혈량 쇼크 등이었고, 1편[A5]은 신생아 패혈증 상황이었다.

분석한 연구에서 통계적으로 유의한 정도로 개선된 학습성과는 인지적 영역에서 지식[A5, A10], 상황인식[A2], modified early warning score (MEWS) 점수[A1], 지각[A11], 팀워크[A10]이었다. 심동적 영역에서는 수행[A7, A8, A12]이었고, 정의적 영역에서 환자 안전 역량과 태도[A2], 자신감[A3, A11], 자기효능감[A5, A10]이었다. 혼합연구에서 분석한 질적 자료는 디브리핑이 시뮬레이션교육에 대한 기여[A4], 시뮬레이션교육에 대한 참여자의 느낌[A5, A10], 시뮬레이션 수행 중 이어폰을 통하여 수신한 메시지에 대한 참여자의 느낌[A6], 팀 활동의 특징[A9]에 대한 내용분석 결과이었다.

2. 간호교육의 악화환자 인지 및 대응 시뮬레이션 교육에서 교육목표와 학습성과 간의 연계성

본 연구에 포함된 연구의 교육목표와 학습성과를 연결하여 분석한 결과는 Table 3과 같다. 악화 환자인지 역량과 대응 역량을 모두 평가한 연구는 6편[A1, A6, A9, A13-15]으로 인지적 영역과 심동적 영역을 평가하였고, A13 연구는 인지적, 심동적, 정의적 영역을 모두 평가하였다. 환자인지 역량만 평가한 도구는 5편[A2, A4, A5, A10, A11]이었고 4편은 인지적 역량과 정의적 역량을 평가하였고, 인지적 역량만 평가한 연구는 1편[A4]이었다. 대응 역량만 평가한 연구는 3편[A7, A8, A12]으로 심동적 영역과 정의적 영역을 평가하였다. A3 연구는 학습성과 중 정의적 영역에 대해서만 평가하였다.

3. 간호교육의 악화환자 인지 및 대응 시뮬레이션 교육에서 학습성과 평가 도구와 방법

본 연구에서 간호교육의 악화 환자인지 및 대응 시뮬레이션 교육에서 사용된 학습성과 평가도구와 방법에 대하여 분석한 결과는 Table 4와 같다. 인지적 영역의 학습성과는 6개로 지식, 상황인식, 지각, MEWS 점수, situation-background-assessment-recommendati on (SBAR) 점수, 팀워크이었다. 지식에 대한 평가 도구는 모두 다지선다형 설문지이었다. 도구의 타당도는 검증하였으나 신뢰도는 제시하지 않았다. 상황인식은 모든 연구에서 situation awareness global assessment technique(SAGAT)을 사용하였고, 그 중 신뢰도를 보고한 연구는 1편[A2]이며 신뢰도 KR-20은 .62였다. SAGAT 를 이용하여 시뮬레이션 수행을 중단하고 질문하여 평가한 연구가 3편[A4, A14, A15], 녹화된 영상을 관찰하여 평가한 연구는 1편[A2]이었다. 지각을 평가한 연구 [A11]는 문항 수와 척도만 제시한 질문지를 이용하였고, 신뢰도 Cronbach's α는 .91∼.92였다. MEWS 점수는 MEWS의 5개 구성요소를 사정한 결과의 정확도를 관찰하여 평가하였고, 도구의 신뢰도나 타당도는 보고하지 않았다. SBAR 점수는 SBAR의 4개 구성요소를 관찰[A1, A13]하거나 SBAR기록지의 내용을 분석하여 평가하였고, 도구의 신뢰도와 타당도는 보고하지 않았다. 팀워크는 team emergency assessment measure (TEAM) 도구를 이용하여 평가하였고, TEAM은 타당도가 검증된 도구이며, 신뢰도 Cronbach's α는 .91이었다. TEAM 의 평가 방법은 관찰[A9] 또는 시뮬레이션 실습 후 자가 보고[A10]였다.

심동적 영역에 해당하는 학습성과는 수행평가 체크리스트를 이용하여 평가하였고, 내용타당도는 보고하지 않았으나, 평가 항목은 MEWS action algorithm[A1]이나 airway-breathing-circulation-disability-exposure (ABCDE) 기틀[A9, A12-14]을 적용하여 구성하였다. 도구의 타당도는 보고하지 않았으나, 신뢰도를 보고한 연구 중 A8의 Cronbach's α는 .92, A12, A13의 intraclass correlation coefficient는 모두 .99였다.

정의적 영역에 해당하는 학습성과는 자기효능감 1편[A5], 자신감 5편[A2, A3, A8, A10, A11], 자신감과 자기효능감 3편[A7, A12, A13]이었고 모두 자가 보고 설문지를 이용하여 평가하였다. 자기효능감을 평가한 연구[A5]의 Cronbach's α는 .96이었고 자신감을 평가한 연구[A2, A3, A8, A10, A11]의 Cronbach's α는 .78∼ .96이었다. 두 편의 연구에서 동일한 도구인 general perceived self efficacy and self-reported competency scores (GPSES)를 사용하여 평가하였고 타당도와 신뢰도를 보고하지 않았다.

IV. 논 의

본 연구는 주제범위 문헌고찰을 통해 간호교육에서 악화 환자인지 및 대응 시뮬레이션 교육의 학습성과를 평가하고, 효과적으로 설계하려는 방안을 모색하기 위해 수행되었다. 본 연구에서 핵심 연구 문제를 중심으로 문헌 검색 전략을 수립하여 분석한 15편의 연구를 고찰한 결과에 대하여 논의하고자 한다.

고찰에 포함된 15편의 연구는 모두 2010년 이후에 출간되었으며, 이 중 11편(73.3%)은 호주, 미국, 영국에서 시행된 연구였다. 이들 국가에서는 국가기관이 악화 환자 관리와 관련된 가이드라인을 발표하여 구조 실패를 예방하기 위한 활발한 연구가 진행되고 있다[4-7]. 따라서 국내에서도 악화 환자인지 및 교육이 활성화되기 위해서는 국가 차원의 가이드라인 제시가 필요하다.

연구 대상자는 대부분 간호대학생(11편, 73.3%)이었고, 간호사를 대상으로 한 연구는 2편, 간호대학생과 의과대학생을 포함한 연구는 1편이었다. 악화 환자인지 및 대응 교육은 간호대학에서부터 시작되어야 하며, 실무 현장에서 지속적으로 교육하고 관리할 수 있도록 학습성과를 관리하는 평가 체계가 구축되어야 한다[12,15]. 또한, RRS가 효과적으로 운영되기 위해서는 팀 접근이 필요하므로 간호교육에서 다학제 팀 기반 시뮬레이션 교육이 활성화되어야 한다[9,10,18]. 악화 환자인지 및 대응 시뮬레이션 교육은 주로 고충실도 시뮬레이터를 사용하여 호흡곤란, 출혈, 패혈증, 패혈성/저혈량 쇼크 상황을 구현하고 있었다. 이는 MEWS [30]에 포함된 의식 저하, 수축기 혈압 감소, 맥박수 변화, 고체온, 호흡수 변화를 모두 재현할 수 있는 상황으로 고려되고 있음을 알 수 있다.

악화 환자인지 및 대응 시뮬레이션 교육의 교육목표는 인지와 대응 역량을 향상하는 것이었으나, 두 영역 모두를 평가한 연구는 6편(40%)에 불과했다. RRS의 구심적 경로와 원심적 경로가 연결되도록 설계된 교육을 시행하고, 학습성과를 정확하게 평가하여 교육 목적을 달성해야 한다. 그러나 분석한 연구 중 인지적 영역만 평가한 연구가 5편[A2, A4, A5, A10, A11], 심동적 영역만 평가한 연구가 5편[A7-9, A12, A13]으로 교육목표가 부분적으로 평가되고 있었다. 이는 심폐소생술 교육의 운영 경험이 악화 환자인지 및 대응 시뮬레이션 교육에 영향을 미친 결과로 보인다. 심폐소생술 교육의 교육목표는 의식이 없는 환자에게 자극을 주어 나타나는 즉각적 반응과 호흡 여부, 맥박 유무를 간단히 확인한 후 양질의 심폐소생술을 신속하게 적용하는 것이므로[31] 심폐소생술 수행을 통해 심동적 영역의 학습성과를 평가할 수 있다. 반면에 악화 환자인지 및 대응 시뮬레이션 교육은 복합적인 비기술적 술기와 적합한 대처를 신속하게 적용해야 하므로 인지와 대응에 대한 학습성과를 모두 평가해야 한다. 따라서 교육목표를 달성하기 위해 인지적 영역과 심동적 영역을 모두 평가하는 것이 필요하다.

고찰에 포함된 연구에서 악화 환자인지 및 대응 시뮬레이션 교육의 학습성과를 평가하기 위한 도구와 방법에 대해 분석한 결과, 인지적 영역의 학습성과는 지식, 상황인식, MEWS 점수, SBAR 점수, 팀워크에 대한 평가가 이루어졌다. 지식을 평가한 모든 연구[A5, A10, A14, A15]는 내용 타당도를 검증한 질문지를 사용하였다. 선행 연구[17]에서는 악화 환자 시뮬레이션 교육이 지식수준을 향상했으나, 지식수준 향상만으로는 환자 증상 인지에 기여한다고 보기 어렵다[10]. 따라서 지식수준 평가는 사전 학습 수준의 확인이나 다양한 학습성과의 추가 평가에 사용되어야 한다. 상황인식 평가 도구는 SAGAT를 사용하였고, 시뮬레이션 실습 중단 후 인식-이해-예측에 대한 질문을 통해 평가하였다[A4, A14, A15]. SAGAT는 상황인식을 객관적으로 평가할 수 있는 도구로 신뢰도 Cronbach's α는 .70 이상으로 양호하였다[32-34]. 시뮬레이션 교육 참여자의 악화 환자 인지의 정확도를 평가하기 위해 SAGAT 사용을 고려할 수 있다. 다만, 평가하는 동안 시뮬레이션을 중단시켜야 하므로 참여자의 상황인식을 방해할 수 있고, 중단 시점과 질문 내용에 따라 도구의 신뢰도가 변동될 수 있으므로 주의가 필요하다[35]. 팀워크는 TEAM으로 평가하였다. TEAM[36]은 리더십, 협력과 소통, 문제해결 능력, 전문 지식 및 기술을 평가하는 도구로 신뢰도(Cronbach's α=.92)가 높았다. 인지적 영역에서 상황인식과 팀워크를 평가하는 도구는 다양한 시뮬레이션 교육에서도 높은 신뢰도를 나타내어 사용을 고려할 수 있다. 또한 의사소통을 평가하기 위한 도구인 MEWS와 SBAR 틀을 반영한 도구가 사용되었으나, 신뢰도와 타당도를 보고하지 않아[37] 향후 연구에서는 검증이 필요하다.

심동적 영역의 학습 성과는 수행을 관찰하여 평가하였고, 9편의 연구 중 4편에서 ABCDE 기틀을 적용하였다. ABCDE 기틀은 응급 상황에서 체계적 평가와 우선순위 결정, 신속한 평가와 조치를 위해 영국 NICE에서 배포한 가이드라인으로[38], 악화 환자인지 및 대응 교육에 널리 사용되는 틀이며 심동적 영역의 학습성과에 대한 평가도구로 적절하다.

이상의 논의를 통해, 간호 교육에서 운영되는 악화 환자인지 및 대응 시뮬레이션 교육의 대상자는 대부분 간호대학생이었고, 다학제 협력을 위한 시뮬레이션 교육이 보강되어야 함을 확인하였다. 시뮬레이션 교육에서 교육목표와 학습성과의 연관성을 분석한 결과, 인지적 영역과 심동적 영역 모두 평가된 연구는 적었으며, 이는 심폐소생술 교육의 운영 경험이 영향을 미친 것으로 보인다. 하지만 악화 환자인지 및 대응 시뮬레이션 교육의 목표는 심폐소생술 교육과 구분되므로, 인지와 대응을 모두 평가할 수 있는 체계를 갖추어야 한다. 인지적 영역에서 지식과 상황인식을 평가하기 위해 SAGAT 가 사용되었고, 심동적 영역의 수행을 평가하기 위해 체크리스트가 사용되었으며, ABCDE 기틀을 이용한 연구가 다수 포함되었다. MEWS, SBAR, ABCDE 기틀을 이용하여 평가하고, 반복 학습이 가능할 것으로 생각된다. 정의적 영역의 학습성과인 자신감과 자기효능감은 인지적 및 심동적 영역에 영향을 미치는 요인으로 판단하여 별도로 분석하지 않았다.

본 연구는 국내에서 신속 대응 시스템이 구축되기 시작하는 시점에, 간호사와 간호대학생에게 효과적인 악화 환자인지 및 대응 시뮬레이션 교육을 적용하기 위한 학습성과 평가에 대한 포괄적 이해를 제공했다는 점에서 의의가 있다. 그러나 본 연구는 다음과 같은 제한점이 있으므로 결과를 이해하는 데 주의가 필요하다. 첫째, 영어로 출간된 연구만 포함되어 다른 언어로 출간된 연구가 제외되었을 가능성이 있으며, 둘째, 시뮬레이션 교육 시나리오 설명이 미흡한 연구가 제외되었을 가능성이 있다.

V. 결론 및 제언

악화 환자인지 및 대응 교육은 환자 안전 교육의 핵심으로 인식되며, 이를 바탕으로 한 시뮬레이션 교육 연구가 활발히 진행되고 있다. 국내에서도 국제적 추세에 따라 관련 교육이 점차 확대될 것으로 기대되므로, 간호교육에서 선제적으로 악화 환자인지 및 대응 시뮬레이션 교육을 운영할 준비를 갖추어야 한다.

시뮬레이션 교육은 설계 단계에서 교육목표와 학습성과 간의 연결성을 확인하여 평가 체계를 마련해야 한다. 악화 환자인지 및 대응 시뮬레이션 교육의 목표 달성을 평가하기 위해서는 인지적 영역과 심동적 영역의 학습성과를 모두 평가하도록 설계되어야 한다. 특히, 심동적 학습성과는 수행을 관찰하여 평가할 수 있지만, 인지는 추상적인 개념이므로 객관적인 평가가 어려울 수 있다. 그러나 악화 환자의 구조 실패의 주요 원인이 비기술적 술기이므로, 인지적 학습 성과를 평가하기 위한 노력이 필요하다. 다양한 상황에서도 악화 환자인지 및 대응이 가능하도록 사고의 기틀을 SBAR, MEWS, ABCDE와 상황인식의 3단계(지각-이해-예측)를 통해 반복 학습하고, 이를 평가하기 위해 신뢰도와 타당도가 검증된 평가 도구를 사용해야 한다.

본 연구에서는 악화 환자인지 및 대응 시뮬레이션 교육에서 교육목표와 학습성과의 연결성을 검토하여 평가에 대해 살펴본 결과 다음과 같이 제언하고자 한다. 첫째, 악화 환자인지 및 대응 시뮬레이션 교육의 인지적 영역과 심동적 영역 관련 학습성과를 모두 평가한 연구를 통합적으로 분석한 메타분석 연구를 제안한다. 둘째, 비기술적 술기의 객관적 평가를 위한 다양한 방법을 적용하고 학습성과를 평가하는 연구를 제안한다. 셋째, 가상 현실과 시뮬레이션 실습을 결합한 하이브리드 시뮬레이션을 적용하여 악화 환자인지 및 대응에 미치는 효과를 평가하는 연구를 제안한다.

Notes

Conflict of interest

The author declares no conflict of interest.

Funding

This study received no external funding.

Data availability statement

The data that support the findings of this study are available on request from the corresponding author.

Supplementary Material

Supplement A.

Included Studies in this Scoping Review

jkccn-2025-18-1-39-Supplement_A.pdf

References

1. Burke JR, Downey C, Almoudaris AM. Failure to rescue deteriorating patients: a systematic review of root causes and improvement strategies. Journal of Patient Safety. 2020;18(1):e140–55. http://doi.org/10.1097/pts.0000000000000720.

2. Gillan PC, Delaney LJ, Tutticci N, Johnston S. Factors influencing nursing students’ ability to recognise and respond to simulated patient deterioration: a scoping review. Nurse Education in Practice. 2022;62:103350. https://doi.org/10.1016/j.nepr.2022.103350.

3. Buist MD, Moore GE, Bernard SA, Waxman BP, Anderson JN, Nguyen TV. Effects of a medical emergency team on reduction of incidence of and mortality from unexpected cardiac arrests in hospital: preliminary study. BMJ. 2002;16324. (7334):387–90. http://doi.org/10.1136/bmj.324.7334.387.

4. McGaughey J, Fergusson DA, Van Bogaert P, Rose L. Early warning systems and rapid response systems for the prevention of patient deterioration on acute adult hospital wards. Cochrane Database of Systematic Reviews. 2021;2021(11)http://doi.org/10.1002/14651858.cd005529.pub3.

5. The Joint Commission. The Joint Commission 2008 National patient safety goals: distinguish your community through enhanced resident safety [Internet] Illinois: The Joint Commission; 2008. [cited 2024 September 20]. Available from: https://www.assistedlivingconsult.com/issues/03-06/alc1112-JCAHO-1130.pdf.

6. Austrailian Commission on Safety and Quality in Healthcare (ACSQHC). Recognising and responding to clinical deterioration: background paper [Internet] Sydney: ACSQH; 2008. [cited 2024 Aug 1]. Available from: https://www.safetyandquality.gov.au/sites/default/files/migrated/BackgroundPaper.pdf.

7. National Institute for Health and Care Excellence (NICE). Acutely ill adults in hospital: recognising and responding to deterioration [Internet] London: NICE; 2007. [cited 2024 Aug 1]. Available from: https://www.nice.org.uk/guidance/cg50.

8. Ministry of Health and Welfare (MOHW) & Health Insurance Review and Assessment Service (HIRA). Guidelines for the Pilot Program of the Rapid Response System [Internet] Sejong: MOHW & HIRA; 2020. [cited 2024 Aug 1]. Available from: https://www.hira.or.kr/bbs/bbsCDownLoad.do?apndBltNo=157&apndBrdBltNo=8016&apndBrdTyNo=2&apndNo=3.

9. DeVita MA, Braithwaite R, Mahidhara R, Stuart S, Foraida M, Simmons R. Use of medical emergency team responses to reduce hospital cardiopulmonary arrests. BMJ Quality & Safety in Health Care. 2004;13(4):251–4. http://doi.org/10.1136/qshc.2003.006585.

10. Doanldson L, Ricciardi W, Sheridan S, Tartaglia R. editors. Textbook of patient safety and clinical risk management. Switzerland: 2021. 413–34. https://doi.org/10.1007/978-3-030-59403-9.

11. Connell CJ, Endacott R, Jackman JA, Kiprillis NR, Sparkes LM, Cooper SJ. The effectiveness of education in the recognition and management of deteriorating patients: a systematic review. Nurse Education Today. 2016;44:133–45. http://doi.org/10.1016/j.nedt.2016.06.001.

12. Cooper S, McConnell-Henry T, Cant R, Porter J, Missen K, Kinsman L, et al. Managing deteriorating patients: registered nurses’ performance in a simulated setting. The Open Nursing Journal. 2011;5:120–6. http://doi.org/10.2174/18744346011050100120.

13. Bogossian F, Cooper S, Cant R, Beauchamp A, Porter J, Kain V, et al. Undergraduate nursing students’ performance in recognising and responding to sudden patient deterioration in high psychological fidelity simulated environments: an Australian multi-centre study. Nurse Education Today. 2014;34(5):691–6. http://doi.org/10.1016/j.nedt.2013.09.015.

14. Hart PL, Spiva L, Dolly L, Lang‐Coleman K, Prince-Williams N. Medical‐ surgical nurses’ experiences as first responders during deterioration events: a qualitative study. Journal of Clinical Nursing. 2016;25(21-22):3241–51. http://doi.org/10.1111/jocn.13357.

15. Fisher D, King L. An integrative literature review on preparing nursing students through simulation to recognize and respond to the deteriorating patient. Journal of Advanced Nursing. 2013;69(11):2375–88. https://doi.org/10.1111/jan.12174.

16. Orique SB, Phillips LJ. The effectiveness of simulation on recognizing and managing clinical deterioration: meta-analyses. Western Journal of Nursing Research. 2018;40(4):582–609. http://doi.org/10.1177/0193945917697224.

17. Haddeland K, Slettebø Å, Carstens P, Fossum M. Nursing students managing deteriorating patients: a systematic review and meta-analysis. Clinical Simulation in Nursing. 2018;21:1–15. https://doi.org/10.1016/j.ecns.2018.05.001.

18. Thiele L, Flabouris A, Thompson C. Acute clinical deterioration and consumer escalation in the hospital setting: a literature review. Resuscitation. 2020;156:72–83. http://doi.org/10.1016/j.resuscitation.2020.08.011.

19. Bennion J, Mansell SK. Management of the deteriorating adult patient: does simulation-based education improve patient safety? British Journal of Hospital Medicine. 2021;82(8):1–8. http://doi.org/10.12968/hmed.2021.0293.

20. Miller C, Deckers C, Jones M, Wells-Beede E, McGee E. Healthcare simulation standards of best practiceTM outcomes and objectives. Clinical Simulation in Nursing. 2021;58:40–4. https://doi.org/10.1016/j.ecns.2021.08.013.

21. McMahon E, Jimenez FA, Lawrence K. Victor J. Healthcare simulation standards of best practiceTM evaluation of learning and performance. Clinical Simulation in Nursing. 2021;58:54–6. https://doi.org/10.1016/j.ecns.2021.08.016.

22. Kirkpatric DL, Kirkpatric JD. Evaluating training programs: the four levels third editionth ed. San Fransisco, CA. US: Berrett Koehler publisher, Inc; 1994. p. 21–51.

23. Lasater K. Clinical judgment development: using simulation to create an assessment rubric. Journal of Nursing Education. 2007;46(11):496–503. http://doi.org/10.3928/01484834-20071101-04.

24. Lavoie P, Pepin J, Cossette S. Contribution of a reflective debriefing to nursing students’ clinical judgment in patient deterioration simulations: a mixed-methods study. Nurse Education Today. 2017;50:51–6. http://doi.org/10.1016/j.nedt.2016.12.002.

25. Lavoie P, Cossette S, Pepin J. Testing nursing students’ clinical judgment in a patient deterioration simulation scenario: development of a situation awareness instrument. Nurse Education Today. 2016;38:61–7. http://doi.org/10.1016/j.nedt.2015.12.015.

26. Lavoie P, Lapierre A, Khetir I, Doherty A, Thibodeau-Jarry N, Rousseau-Saine N, et al. A comparison of nurses’ situation awareness and eye-tracking data in precardiac arrest simulations. Clinical Simulation in Nursing. 2023;81:101429. http://doi.org/10.1016/j.ecns.2023.101429.

27. Arksey H, O'Malley L. Scoping studies: towards a methodological framework. International Journal of Social Research Methodology. 2005;8(1):19–32. https://doi.org/10.1080/1364557032000119616.

28. Seo HJ. The scoping review approach to synthesize nursing research evidence. Korean Journal of Adult Nursing. 2020;32(5):433–9. http://dx.doi.org/10.7475/kjan.2020.32.5.433.

29. Tricco AC, Lillie E, Zarin W, O'Brien KK, Colquhoun H, Levac D, et al. PRISMA extension for scoping reviews (PRISMA-ScR): checklist and explanation. Annals of Internal Medicine. 2018;169(7):467–73. https://doi.org/10.7326/m18-0850.

30. Reini K, Fredrikson M, Oscarsson A. The prognostic value of the modified early warning score in critically ill patients: a prospective, observational study. European Journal of Anaesthesiology. 2012;29(3):152–7. http://doi.org/10.1097/eja.0b013e32835032d8.

31. Cheng A, Magid DJ, Auerbach M, Bhanji F, Bigham BL, Blewer AL, et al. Part 6: resuscitation education science: 2020 American Heart Association guidelines for cardiopulmonary resuscitation and emergency cardiovascular care. Circulation. 2020;142(16_supple_ 2):S551–79. http://doi.org/10.1161/CIR.0000000000000903.

32. Endsley MR. The divergence of objective and subjective situation awareness: a meta-analysis. Journal of Cognitive Engineering and Decision Making. 2019;2514. (1):34–53. http://dx.doi.org/10.1177/1555343419874248.

33. Priambodo AP, Nurhamsyah D, Lai WS, Chen HM. Simulation-based education promoting situation awareness in undergraduate nursing students: a scoping review. Nurse Education in Practice. 2022;65:103499. http://dx.doi.org/10.1016/j.nepr.2022.103499.

34. Orique SB, Despins L. Evaluating situation awareness: an integrative review. Western Journal of Nursing Research. 2017;40(3):388–424. http://doi.org/10.1177/0193945917697230.

35. Ghaderi C, Esmaeili R, Ebadi A, Amiri MR. Measuring situation awareness in health care providers: a systematic review of measurement properties using COSMIN methodology. Systematic Reviews. 2023;12(1):60. http://dx.doi.org/10.1186/s13643-023-02220-6.

36. Cooper S, Cant R, Porter J, Sellick K, Somers G, Kinsman L, et al. Rating medical emergency teamwork performance: Development of the Team Emergency Assessment Measure (TEAM). Resuscitation. 2010;81(4):446–52. http://doi.org/10.1016/j.resuscitation.2009.11.027.

37. Velji K, Baker G, Fancott C, Andreoli A, Boaro N, Tardif G, et al. Effectiveness of an adapted SBAR communication tool for a rehabilitation setting. Healthcare Quarterly. 2008;11(3):72–9. http://doi.org/10.12927/hcq.2008.19653.

38. Merriman CD, Stayt LC, Ricketts B. Comparing the effectiveness of clinical simulation versus didactic methods to teach undergraduate adult nursing students to recognize and assess the deteriorating patient. Clinical Simulation in Nursing. 2014;10(3):e119–27. http://doi.org/10.1016/j.ecns.2013.09.004.

Article information Continued

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

PCC	Inclusion	Exclusion
Population: nurse, nursing student	Studies involving nurses or nursing students as participants.	Excluded some nurses or nursing students in medical education
Concept: evaluation of learning outcomes	Quantitative, mixed method with quantitative results, Studies with descriptions of measurement tools	Audit, qualitative, review or methodological study
Context: recognition and response simulation-based education for deterioration patient	Studies where the purpose is to recognize and respond to deteriorating patients	Web-based simulation, virtual simulation

Table 2.

Characteristics of Included Studies (N=15)

Ref. no.	First author (year), country, study design and aim	Participants (sample size)	Simulation (settings)	Learning outcomes & Results
A1	Zegran 2023), United States •Observational Study to improve nursing students’ ability to recognize and act upon early warning signs of PD.	Nursing students (junior, n=54)	Simulation (post-operative hemorr-hage and hemodynamic instability)	^† MEWS score (C); ^† SBAR score (C); MEWS action algorithm (P)
A2	Park (2021), South Korea •RCT to evaluate effects of patient deterioration simulation using inattentional blindness (PDS-IB).	Nursing students (senior, n=99) IG, PDS-IB (n=47) CG, usual simulation (n=42)	PDS-IB (worsoning patients with COPD in ward, who transferred from ED)	^† Situation awareness (C); ^† confidence of patient satety (A)
A3	Lee (2019), United States/ •Descriptive survey to development, implement, and evaluate an in-situ simualtion.	Nurses (n=162)	HFS, in situ (patient room)	^† Confidence (A)
A4	Lavoie (2017), United States/ •Mixed method to evaluate a new debriefing approach, the “reflective debriefing after a patient deterioration simulation (REsPoND).	Nursing students (critical care course, n=119) IG, REsPoND (n=63) CG, Plus-Delta (n=56)	Simulation (hemovolemic shock, sepsis, trauma)	QUAN: Situational awareness (C) QUAL: Participants’ experience in REsPoND (five themes)
A5	O'Leary (2016), Autstralia •Mixed method to investigate the effect of HFS on nurses’ self-efficacy and knowledge for reconising and managing paediatric deterioration.	Nurses in PCCU (n=30) IG (n=15), HFS CG (n=15), standard instruction	HFS (SimBaby, infant sepsis)	QUAN: ^† Knowledge (C); ^† self-efficacy (A) QUAL: Participants perceived simulation learning (four themes)
A6	Chapelain (2015), France •Mixed method to explore clinical performance from spontaneous team communications and a remote interruptive message in a DP simulation.	Nursing students (senior, n=52) IG=earpiece with message CG=earpiece without message	Simulation (respiratory distrss, hemorrhage, not available physican call)	QUAN: Performance on expected actions (P); SBAR score (C) QUAL: Participants’ experience of earpiece on performance.
A7	Stayt (2015), United Kingdom •RCT to evaluate the effectiveness of clinical simulation in improving the clinical performance of recognizing and managing an adult DP	Nursing students (freshman, n=98) IG, simulation (n=50) CG, lecture (n=48)	Medium-fidelity simulation (ALS simulator, acutely unwell patient who is exhibiting signs of clinical deterioration)	^† OSCE performance (P); Confidence and self-efficacy
A8	Kelly (2014), Australia •Descriptive study to determine the impact of a DP simulation	Nursing students (n=62)	Simulation (an elderly post-operative patient who had existing cardiovascular compromise)	^† Skill ability (P); Confidence (A)
A9	Endacott (2014), Australia •Mixed method to examine the teamwork skills to manage DP during simulation exercises with patient actors.	Nursing students (n=97), Nurses (n=44)	Trained patient actors simulated deteriorating patients	QUAN: Skill performance (P); Teamwork (C) QUAL: Participants’ experience of teamwork.
A10	Hart (2014), United States •Mixed method to evaluate the effectiveness of simulation to recognize and respond to DP simulation as first reponders	Nursing students (n=25)	Medium-fidelity simulation (respiratory distress, chest pain, opioid overdose, decreased level of consciousness), HFS (cardiac arrest)	QUAN: ^†Knowledge (C); ^† Teamwork (C); ^† Self-confidence (A) QUAL: Participants perceived simulation learning (7 themes)
A11	Liaw (2014), Singapore •Descriptive study to develop, implement and evaluation of a simulation-based interprofessional education for DP	Nursing students (n=92), medical students (n=33)	HFS (sepsis, septic shock)	^† Confidence (A); ^† Perception (C)
A12	Merriam (2014), United Kingdom •RCT to determine whether clinical simulation is more effective than traditional classroom teaching.	Nursing students IG, simulation (n=15) CG, class room (n=19)	HFS (shortness of breath)	^† Performance (P); Confience and self-efficacy (A)
A13	Liaw (2011), Singapore •RCT to develop, implement and evaluation of rescuing a patient in deteriorating situations (RAPIDS) simulation.	Nursing students (n=31) IG, RAPIDS simulation (n=15) CG, None (n=15)	Simulation, in curriculum (pneumonia, post-operation haemorrhage, hypoglycemia, sepsis/septic shock)	Clinical performance (P), SBAR score (C); self-confidence (A)
A14	Cooper (2011), Australia •Descriptive study to examine the ability to assess and manage DP	Nurses (n=41)	HFS (AMI, COPD)	Knowledge (C); Skill performance (P); situation awareness (C)
A15	Cooper (2010), Australia •Descriptive study to examine the ability to assess, identify and respond to patients between subtle and obvious cue.	Nursingstudent (n=51) Subtle cue (n=51) Obvious cue (n=51)	HFS (hypovolemic, septic shock)	Knowledge (C); Skill performance (P); Situation awareness (C)

^†

: effective outcome

A: Affective domain; AMI: Acute myocardial infarct; C: Cognitive domain; CG: Comparison group; COPD: Chronic obstructive pulmonary disease; DP: Deteriorating patient; ED: Emergency department; HFS: High-fidelity simulation; IG: Intervention group; MEWS: Modified early warning scores; P: Psychomotor domain; PCCU: Pediatric critical care unit; QUAL: Qualitative results; QUAN: Quantitative results; RCT: Randomized controlled trial; SBAR: Situation, background, assessment and recommendation

Goals	Learning outcomes	Ref.no.
Recognition + Response	SBAR score	Clinical performance	Confidence	A13
MEWS score, SBAR score	MEWS action algorithm	-	A1
SBAR score	Performance on expected actions		A6
Teamwork	Skill performance	-	A9
Knowledge, situational awareness	Skill performance	-	A14, A15
Recognition	Situation awareness	-	Confidence of patient safety	A2
Knowledge	-	Self-efficacy	A5
Knowledge, teamwork	-	Confidence	A10
Perception	-	Confidence	A11
Situation awareness	-	-	A4
Response	-	OSCE perfromance	Confidence and self-efficacy	A7
-	Sill ability	Confidence	A8
-	Skill performance	Confidence and self-efficacy	A12
Others	-	-	Confidence	A3

Table 4.

Instruments and Methods to Assess Learning Outcomes of Simulation-based Education for Recognizing and Responding to Deteriorating Patients (N=15)

Learning outcomes	Instruments / Methods	Description of instruments	Ref. no
Cognitive domain
Knowledge	MCQ/paper and pencil test	5 items (knowledge, assessment, interpretation, critical thinking, action); correct rate (scale 0∼1); face and content validity; reliability (NR)	A5
	MCQ/paper and pencil test	37 items (recognition, assessment, interventions); correct rate (scale 0∼1); face and content validity; reliability(NR)	A10
	MCQ/paper and pencil test	11 items (observational parameters, equipment use, terminology); correct rate (scale 0∼1); face and content validity; reliability (NR)	A14
	MCQ/paper and pencil test	11-item (breathing, circulation, disability); correct rate (scale 0∼1); face and content validity; reliability (NR)	A15
Situation awareness	SAGAT/Observation (recorded video)	3 items (perception, comprehension, projection); correct rate (scale 0∼1); content validity; KR-20= .62	A2
	SAGAT/Stop the simulation and asking questions	12 items (perception, comprehension, projection); correct rate (scale 0∼1); validity (NR); reliability (NR)	A14
	SAGAT/Stop the simulation and asking questions	17 items (global situation perception, perception, comprehension, projection); correct rate (scale 0∼1); validity (NR); reliability (NR)	A15
	List of SAGAT quiries/Stop the simulation and asking questions	31 items (perception, comprehension, projection); correct rate (scale 0∼1); content validity; reliability (NR)	A4
Perception	Questionnaire	8 items (NR); 5 point Likert; content validity (NR); Cronbach's α= .91∼.92	A11
MEWS score	MEWS score/Observation	5 items (HR, SBP, RR, BT, LOC); correct rate (scale 0∼1); validity (NR); reliability (NR)	A1
SBAR	Adapted SBAR tool/Observation	4 items (S-B-A-R); correct rate (scale 0∼1); validity (NR); reliability (NR)	A1
	NR/Coding the content of the SBAR script	4 items (S-B-A-R); frequency of content (%); validity (NR); reliability (NR)	A6
	Checklist/Observation (recorded video)	4 items (S-B-A-R and global rating); Correct rate (scale 0∼1); validity (NR); reliability (NR)	A13
Teamwork	TEAM/Observation	12-item (leadership, teamwork, and task management, and global rating); 4∼10 point Likert; Content and construct validity; Cronbach's α= .91	A9
	TEAM/self-reported after simulation	same as above; content and construct validity; Cronbach's α= .91	A10
Psychomotor domain
MEWS action algorithm	MEWS action algorithm/Observation	5 items (HR, SBP, RR, BT, LOC); correct rate (scale 0∼1); validity (NR); reliability (NR)	A1
Performance on expected actions	Coding/Observation (recored video)	Coding the action; frequency (%); validity (NR); reliability (NR)	A6
OSCE performance	Checklist/Observation	24 items; correct rate (scale 0∼1); validity (NR); reliability (NR)	A7
Skill ability	Questionnaire/self-reported	6 items (assessment and communication); 4-points Likert scale; validity (NR); Cronbach's α = .92	A8
Skill performance	OSCE checklist/Observation	24 items (ABCDE framework); correct rate (scale 0∼1); validity (NR); reliability (NR)	A9
Performance	OSCE checklist/Observation	24 items (ABCDE framework); correct rate (scale 0∼1); construct validity; ICC= .99	A12
Clinical performance	e RAPIDS tools/Observation	42 items (ABCDE framework); correct rate (scale 0∼1); construct validity; ICC= .99	A13
Skill performance	OSCE checklist/Observation	48 items (ABCDE framework); correct rate (scale 0∼1); validity (NR); reliability (NR)	A14
Skill performance	OSCE checklist/Observation (recorded video)	18 items (hypovolemia scenario), 19 items (septic shock scenario); correct rate (scale 0∼1); validity (NR); reliability (NR)	A15
Affective domain
Self-efficacy	Questionnaire/self-reported	14 items (recognition and management for DP); scale (NR); validity (NR); Cronbach's α= .96	A5
Confidence	Modified PSCSE/self-reported	14 items (patient safety competence), 4 items (human factors); Scale (NR); content validity; Cronbach's α= .78	A2
	Questionnaire/self-reported	some items (recognizing signs and symptoms and intiate intervention); 4-point Likert scale; validity (NR); Cronbach's α= .85	A3
	Questionnaire/self-reported	4 items (approaching others for help); scale (NR); validity (NR); reliability (NR)	A8
	Questionnaire/self-reported	12 items (caring for DP); 4-point Likert scale; Cronbach's α= .88, .93, .93	A10
	Questionnaire/self-reported	5 items (confidence of communication); 10 points scale; Cronbach's α= .96	A11
Satisfaction and self-confidence	Satisfaction and self-confidence in learning scale/self-reported	14 items (satisfaction and self-confidence in learning scale); validity (NR); Cronbach's α= .94(satisfaction), .87(self-confidence)	A13
Confidence and self-efficacy	GPSES/self-reported	17 items (self-efficacy, self-reported competency); 4 points Likert; validity (NR); reliability (NR)	A7, A12

ABCDE: Airway, breathing, circulation, disability, exposure; BT: Body temperature; DP: Deteriorating patient; GPSES: General perceived self efficacy and self-reported competency scores; HR: Heart rate; ICC: Intra-class correlation; MCQ: Multiple choice questionnaire; LOC: Level of consciousness; MEWS: Modified early warning scores; NR: Not reported; OSCE: Objective structured clinical examination; PSCSE: Patient safety competency self-evaluation; RR: Respiratory rate; SAGAT: Situational awareness global assessment technique; SBAR: Situation, background, assessment and recommendation; SBP: Systolic blood pressure; TEAM: Team emergency assessment measure

Goals	Learning outcomes			Ref.no.
Goals	Cognition	Psychomotor	Affective	Ref.no.
Recognition + Response	SBAR score	Clinical performance	Confidence	A13
	MEWS score, SBAR score	MEWS action algorithm	-	A1
	SBAR score	Performance on expected actions		A6
	Teamwork	Skill performance	-	A9
	Knowledge, situational awareness	Skill performance	-	A14, A15
Recognition	Situation awareness	-	Confidence of patient safety	A2
	Knowledge	-	Self-efficacy	A5
	Knowledge, teamwork	-	Confidence	A10
	Perception	-	Confidence	A11
	Situation awareness	-	-	A4
Response	-	OSCE perfromance	Confidence and self-efficacy	A7
	-	Sill ability	Confidence	A8
	-	Skill performance	Confidence and self-efficacy	A12
Others	-	-	Confidence	A3