과학 및 정보통신기술의 발전, 전산시스템의 성능 고도화, 통계적 방법론의 진보에 따라 다양한 통계적 방법론들이 보건의료분야 산업 및 연구에 이용되고 있다[1-3]. 대표적인 사례는 인공지능(artificial intelligence, AI) 기법들이며, 구체적으로는 기계적 학습(machine learning) 방법과 딥러닝(deep learning) 등이 있다[4]. 이 기법들은 4차 산업혁명과 함께 보건의료분야를 포함한 산업 전반으로 급속히 확산되고있으며[5], 특히 보건의료분야에 도입되는 이유는 의료기관의 비용 절감, 운영의 효율성, 효과성 등을 크게 개선하기 때문이다[6]. 의료기관들은 이러한 기법들을 비용효과성 제고, 자원배분의 최적화, 병상 점유율 등의 관리에 이용하고 있다[7,8].

인공지능기법을 보건의료에 적용한 연구에서는 응급실이나 중환자실의 환자[9,10], 재원일수[11, 12], 재입원[13,14], 진료비[2] 등을 예측한 사례가 있다. 환자 수 예측에는 병원의 외래환자 수 예측을 위한 시계열 데이터처리 딥러닝 시스템[10], 기계적 학습방법을 이용한 응급실 환자 수[9]가 있으며, 병원의 입원 재원기간 예측에 관한 연구들도 다수 존재한다[15,16].

환자 수는 의료기관의 운영이나 폐업에 직접적인 영향을 주는 경제적 요인이기 때문에 중요하다. 그러므로 의료기관들이 환자 수를 예측하고 이에 영향을 미치는 중요한 요인들을 파악할 수 있다면 의사결정에 많은 도움을 받을 수 있을 것이다. 의료기관의 운영자는 그러한 요인을 고려하여 의료기관 운영의 개선, 폐업 예방과 같은 사전적인 방안을 마련할 수 있다. 정부나 공공기관의 정책담당자들도 의료기관의 환자진료 실적을 모니터링하여 운영이 취약한 부분을 보완할 수 있으며, 합리적으로 계획을 세우도록 돕고, 자원배분의 효율성을 높일 수도 있다[17].

앞서 언급한 인공지능을 이용한 연구들은 보건의료분야의 환자 수 예측, 재입원 예측 등의 주제와 관련한 연구로 선구자적인 역할을 해왔다. 그러나 대부분 제한된 표본 병원을 대상으로 한 연구들로 그 연구결과들을 전체를 대상으로 일반화시키기에는 한계가 있다. 이에 국가 단위로 수집된 다량의 실증적인 데이터를 바탕으로 한 인공지능 연구가 필요한 시점이다.

이 연구의 목적은 건강보험심사평가원 진료비청구명세서의 입원과 외래환자 수를 이용하여 다양한 인공지능의 방법론을 적용 및 평가해 보고, 예측에 중요하게 영향을 미치는 변수들을 파악하는 데 있다.

1. 연구설계

이 연구는 횡단면적 연구설계(cross-sectional study design)로, 분석단위(unit of analysis)는 병원이다. 연구대상자의 동질성, 연구결과의 일반화를 위하여 병원급 의료기관만 선택하였다. 2021년도 12월을 기준으로 운영 중에 있는 병원 중 데이터의 전처리 과정을 거친 708개 병원을 대상으로 연간 입원환자와 외래환자의 연인원수를 각각 산출하여 분석에 이용하였다. 연구대상자 708개의 병원 자료는 머신러닝 모델을 위한 학습 데이터셋과 테스트 데이터셋으로 분리하여 사용하였고, 이때 분리비율은 8:2로 설정하였다(Figure 1). 연구설계 시 t년도를 학습하고 t+1년도를 테스트하도록 할 수도 있었으나, 다수의 보건의료분야 인공지능 선행연구들이 동일 연도 투입변수, 동일 연도 결과변수를 가지는 연구를 진행한 바 있고[16,18], 학습 연도를 t연도, 테스트 연도를 t+1로 할 경우 투입변수의 시차효과가 있을 수 있어, 선행연구의 방법론에 따라 동일연도 투입변수와 결과변수를 이용하였다(Figure 1).이 연구는 2024년 4월 24일 건강보험심사평가원기관생명윤리위원회(Institutional Review Board, IRB)의 심의를 거쳐 수집된 데이터를 이용하였다(HIRA IRB 승인번호: 2024-030-001).

Figure 1. Flow-chart for data pre-processing and machine learning modeling. ML, machine learning.

2. 연구대상 및 자료원

연구대상은 건강보험체계 내 의료기관 종별기준에서 ‘병원’으로 등록된 기관을 대상으로 하였다. 2021년 12월 기준 운영 중에 있는 병원으로 한정하였으며, 분석자료의 전처리 과정에서 중요변수의 결측치 및 이상치가 있는 경우는 분석에서 제외하였다. 이러한 과정을 거쳐 최종 선정된 병원은 총 708개였으며, 자료원은 건강보험심사평가원으로 청구된 건강보험 청구자료를 이용하였다. 보건의료 인력 및 고가장비 등에 대한 분석자료는 OLAP (on-line analytical processing) 프로그램에서 추출하였으며, 분석자료 추출 시 이용한 코드는 건강보험심사평가원 실무부서에서 제공하고 있는 ‘일반현황통계 정형리포트’를 이용하였다. 기타 지역의 거주 인구 수 등은 행정안전부의 인구통계(https://jumin.mois.go.kr)를 의료기관의 소재 지역별로 매칭하여 분석에 이용하였다.

3. 변수선정

이 연구의 종속변수는 2021년도 연간 외래와 입원 연인원수이다. 환자 수 추정에 이용된 변수들은 소재 지역, 설립 구분, 병원의 운영기간, 의사 수, 간호사 수, 병상 수, 전체 의사 중 전문의 비율, 전체 간호 인력 중 간호사 비율, 보유한 컴퓨터 단층촬영(computed tomography, CT) 장치 수, 보유한 자기공명영상(magnetic resonance imaging, MRI) 장치수, 2021년 기준의 지역 인구수, 지역 가구 수이다. 병원의 설립 구분은 ‘민간’과 ‘공공’으로 분류하였고, 소재 지역은 시, 구의 경우는 도시, 그 외 지역은 ‘군’으로 하였다. 전체 의사 중 전문의 비율은 전문의 수를 인턴 및 레지던트를 제외한 전체 의사 수로 나누어 100을 곱한 값을 이용하였고, 전체 간호 인력 중 간호사 비율은 간호사와 간호조무사의 합계로 간호사를 나누어 100을 곱한 값으로 하였다.

4. 통계 분석

환자 수 예측에는 다양한 통계적 방법들이 이용되고 있다. 전통적인 방법들로는 ARIMA (autoregressive integrated moving average) 모델[19], 시계열분석 등이 있다[20-22]. 이 연구에서 환자의 수 예측은 AI 방법 중 머신러닝 방법을 이용하였다. 이용한 머신러닝 모델은 linear regressor (LR), random forest (RF), gradient boosting model (GBM), extreme gradient boost (XGB) 4가지로 하였다. 연속형 종속변수는 다수의 독립변수군을 이용하여 예측하였다. 주요 분석에 앞서 분석자료의 전처리는 첫째, 분석자료의 전처리 과정에서 환자 수 등 중요 변수에 결측치가 있는 병원은 분석에서 제외하였다. 둘째, 모든 독립변수는 범주형 변수와 수치형 변수로 분리하고, 범주형 변수(병원의 소재 지역, 병원의 설립 구분)는 각 범주를 정수형 숫자로 인코딩하여 분석자료로 변환하였다. 셋째, 모든독립변수의 분석자료는 0부터 1 사이의 범위로 정규화 처리하였으며, 이는 선행연구의 방법론을 적용하였다[23,24]. 끝으로, 이상치는 Cook’s distance를 기반으로 1 이상인 값들을 선별하였고[25-27], 발견된입원 19건, 외래 27건의 이상치는 선행연구의 방법론에 근거하여 분석에서 제외하였다.

이 연구의 4가지 모델 학습 파라미터는 각각 GridSearchCV를 이용하여 최적화(hyper parameter optimization)하였고, 최적의 파라미터를 도출하기 위해 학습 데이터셋을 대상으로 5-fold 교차검증을 수행하였다. 순열 특성 중요도(permutation impor-tance)는 모델 예측에 영향을 미치는 독립변수를 확인하기 위해 나타내었고, scikit-learn 라이브러리에서 제공하는 순열 중요도 알고리즘을 사용하였다. 각 독립변수(j)의 중요도(i)는 모델의 성능(s), 즉 결정계수(coefficient of determination, R²)를 이용하여 아래의 식과 같이 계산되었다[28-31].

$$i_j=s-\frac{1}{K}{\displaystyle \sum _{k=1}^K{s}_{k,j}}$$

독립변수의 부분의존도(partial dependence plot, PDP)는 각 변수와 환자 수 예측값의 상관관계를 확인하기 위해 사용하였고, scikit-learn에서 제공하는 PDP 알고리즘을 통해 시각화하였다. 한편 모델의 예측 성능은 평균 제곱 오차(mean squared error, MSE), 평균 절대 오차(mean absolute error, MAE), 평균 제곱근 오차(root mean square error, RMSE), R²를 이용하여 비교 검증하였다[32].

분석환경은 Intel Core™ i9-10900 (Intel, Santa Clara, CA, USA) 및 32GB RAM으로 구성하였다. 분석자료 전처리와 모델 학습은 Python 3.7.0 (Python Software Foundation, Wilmington, DE, USA)과 scikit-learn 1.0.2 패키지를 사용하였다.

1. 조사대상자 일반적 특성

조사대상자는 총 708개의 병원으로 일반적인 특성은 다음과 같다(Table 1). 병원의 평균 운영기간은 13.8년, 평균 의사 수는 8.6명, 평균 간호사 수는 27.9명, 평균 병상 수는 100.3병상이었다. 전체 의사 중 평균 전문의 비율은 96.4%, 전체 간호 인력 중평균 간호사 비율은 52.3%, 평균 CT 보유대수는 0.6대, 평균 MRI 보유대수는 0.7대였다. 2021년도평균 인구수는 338,753.5명, 평균 가구 수는151,195.2가구였다. 2021년 입원환자와 외래환자수의 평균은 각각 16,537.8명과 49,878.2명이었다.

Table 1 . Characteristics of hospitals.

Variable	Value	Max.	Min.
Number of hospitals	708 (100.0)	-	-
Locations; -si, -gu	656 (92.6)	-	-
Foundation type; private	674 (95.2)	-	-
Years of operation	13.8±6.8	43.0	2.0
Number of doctors	8.6±6.3	50.0	1.0
Number of nurses	27.9±28.8	190.0	1.0
Number of beds	100.3±68.6	456.0	30.0
% of physician specialists	96.4±8.6	100.0	50.0
% of nurses among all nursing staff	52.3±23.3	100.0	3.2
Number of CTs	0.6±0.5	2.0	0.0
Number of MRIs	0.7±0.8	4.0	0.0
Local population (2021)	338,753.5±168,573.2	887,015.0	16,320.0
Local households (2021)	151,195.2±71,913.8	372,888.0	9,055.0
Number of inpatients (2021)	16,537.8±14,193.0	109,376.0	25.0
Number of outpatients (2021)	49,878.2±36,797.9	364,310.0	2,985.0

Values are presented as number (%) or mean±standard deviation..

CT, computed tomography; MRI, magnetic resonance imaging; Max., maximum; Min., minimum..

2. 모델별 예측값과 실제값 비교 평가

각 머신러닝 모델에 의한 예측 결과는 피어슨의상관계수(correlation coefficient, r)를 이용하였고, 실제 2021년도 환자 수와 비교 분석한 예측 모델의 상관계수는 Table 2에 제시하였다(p<0.001). 입원환자 수와 외래환자 수의 예측에서 각각 RF, LR의 상관계수가 가장 높았고, 예측값과 실제 환자 수는 약0.855와 0.844의 높은 상관관계가 있었다. 입원환자 수(p=0.954)와 외래환자 수(p=0.996) 모두 예측모델 간의 유의한 차이는 없었다.

Table 2 . Correlation (r) of 2021 patient volume predictions to actual values.

Category	LR	RF	GBM	XGB	p-value*
Inpatient	0.808	0.855	0.845	0.842	0.954
Outpatient	0.844	0.791	0.791	0.792	0.996

LR, linear regressor; RF, random forest; GBM, gradient boosting machine; XGB, extreme gradient boost..

*The p-value indicates the difference between the models using a oneway ANOVA. Correlation coefficient between actual and predicted values is p<0.001..

Figure 2와 3은 각 모델의 입원 및 외래환자 예측값과 실제 환자 수를 산점도로 도식화한 것이다. 그림에서와 같이 입원환자 예측에서는 RF 모델이, 외래환자 예측에서는 LR 모델이 우상향으로 일치하는 경향이 있었다.

Figure 2. Scatter plot comparing prediction of inpatient volume to actuals. LR, linear regressor; RF, random forest; GBM, gradient boosting machine; XGB, extreme gradient boost.

Figure 3. Scatter plot comparing prediction of outpatient volume to actuals. LR, linear regressor; RF, random forest; GBM, gradient boosting machine; XGB, extreme gradient boost.

3. 모델의 성능 평가

각 모델의 성능은 MSE, MAE, RMSE, R² 4가지지표를 통해 평가하였고, 모든 지표는 정규화된 예측값을 통해 나타낸 것이다. 예측오류 값은 낮을수록, R²는 1에 가까울수록 우수한 예측 성능을 의미한다. Table 3은 예측 모델의 성능을 제시한 것이다. 입원환자 수의 예측은 RF에서, 외래환자 수의 예측은 LR에서 실측치와 예측값의 오차 값(MSE, RMSE)이 가장 낮았고, R²가 가장 높아, 상대적으로 우수한 성능을 보였다.

Table 3 . Evaluating the performance of prediction models for patient volume.

Item	Models	MSE	MAE	RMSE	R2
Inpatient	LR	0.006	0.046	0.074	0.637
	RF	0.004	0.043	0.064	0.730
	GBM	0.004	0.044	0.066	0.712
	XGB	0.004	0.044	0.067	0.709
Outpatient	LR	0.004	0.043	0.061	0.707
	RF	0.005	0.045	0.071	0.611
	GBM	0.005	0.045	0.070	0.619
	XGB	0.005	0.046	0.070	0.622

LR, linear regressor; RF, random forest; GBM, gradient boosting machine; XGB, extreme gradient boost; MSE, mean squared error; MAE, mean absolute error; RMSE, root mean square error; R², coefficient of determination..

4. 환자 수 추정에 영향을 미치는 주요인

모든 독립변수의 종속변수 예측에 대한 중요도를 나타내기 위해, 각 특성값을 순열로 변환하고 특성마다 종속변수 예측값의 오차 증가량을 계산하였다. Figure 4는 4개의 모델에서 각각의 변수 중요도를 산출하고, 모델 간 평균을 계산하여 상위 10개 요인을 제시한 것이다. 입원환자 예측에 영향을 미치는 요인은 병상 수, 간호사 수, 지역 내 인구수, 보유한 CT 수, 전체 간호 인력 중 간호사 비율 등의 순이었다. 외래환자 수 예측에 크게 영향을 미치는 요인은 의사 수, 지역 내 가구 수, 지역 내 인구수, 전체 간호 인력 중 간호사 비율, 병상 수 등의 순이었다.

Figure 4. Top 10 variables affecting prediction models. CT, computed tomography; MRI, magnetic resonance imaging. * The unit of measure is R² [28-31].

Figure 5는 환자 수의 예측값과 Figure 4에서 나타난 주요인 간의 관계를 나타내는 PDP를 제시한 것이다. 특정 요인의 PDP란, 나머지 요인들의 정보에 대해서는 주변화(marginallization)를 적용하고, 특정 요인의 정보에 한해서만 종속변수의 값을 추정하여 나타낸 것이다[33]. 의사 수, 간호사 수는 입원환자 및 외래환자 수 예측값과 서로 정적(+) 상관관계의 경향을 보였다. 병상 수와 입원환자 수의 예측값은 정적 상관관계의 경향을 보인 반면, 외래환자 수의 예측값은 부적(-) 상관관계의 경향을 보였다.

Figure 5. Partial dependence plot of significant variables for predicted patient volume (linear regressor model).

이 연구는 다양한 인공지능기법을 이용해 병원의 환자 수를 예측하고, 실제값과 예측값을 비교해 인공지능기법의 성능을 평가하고, 예측에 있어서 중요한 역할을 하는 변수를 살펴보는 것이다. 이를 위하여 2021년도의 진료비청구명세서를 이용하여 병원별 입원과 외래 연인원 환자 수를 각각 산출하여 분석에 이용하였다. 적용한 인공지능기법은 LR, RF, GBM, XGB였다. 분석결과 입원과 외래 각각 RF와 LR 기법이 가장 우수한 성능을 보였다. 환자 수 예측에 있어 가장 중요한 역할을 하는 변수가 입원은 병상 수, 간호사 수 순이었고, 외래는 의사 수, 지역 내 가구 수 순으로 나타나는 것을 확인할 수 있었다.

입원환자 수 예측에 가장 성능이 높은 방법은 RF 기법이었다. 이러한 연구결과는 초음파 시행횟수를 시계열로 분석했을 때 LR 기법이 가장 우수한 성능을 나타낸 선행연구 결과와 비교된다[2]. 외래환자 수를 예측한 인공지능기법은 LR 기법이 가장 우수한 성능을 보여 선행연구와 일치하였다[2]. 환자 수 예측 성능과 관련해 입원과 외래가 서로 다른 인공지능 모델에 적합하다는 것은 향후 관련 연구에서도 비교해 볼만한 결과라고 할 수 있다.

의료기관의 환자 수 예측에 영향을 주는 요인과 관련하여, 인공지능은 환자 수 예측에 입원은 병상 수, 간호사 수 순으로, 외래는 의사 수와 지역 내 가구 수가 중요하다는 것을 제시하였다. 연구진은 입원과 외래 모두 의사와 간호사 수가 중요한 역할을할 것이라고 초기 예측하였으나, 분석결과는 이와전혀 다른 결과를 산출한 것을 볼 수 있었다. 아마도 인공지능은 외래환자 수는 직접적으로 의사의진료를 통하여 그 수가 증가하는 반면, 입원의 경우는 환자가 병상을 통해 수용되고, 이를 지원하는 인력은 대부분 간호 인력이기 때문에 이러한 결과를제시한 것으로 추측된다. 입원의 경우 병상 수, 외래의 경우 의사 수가 가장 중요한 변수라는 것을 머신러닝 모델링을 통해서 확인한 것은 의미 있는 결과라고 할 수 있다. 이러한 연구결과는 병원이나 요양병원 폐업에 영향을 미치는 요인[34,35]을 분석한 연구에서 의료기관에 영향을 미치는 요인은 CT나 MRI와 같은 고가 장비였으며, 환경적으로는 지역의 경쟁 정도가 중요한 역할을 한 것으로 나타난결과와 대비된다. 요양병원의 폐업도 전년도 환자수, 의사 수, 간호사 수가 관련성이 있었다.

이 연구는 다음과 같은 몇 가지 제한점이 있다. 첫 째, 이 연구에서 모델의 성능을 나타내는 R² 값이 0.6-0.7 정도로 나타나, 극히 높거나 낮은 수준이 아닌 중간 정도의 결과를 보여주고 있다. 그럼에도 불구하고 인공지능 선행연구에서는 0.6 전후의 R²를 제시한 경우가 많아[36-38], 이 연구의 결과 값이 크게 낮지 않음을 평가할 수 있다. 이렇게 중간 수준의 R² 값이 제시된 이유는 병원의 규모는 의원보다 크기 때문에 나타난 결과일 수 있다. 의료기관의 크기가 작을수록 내부와 외부 환경에 의하여 크게 영향을 받는데[39], 의원보다 큰 병원급을 연구대상으로 하였기 때문에 모델의 성능이 크게 높지 않았을 것으로 추정된다. 향후, 의료기관의 규모가 작은 의원급을 대상으로 하여 이러한 상관계수가 높아지는지를 확인할 필요가 있다. 둘째, 환자 수에 영향을 주는 요인은 전년도의 진료실적이 크게 영향을 미칠 수 있는데, 이 연구는 이러한 시계열적 실적을 연구에 적용할 수 없었다. 향후, 시계열적 분석자료 구축을 통한 인공지능기법의 연구를 환자 수 예측에 활용할 것을 제안하고자 한다. 셋째, 연구대상을 전체 병원급으로 하였으나 이용한 자료에 결측값들이 많아 이들을 제외하였는데, 이러한 것은 통계적 검정력을 떨어뜨릴 수 있다. 향후 이러한 부분을 보완하여 추가적인 분석이 이루어질 수 있기를 기대해 본다.

이러한 한계점에도 불구하고 이 연구는 다음과 같은 의미가 있다. 첫째, 우리나라 병원의 모든 모집단을 대상으로 인공지능기법을 분석에 이용한 점이다. 이렇게 다량의 분석자료와 인공지능기법을 이용하여 환자 수를 예측한 선행연구는 매우 적었다. 둘째, 연구결과 측면에서 새로운 지식을 제공한 것을 들 수 있다. 구체적으로 입원과 외래에 이용한 환자 수 예측 인공지능기법은 상이한 모델이 다르게 성능을 보인 점을 들 수 있다. 단일 연구로 일반화가 어려우나, 향후 추가적인 연구가 수행된다면 일반화가 가능한 유의미한 성과일 수 있다. 셋째, 이 연구는 병원의 다양한 특성을 이용하여 환자 수를 추정할 수 있는 기법을 소개한다는 측면에서, 방법론의 확장성을 제공한다. 향후 의원, 치과의원과같은 보다 시설 규모가 작은 의료기관을 대상으로유사한 연구가 진행되기를 제안하고자 한다. 마지막으로 이 연구 결과에서 제시된 중요 변수는 원인관계를 의미하는 것이 아닌 관련성 및 예측에 기여하는 것이므로 이를 해석하는 데 주의가 필요하다.

결론적으로, 이 연구에서는 다양한 인공지능기법의 예측 성능을 병원의 입원과 외래환자 수를 대상으로 평가해 보았다. 평가결과 입원과 외래 각각 RF, LR 방법이 가장 좋은 예측 성능을 보이는 것을 확인할 수 있었다. 또한 이러한 예측에 중요한 역할을 하는 변수는 입원의 경우 병상 수와 간호사 수, 외래의 경우 의사 수가 중요 변수라는 것을 확인하였다. 다양한 인공지능기법이 분석대상, 관점에 따라 다른 성능을 보일 수 있다는 가정하에 이 연구에서는 다양한 인공지능 방법론을 환자 수 예측에 활용한 측면에서 의의가 있다. 이러한 연구는 보건의료 빅데이터를 이용하는 연구자들에게 인공지능 방법론의 활용, 성능비교 등에 대한 정보를 제공할 것이며, 예측 방법론의 확장성을 제공할 것이다. 또한 인공지능기법을 이용한 다양한 예측값들이 병원관계자와 정책담당자들에게 제공될 수 있다면 병원관리, 근거에 기반한 보건의료정책 수립에 많은 도움이 될 것이다. 향후 이러한 연구를 통해 다양한 인공지능기법이 보건의료분야에 적용되어 보다 예측력을 높이는 정책지원 도구로 이용될 수 있기를 기대해 본다.

이 연구에 영향을 미칠 수 있는 기관이나 이해당사자로부터 재정적, 인적 지원을 포함한 일체의 지원을 받은 바 없으며, 연구윤리와 관련된 제반 이해상충이 없음을 선언한다.