어린이·사회복지급식관리지원센터 영유아 대상 사업의 평가지표 현황 분석 및 논리모형 기반 성과평가체계 개발

Sohyun Park; Jieun Oh; Hyun Joo Ryou; Ji-Yun Hwang; Kirang Kim

doi:10.5720/kjcn.2026.00122

Articles

Page Path: HOME > Korean J Community Nutr > Volume 31(4); 2026 > Article

Research Article 어린이·사회복지급식관리지원센터 영유아 대상 사업의 평가지표 현황 분석 및 논리모형 기반 성과평가체계 개발: 박소현¹⁾, 오지은²⁾, 유현주³⁾, 황지윤⁴⁾, 김기랑^5),†
Analysis of evaluation indicators and development of a logic model-based performance evaluation framework for early childhood programs in the Center for Children’s and Social Welfare Foodservice Management in South Korea: a mixed-methods study: Sohyun Park¹⁾, Jieun Oh²⁾, Hyun Joo Ryou³⁾, Ji-Yun Hwang⁴⁾, Kirang Kim^5),†; Korean Journal of Community Nutrition 2026;31(4):360-373.
DOI: https://doi.org/10.5720/kjcn.2026.00122
Published online: August 31, 2026

¹⁾한림대학교 식품영양학과 및 한국영양연구소 교수

²⁾이화여자대학교 신산업융합대학 교수

³⁾사단법인 식생태문화협회 이사

⁴⁾상명대학교 식품영양학전공 교수

⁵⁾단국대학교 식품영양학과 교수

¹⁾Professor, Department of Food Science and Nutrition & The Korean Institute of Nutrition, Hallym University, Chuncheon, Korea

²⁾Professor, College of Science and Industry Convergence, Ewha Womans University, Seoul, Korea

³⁾Director, The Ecological Eating and Culture Association, Seoul, Korea

⁴⁾Professor, Major of Foodservice Management and Nutrition, Sangmyung University, Seoul, Korea

⁵⁾Professor, Department of Food Science and Nutrition, Dankook University, Cheonan, Korea

†Corresponding author: Kirang Kim Department of Food Science and Nutrition, Dankook University, 119 Dandae-ro, Dongnam-gu, Cheonan 31116, Korea Tel: +82-41-550-3472 Fax: +82-41-559-7955 Email: kirangkim@dankook.ac.kr

• Received: March 26, 2026 • Revised: May 13, 2026 • Accepted: June 15, 2026

This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (https://creativecommons.org/licenses/by-nc/4.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

222 Views
6 Download

Full Article

Download PDF

Abstract
INTRODUCTION
METHODS
RESULTS
DISCUSSION
NOTES
REFERENCES

Abstract

Objectives
This study analyzed the current evaluation indicators used for early childhood programs by the Center for Children’s and Social Welfare Foodservice Management (CCFSM) in South Korea and developed a logic model-based performance evaluation framework to improve the system through outcome-oriented assessment.
Methods
The study comprised four stages. First, existing on-site evaluation indicators were mapped onto a logic model framework to assess their suitability for evaluating program effectiveness. Second, focus group interviews were conducted with stakeholders and experts to examine their understanding of, and perceived limitations in, the current evaluation system. Third, new outcome indicators were developed using checklist items for hygiene, safety, and nutrition management implemented across centers, and program effectiveness was evaluated using these indicators. Fourth, additional indicators were developed to assess the effectiveness of child-targeted nutrition and dietary education programs, and their practical applicability was examined.
Results
The current evaluation indicators focused primarily on structural (input) and process measures, with limited emphasis on outcomes reflecting the ultimate program goals. Few indicators directly assessed improvements in children’s health and dietary behaviors, and existing outcome measures relied largely on subjective satisfaction surveys completed by facility directors and parents. Based on the logic model, the proposed outcome indicators included, in the mid-term, improvements in hygiene, safety, and healthy eating practices scores, and, in the long-term, reductions in foodborne illness and food allergy incidents, increased fruit and vegetable intake, and decreased sodium and sugar intake.
Conclusion
The findings highlight the need to transition the CCFSM evaluation system toward a performance-oriented framework. A logic model-based evaluation system would improve accountability and better align evaluation practices with policy objectives, whereas phased implementation would help minimize operational burden on practitioners.
Keywords: program evaluation; food services; child

INTRODUCTION

어린이·사회복지급식관리지원센터는 2008년 「어린이 식생활 안전관리 특별법」, 2022년 「노인·장애인 사회복지시설 급식안전 지원에 관한 법률」에 따라 전문 영양사가 없는 어린이집 등 보육시설 및 50인 미만 소규모 사회복지시설을 대상으로 종합적인 영양, 위생, 안전관리 지원을 제공하고 있다. 이들 시설 대부분이 전담 영양사가 없는 실정에서 센터의 설립 및 운영은 지역사회 내 영양 취약 대상의 영양 및 위생 문제의 개선을 위해 중요한 역할을 하고 있다. 특히 어린이 대상으로 센터에서 지원하고 있는 지원 서비스들은 약 13년 동안 진행되어 왔으며 여러 연구들에서 이들 대상의 건강 및 영양상태에 긍정적인 영향을 미친다는 결과들을 발표하였다[1-3].

사업의 지속성과 목표 달성을 위해서는 효율적이고 효과적인 성과 체계를 통한 관리가 중요하다. 기존 센터 사업의 평가는 주로 사업수행에 따른 실적 보고, 시설장과 학부모의 센터 서비스에 대한 만족도 조사, 시설장을 대상으로 하는 식습관 개선도 조사가 수행되고 있다. 이와 같은 기존의 지표들은 사업 대상자의 직접적이고 객관적인 평가가 아니며, 센터 사업과는 연계성이 낮은 평가 항목으로 조사되고 있어 센터의 실제적인 사업 효과 평가가 이루어지고 있지 않다[4].

기존의 영유아를 대상으로 하는 식생활 교육 프로그램의 효과평가 연구들에서 사용된 건강 및 영양 평가지표는 신체계측, 식품 및 영양소 섭취, 식행동 및 식사 환경, 개인위생 실천 문항 등을 포함하고 있는데, 대부분의 평가는 부모가 영유아 대신 응답하는 조사로 이루어졌다[5-7]. 최근에는 부모뿐만 아니라 영유아가 직접 본인의 식행동을 평가하는 조사 도구인 건강식생활실천 조사지(Healthy Eating Practices Questionnaire, HEPQ)가 개발됨에 따라 사업 수혜자의 직접적인 평가도 가능하게 되었다[8].

프로그램의 성과를 측정하고 평가하기 위해서는 프로그램의 구성 요소와 목표를 분명하게 이해할 수 있어야 하는데, 이를 위해서는 이론적 모형 적용이 필요하다. 다양한 평가 모형 중, 정부 및 지자체 보건 사업의 효과 평가를 위해 주로 활용되고 있는 모형은 논리 모형(logic model)이다[9, 10]. 논리 모형은 공공 프로그램의 효과를 기술하고 설명하기 위해 널리 활용되고 있는 도구로, 주어진 문제 해결을 위해 프로그램이 어떻게 운영되고 작동할 것인가를 나타내는 일련의 논리적 연관으로 구성된 선형적 모형이다[9, 10]. 이러한 논리 모형을 기반으로 한 사업의 평가지표 및 체계 개발은 표준화된 서비스 질 관리 및 성과 모니터링을 효과적으로 수행할 수 있도록 할 것이다.

따라서 본 연구는 기존의 급식관리지원센터의 효과평가에서 부족한 부분을 파악하고 개선하기 위해 수행되었다. 어린이·사회복지급식관리지원센터 운영 개선 및 센터 간 업무 상향 평준화 및 운영 효율화를 위해 현재 센터의 영유아 대상 사업에 대한 평가 지표 현황을 분석하고, 향후 논리 모형 기반의 센터 사업의 평가지표 및 체계를 제안하고자 하였다.

METHODS

Ethics statement

All participants, including the caregivers of child participants, were informed of the study purposes and protocols, and they provided written informed consent for themselves and their children. The study was approved by the Institutional Review Board of Dankook University (IRB No. DKU 2024-05-050-002).

1. 연구설계

본 연구는 어린이·사회복지급식관리지원센터 영유아 대상 사업의 효과 평가를 위한 지표 및 체계를 개발하고자 혼합연구방법론을 활용하여 수행하였으며, STROBE (Strengthening the Reporting of Observational Studies in Epidemiology) 보고지침에 따라 기술하였다(https://www.strobe-statement.org/).

2. 연구 절차

연구는 총 네 단계로 진행되었다(Fig. 1). 첫 번째 단계는 현재 센터 사업을 평가하는 항목을 논리 모형에 적용하여 사업의 평가 항목이 적절한지 분석하였다. 두 번째 단계는 센터 사업의 이해관계자 및 전문가 대상의 포커스그룹을 통해 현재 사업 평가 항목에 대한 이해도 및 문제점을 파악하였다. 세 번째 단계는 각 센터에서 수행하고 있는 급식소의 위생·안전 및 영양관리 체크리스트 항목을 이용하여 새로운 효과 평가지표를 개발하고 개발된 지표를 이용하여 센터 사업의 효과를 분석하였다. 네 번째 단계는 센터 사업 중에 어린이를 대상으로 하는 영양 및 식생활 교육의 효과를 평가하기 위한 지표를 선정하여 적용 가능성을 검토하였다.

3. 연구 내용

1) 기존 어린이·사회복지급식관리지원센터 사업 평가 항목의 적절성 평가: 논리 모형 적용

센터 사업의 현장 평가는 현장에서의 실사 평가와 사업 대상자의 만족도 평가로 이루어진다. 현장 실사의 평가 조사 항목은 운영관리(8영역 12항목, 40점) 항목과 급식소 지원(5영역 11항목, 40점) 항목으로 구성되어 있고, 만족도 평가 조사 항목은 시설장의 센터 사업에 대한 전반적인 종합 만족도(1항목 10점)와 영유아 식습관 개선도(1항목 10점) 항목으로 구성되어 총 100점 만점으로 점수가 산출된다(Fig. 2). 현장 평가 항목은 논리 모형에서의 구조지표, 과정지표, 결과지표로 구분하여 분석하였다. 평가 항목을 논리 모형에 적용한 결과는 어린이·사회복지급식관리지원센터의 센터장, 식품영양학과 교수, 보건학 전공 전문가로 구성된 전문가 집단을 대상으로 결과에 대한 안면 타당도 검증을 실시하였다.

2) 센터 영유아 사업의 이해관계자 및 전문가 대상의 포커스그룹 조사

센터 영유아 사업에 대해 이해도가 높은 전·현직 직원과 전문가를 대상으로 현재 사업 평가 항목에 대한 이해도 및 문제점을 파악하기 위하여 2024년 6월–8월 사이에 11차례 포커스그룹과 심층 인터뷰를 실시하였다. 식생활안전관리원과 연구자의 주변 센터를 시작점으로 하여 눈덩이 표집 방식(snowball sampling)을 통해 대상자를 모집하였다. 참여자는 지역 센터의 주요 담당자, 지역사회영양학 및 급식관리 분야 전문가, 성과평가지표 전문가 등으로 구성하였고 총 26명이 참여하였다. 포커스그룹과 인터뷰는 1–2시간 정도 소요되었으며, 참여자의 동의 하에 녹음을 하여 녹취록을 작성하였다. 미리 준비한 인터뷰 안내서(interview guide)를 사용하여 인터뷰를 진행하였고, 현재 업무, 평가지표에 대한 의견, 현장에서 요구하는 평가지표 개발 방향에 대해 논의하였다. 학계전문가와 성과평가지표 전문가를 대상으로는 평가지표 개발 방향과 현재 지표의 문제점 분석 및 향후 발전 방향에 대해 논의하였다. 녹취록 작성 후 프레임워크 분석(framework analysis) 방법을 이용하여 정리하였고, 분석 결과의 신뢰도를 높이기 위해 동료 검토를 통해 논의가 필요한 사항을 조정하였다[11]. 포커스그룹과 인터뷰에 대한 구체적인 연구 방법은 기존에 출판된 논문에 자세히 설명되어 있다[12].

3) 급식소의 위생·안전관리 및 영양관리 체크리스트 점수 분석

어린이·사회복지급식관리지원센터에서 영유아 대상 급식소의 위생·안전관리 체크리스트 문항은 집단 급식소 총 45문항, 소규모 급식소 총 30문항으로, 영양관리 체크리스트 문항은 집단 급식소와 소규모 급식소 모두 동일한 기준으로 총 14문항으로 구성되어 있으며 각 차원의 문항 수 및 배점 기준은 2023년 어린이·사회복지급식관리지원센터 통합가이드라인에 제시되어 있다[13].

위생·안전관리 영역에서의 평가 지표로는 식품의약품안전처에서 권장하고 있는 식중독 예방 6대 수칙[14]을 기반으로 위생·안전 체크리스트 항목 중 해당 항목을 선별하고 점수를 산출하였다. 영양관리 영역에 평가 지표로는 건강한 식생활 지침의 3대 영역인 충분성 및 균형성, 다양성, 절제성[15]을 기반으로 영양관리 체크리스트 항목 중 해당 항목을 선별하여 점수를 산출하였다(Table 1).

각 영역별 항목 배점은 10점 만점이 되도록 환산하였고, 하나의 영역에 두 개의 평가 문항이 포함되어 있는 경우 한 문항의 총합을 5점으로 하여 하나의 영역이 10점이 만점이 되도록 하였다. 최종적으로 위생·안전관리 영역 지표는 60점, 영양관리 영역 지표는 50점에 해당하는 총점으로 산출하였다. 각 영역별로 선정된 항목과 배점의 타당도 검증은 어린이·사회복지급식관리지원센터의 센터장, 식품영양학과 교수, 보건학 전공 전문가로 구성된 전문가 집단을 대상으로 결과에 대한 타당도를 검증하였다.

자료원은 식생활안전관리원 통합정보시스템에 2023년 1월 1일부터 2023년 12월 31일까지 입력된 총 30,489개 급식소의 자료 결과를 분석하였다. 다만 데이터의 완결성이 떨어지는 급식소를 분석에서 제외하여 위생·안전관리 분석은 27,793개소를 대상으로 분석하였다. 체크리스트 점수는 급식소 유형별(집단 급식소와 소규모 급식소), 센터 등록기간별(1년 이하, 1–3년, 4–6년, 7–9년, 10년 이상)로 나누어 평가하였다.

4) 영유아 대상 식생활 교육의 효과를 평가하기 위한 지표 선정 및 적용

센터 사업에서 영유아 대상으로 하는 식생활 교육 프로그램의 효과평가를 위하여 건강식생활실천조사를 실시하였다. HEPQ는 유아의 건강한 식생활 실천 수준을 객관적으로 평가하기 위해 2020년부터 2022년까지 단계적으로 개발 및 타당도가 검증된 유아 식생활 평가 도구로, 유아용과 학부모용으로 구성되어 있다[8, 16]. 이 평가 도구는 유아의 식품 선호도, 건강한 식행동 실천 여부, 손 씻기 및 이 닦기 행동과 같은 식생활 관련 행동을 ‘영양 영역’과 ‘위생 영역’으로 평가하고, 결과를 기반으로 표준화된 피드백 제공이 가능하도록 개발된 종합적 식생활 평가 도구이다. 이 평가 도구는 식품 선호도, 식품 섭취 수준, 손 씻기와 이 닦기 영역으로 구분하고, 각 세부 영역별로 3–5개의 응답을 제시하여 점수화한 후, 3–5점 척도로 된 평가 점수를 100점 만점으로 산출한다. 산출된 점수는 각 영역별 점수 기준에 따라 상(양호), 중(개선 필요), 하(개선 시급)로 등급을 구분하여 평가한다[16].

해당 지표가 센터의 교육사업에 대한 효과평가에 적절한지 파악하기 위하여 서울 지역 1개 자치구와 충남 천안시 지역의 어린이·사회복지급식관리지원센터에 등록한 어린이집 및 유치원 급식소 중에서 연구 참여에 동의한 대상자 172명(서울시 센터 34명, 천안시 센터 138명)을 조사하였다. 서울 지역 한 센터에서 수행한 식생활 교육 프로그램은 2023년 7월 중순부터 9월말까지로 식행동 관련 오감 놀이와 요리 활동의 프로그램으로 ‘나는야 채소 왕 왕관 만들기’ 책자를 배부하였다. 천안시 지역 센터에서는 7월 중순부터 10월 중순까지 골고루 먹기, 손 씻기, 음식 남기지 않기의 3대 식습관 실천하기에 대한 캠페인을 수행하였다. 캠페인은 3대 식습관 실천향상을 위한 활동꾸러미를 급식소와 가정에 제공하고, 활동 인증샷을 제출하여 경품을 제공하는 이벤트로 진행되었다. 교육 프로그램 효과를 평가하기 위한 건강식생활실천조사는 교육이 수행되기 전인 7월 초에 사전 조사를 실시하였고, 프로그램 종료 후인 10월 말에 사후 조사를 실시하였다.

서울 지역 센터에서 수행한 영양교육 프로그램은 식행동 관련 오감 놀이와 요리 활동으로 구성되어 있어 건강식생활실천 조사 항목 중 식품 선호도와 건강한 식행동 실천 여부 항목에 대한 평가를 실시하였고, 천안시 지역 센터에서 수행한 프로그램은 골고루 먹기, 손 씻기, 음식 남기지 않기의 3대 식습관 내용으로 구성되어 있어 건강식생활실천 조사 항목 중 식품 선호도, 건강한 식행동 실천 여부, 손 씻기 항목을 평가하였다.

5) 어린이·사회복지급식관리지원센터 영유아 사업 효과 평가를 위한 체계 개발

사업 효과의 평가를 위해 선정된 지표를 기반으로 평가 체계 안을 도출하고, 개발된 안을 전문가들과 함께 검증하였다. 내용 타당도(content validity) 검증을 위해 전문가 집단 수 최소 6명 이상 기준[17]에 근거하여 지역사회영양학 및 급식관리 분야 전문가, 공공사업의 평가 체계 및 성과지표에 전문적인 지식이 있는 전문가, 식생활안전관리원의 사업 담당자로 총 7명을 선정하였다. 전문가 대상 평가 회의는 6월과 9월에 총 2회 실시하였다.

4. 통계분석

위의 연구 단계 중 3번째 단계인 위생·안전관리 및 영양관리 체크리스트 점수 분석에서는 급식소 유형에 따라 센터 등록 기간별로 평균과 표준편차를 제시하였다. 집단 간 점수의 유의성 차이 검정을 위해서 분산분석을 실시하였고, 사후 검정은 Bonferroni 검정을 실시하였다. 모든 하위 집단의 표본 크기가 334 이상으로 중심극한정리에 의해 표본 평균의 정규성이 보장되어 별도 정규성 검정을 생략하였다.

연구 단계 중 4번째 단계인 건강식생활실천 점수 분석은 다음과 같이 진행하였다. 각 센터에서 수집한 건강식생활실천 점수는 식품 선호도 100점, 건강한 식행동 실천 여부 100점, 손 씻기 50점, 이닦기 50점으로 총 300점 만점으로 구성되고, 영역별 점수에 따라서 대상자의 평가 등급이 결정된다[13]. 식품 선호도 영역에서는 80점 이상은 양호, 70–79점은 주의, 70점 미만은 관리로 대상자가 구분된다. 건강한 식행동 실천 여부 영역에서는 100점은 양호, 79–99점은 주의, 79점 미만은 관리로 구분된다. 손 씻기와 이닦기 영역에서는 50점은 양호, 33.33–49.99는 주의, 33.33점 미만은 관리로 구분된다[13]. 각 센터별로 식생활 교육 프로그램 내용에 맞춰서 해당 영역에 대한 평가 항목의 점수를 기반으로 등급을 설정한 후, 교육 프로그램 전후의 등급 변화 비율을 산출하였고, 변화 비율의 유의성 검정은 Wilcoxon signed-rank 검정을 실시하였다. 통계분석은 Stata 17.0 (StataCorp LLC.)과 IBM SPSS 26.0 (IBM Corp.)을 사용하였다.

RESULTS

1. 기존 센터 사업의 현장 평가 항목의 논리 모형 적용성 평가

어린이·사회복지급식관리지원센터의 영유아 대상 센터 사업에 대해 현장 평가 항목을 논리 모형에 적용한 결과는 Table 2와 같다. 현행 센터 평가에 활용되고 있는 현장 평가 지표를 논리 모형의 구조(투입)–과정–결과지표로 분류한 결과, 대부분의 지표가 구조(투입)지표와 과정지표에 집중되어 있는 것으로 나타났다. 현장 평가 항목 중 운영관리 영역은 시설환경, 사업관리, 예산관리, 인사관리, 문서관리, 직원 교육 등 인력·예산·운영체계 및 정책 거버넌스와 관련된 요소로 구성되어 있어 주로 구조(투입)지표에 해당하였다. 반면, 운영위원회 활동은 사업 운영 과정에서의 의사결정 및 관리 활동을 반영하는 지표로서 과정지표로 분류하였다. 급식소 지원관리 영역에 포함된 급식소 등록관리, 지원 확대 노력 수준, 순회방문지도, 대상별 영양·식생활 교육 및 정보제공 등의 항목은 센터의 서비스 제공 및 실행 수준을 평가하는 지표로, 대부분 과정지표에 해당하였다. 한편, 센터 사업 수혜의 이해관계자 대상으로 하는 사업 서비스에 대한 종합만족도 조사와 식습관 개선도는 결과지표에 해당하였다. 종합하면, 현행 현장 평가 지표 체계는 구조(투입) 및 과정지표에 비해 결과지표의 비중이 상대적으로 제한적이며, 사업 수행 결과로 나타나는 수혜자 수준의 변화나 중·장기적 성과를 직접적으로 측정하는 지표는 상대적으로 부족한 것으로 분석되었다.

2. 포커스그룹 조사를 통한 센터 사업 효과평가의 핵심주제 도출

센터의 직원, 전·현직 센터장 및 전문가 대상의 질적 자료 분석 결과, 센터의 사업 효과평가 체계와 관련하여 여러 핵심 주제가 도출되었다(Table 3). 첫째, 연구 참여자들은 현행 사업 효과평가 및 만족도 조사 체계의 타당성에 대해 근본적인 문제를 제기하였다. 만족도 조사가 연간 사업이 종료되기 이전에 시행되어 평가의 정확도가 떨어지고, 순회 방문과 같은 핵심 업무의 효과가 평가에 충분히 반영되지 못하고 있다는 인식이 공통적으로 나타났다. 현재 시설장의 만족도 조사가 전체 센터 사업의 평가에 차지하는 비율이 현장 순회 담당 영양사에게 큰 부담으로 작용하고 있으며, 담당자들이 느끼는 현재 평가 시스템에 대한 타당도를 낮출 수 있음이 제기되었다.

둘째, 참여자들은 국가 차원에서 제시된 표준화된 평가지표의 한계점에 대해 자주 언급하였다. 어린이·사회복지급식관리지원센터의 어린이 대상 프로그램에서 편식 개선, 잔반 줄이기, 손 씻기 등 이른바 ‘식생활 개선 3대 지표’가 지역 및 시설 특성을 반영하지 못해 사업의 자율성과 유연성을 제한한다는 의견이 제시되었다.

셋째, 교육 사업과 그 효과평가의 구조적 한계도 주요 문제로 도출되었다. 각 센터가 자체적으로 개발한 교육 프로그램을 운영하고 있어 교육 내용과 수준의 표준화가 어렵고, 이로 인해 전국 단위의 효과 평가가 현실적으로 곤란하다는 점이 지적되었다. 특히 일회성 교육은 지속적인 행동 변화로 이어지기 어렵다는 인식이 강했으며, 장기적·반복적 개입을 반영할 수 있는 평가 지표의 필요성이 강조되었다.

넷째, 자료 수집 및 평가 수행 과정에서의 실행 가능성 문제가 확인되었다. 센터가 직접 평가 대상자를 모집하고 자료를 수집하는 현재의 구조는 업무 부담을 가중시키는 동시에, 평가의 객관성과 신뢰성을 저해할 수 있다는 우려가 제기되었다.

마지막으로, 연구 참여자들은 센터 사업의 실질적 효과를 적절히 반영하기 위해서는 법적 근거에 기반한 참여 체계, 중앙 차원의 표준화된 교육 자료와 평가 도구, 그리고 인력·예산 구조를 고려한 평가 체계가 필요하다고 인식하고 있었다.

포커스그룹 인터뷰 결과를 논리 모형에 따라 분석한 결과, 연구 참여자들은 센터 사업의 평가체계가 투입–과정–결과–효과지표 간의 논리적 연계성을 충분히 반영하지 못하고 있다고 인식하고 있었다. 다수의 참여자들은 구조모형 상에서 예산과 인력과 같은 기본적인 투입지표가 적절히 확보되어야 이후의 과정지표와 결과지표, 그리고 단·중·장기 효과지표가 타당하게 도출될 수 있다는 점에 동의하였다. 장기적 효과지표로서 어린이 또는 사회복지시설 이용자의 식품섭취 상태나 영양상태 개선이 바람직하다는 데에는 공감대가 형성되어 있었으나, 현재 센터 구조에서는 현장 영양사의 주요 업무가 급식의 영양·위생 관리에 집중되어 있어 대상자 맞춤형 영양 교육이나 식생활 개선 프로그램을 충분히 제공하기 어렵다는 의견이 지배적이었다. 이에 따라 현행 구조 하에서 대상자의 식품섭취 상태나 영양상태를 직접적인 결과지표 또는 효과지표로 설정하는 것은 적절하지 않다는 인식이 다수 제시되었다. 반면, 조리종사자 및 급식 관련 종사자를 대상으로 한 지속적인 현장 교육과 급식관리 체크리스트가 실제로 운영되고 있다는 점에서, 급식 관리가 적절하게 수행되고 있는지를 평가하는 지표는 현재 센터의 업무 범위와 구조에 보다 부합하는 결과지표로 인식되고 있었다.

3. 급식소의 위생·안전관리 및 영양관리 체크리스트 항목 기반의 지표 개발 및 적용

체크리스트 항목 기반으로 개발된 지표를 적용하여 급식소 유형별, 센터 등록 기간에 따른 사업의 효과를 분석한 결과는 Table 4와 같다. 1회 급식 인원이 50인 이상인 집단급식소와 50인 미만인 소규모 급식소 모두에서 위생·안전관리 점수와 영양관리 점수가 센터 등록 기간에 따라 유의한 차이를 보였다(P < 0.001). 위생·안전관리 점수의 경우, 두 급식 유형 모두에서 등록 기간이 1년 이하인 시설에서 가장 낮은 평균 점수를 보였으며, 등록기간이 긴 기관에서 높은 평균 점수가 관찰되었다. 특히 10년 이상 등록된 센터의 관리 대상 급식소에서 가장 높은 평균 점수를 보였다. 영양관리 점수 또한 센터 등록 기간에 따라 유의한 차이를 보였으나, 위생·안전관리 점수에 비해 증가 폭은 상대적으로 완만하였다. 집단급식소에서는 등록 기간 7–9년 구간에서 다소 낮은 평균 점수가 관찰되었으나, 10년 이상 등록된 경우 다시 점수가 상승하는 양상을 보였다. 소규모 급식소에서는 전반적으로 등록 기간이 길수록 영양관리 점수가 유지 또는 소폭 증가하는 경향이 확인되었다. 횡단면 설계로 인해 인과관계를 확인할 수는 없으나 센터 등록 기간과 급식관리 수준에 양의 상관관계가 존재함을 보여준다.

4. 영유아 대상 식생활 교육 프로그램의 효과평가를 위한 건강식생활실천 점수 지표의 적용

두 개의 지역 센터에서 수행한 식생활 교육 프로그램의 효과 평가를 위해 건강식생활실천 조사를 적용한 결과는 Fig. 3과 같다. 건강식생활실천설문 조사 점수를 기반으로 상, 중, 하로 판정 등급을 구분하여 교육 프로그램 전후로 판정 등급의 변경 여부를 평가하였다. 서울시 센터 대상자에서 교육 이후의 식품 선호도 영역에서는 등급이 유지되거나 상승한 대상자가 79.5%였고, 건강한 식행동 실천 여부 영역에서는 85.3%로 나타났다. 천안시 센터 대상자에서는 교육 이후의 각 영역별로 등급이 유지되거나 상승한 대상자가 식품 선호도 영역에서는 82.8%였고, 건강한 식행동 실천 여부와 손 씻기 영역에서 동일하게 90.8%로 나타났다. 각 영역별에서 사전 대비 사후의 등급 변화 분포에 대한 통계적 유의성은 없었다.

5. 어린이·사회복지급식관리지원센터 내 영유아 대상 사업의 효과평가 체계 (안) 개발

본 연구에서는 어린이·사회복지급식관리지원센터의 영유아 대상 사업에 대한 효과평가체계를 구축하기 위하여 구조(투입)–과정–결과 영역의 논리 모형을 적용하여 평가지표를 구성하였다. 기존 영유아 대상 센터 사업의 평가지표는 대부분 구조(투입) 및 과정 영역에 편중되어 있어, 사업의 실질적 성과를 측정할 수 있는 결과지표의 개발이 중요한 과제로 확인되었다.

포커스그룹 조사 결과, 급식관리 수행의 적절성을 평가할 수 있는 체크리스트의 중요성이 제기되었다. 따라서 위생·안전관리 및 영양관리 영역의 체크리스트 항목을 기반으로 지표를 개발하고, 현장에서의 적용 가능성을 검토한 후 이를 결과평가지표에 포함하였다. 또한 현재 각 센터에서 영유아를 대상으로 공통적으로 시행하고 있는 3대 식생활 개선 교육(편식 개선, 잔반 줄이기, 손 씻기)의 효과를 객관적으로 평가할 수 있는 지표의 필요성이 제기됨에 따라, 해당 교육 프로그램의 효과 평가를 목적으로 개발된 건강식생활실천평가도구를 결과지표에 포함시켰다.

이상의 연구 결과를 종합하여, 향후 센터 사업의 효과평가에 활용할 수 있는 평가체계를 다음과 같이 제안하였다. 제안된 평가체계는 사업의 투입에서 최종 성과에 이르는 전 과정을 포괄할 수 있도록 구조평가(structure evaluation), 과정평가(process evaluation), 결과평가(outcome evaluation)의 3단계 프레임으로 구성하였다(Fig. 4). 평가의 효율성을 확보하기 위하여 구조 및 과정평가에는 현재 센터를 대상으로 시행되고 있는 기존 평가 영역과 지표를 최대한 활용하였다.

구조평가 지표는 사업 수행의 기반이 되는 투입 요소를 진단하기 위해 ‘인력’, ‘예산’, ‘정책 거버넌스’의 3개 영역으로 구분하였다. 이는 기존의 단순 예산 집행률 중심의 평가에서 나아가, 사업 규모 대비 인력 배치의 적절성과 정책적 지원 체계의 효율성을 구조적으로 진단하기 위함이다.

과정평가와 결과평가는 사업의 핵심 기능에 해당하는 위생·안전관리, 영양관리, 식생활 교육의 3대 영역으로 범주화하여 평가 지표를 도출하였다. 과정평가 지표는 기존 센터 사업의 현장 평가 항목 중 운영관리 영역과 급식소 지원(어린이) 영역을 포함하여, 각 영역에서 센터가 급식소에 제공하는 지원 서비스의 이행 수준을 측정할 수 있도록 구성하였다. 구체적으로 위생·안전관리 영역에서는 급식소 순회방문 추진 정도, 영양관리 영역에서는 대상별 맞춤형 영양관리 순회방문 지도 추진 정도, 식생활 교육 영역에서는 대상자별 식생활 교육 추진 정도를 각각 평가 지표로 설정하였다.

결과평가 지표는 사업의 효과가 발현되는 시간적 위계를 고려하여 단기, 중기, 장기와 같이 세 시점으로 구분하여 설정하였다. 단기 지표는 사업 수행 직후에 나타나는 즉각적인 반응을 측정하기 위한 것으로, 대상자의 인식 및 태도 변화에 초점을 두었다. 본 연구에서는 현행 센터 평가 지표와의 연계성을 고려하여 기존의 시설장 만족도 지표를 확장한 형태로, 시설장·조리종사자·보육교사·학부모 등 다양한 이해관계자를 포괄하는 종합 만족도 항목을 제안하였다. 또한 식생활 교육 영역에서는 학부모의 급식에 대한 불안감 해소 및 안심도를 단기 지표로 추가 설정함으로써, 영유아 보호자의 정서적 반응까지 평가 범위에 포함시켰다.

중기 지표는 교육 및 지원 사업을 통해 대상자의 식생활 관련 행동이 실제로 개선되었는지를 평가하기 위한 것으로, 단기 지표가 측정하는 인식·태도 변화가 행동 단계로 이행되었는지를 확인하는 데 목적이 있다. 위생·안전관리 및 영양관리영역 에서는 각 영역별 급식 관리 체크리스트 점수의 개선율을, 식생활 교육 영역에서는 영유아 대상 건강식생활실천 점수의 향상도를 평가 지표로 포함하였다.

장기 지표는 사업의 궁극적 목표인 영유아의 건강 및 영양 상태 개선 정도를 평가하기 위한 것으로, 각 평가 영역의 과정지표가 인과적으로 도달해야 할 최종 결과에 해당한다. 본 연구에서는 논리 모형의 연속성을 확보하기 위하여, 과정지표(체크리스트 기반 위생·안전 급식 및 영양관리)와 인과적으로 연결되는 결과를 장기지표로 설정하였으며, 동시에 국가 영양정책의 핵심 성과 지표와의 정합성을 고려하여 지표를 도출하였다. 구체적으로 위생·안전관리 영역에서는 급식소 단위에서 체크리스트 기반의 위생관리가 이행될 경우, 그 최종적 결과로 급식소 내 식품 기인성 식중독 발생률의 감소로 연결하였다. 영양관리 및 식생활 교육 영역에서는 체크리스트 기반의 영양 및 식단 관리, 영유아 대상 식생활 교육으로 급식소 내 식품 알레르기 사고의 예방과 건강한 식사 제공의 효과가 예상된다. 또한 건강한 식사 제공으로 인해 국가영양정책의 핵심 성과지표인 채소·과일 섭취량의 증가와 나트륨 및 당류 섭취량의 감소를 기대할 수 있다. 따라서 최종 장기 지표로 급식소 내 알레르기 발생률의 감소, 채소·과일 섭취량의 증가, 나트륨 및 당류 섭취량의 감소를 공통 지표로 설정하였다.

한편, 장기 지표에 해당하는 위생, 영양 및 건강 관련 성과 지표인 식중독 발생률 감소, 급식소 내 식품 알레르기 사고 발생률 감소, 채소·과일 섭취량 증가, 나트륨 및 당류 섭취량 감소는 개별 센터 단위에서 직접 측정하기 어렵다는 한계가 있다. 이에 본 연구에서는 평가의 객관성과 효율성을 확보하기 위해 해당 지표들을 국가 승인 통계 등 2차 자료(secondary data)에 기반하여 평가하는 방안을 제안하였다. 구체적으로 식품의약품안전처 또는 식생활안전관리원이 주체가 되어 국가 단위 2차 자료와 연계하여 분석할 수 있으며, 위생·안전관리 영역에서는 식품의약품안전처 식중독예방과에서 산출하는 식중독 발생 통계와 영양·건강관리 영역에서는 질병관리청의 국민건강영양조사에서 제공하는 식품 및 영양소 섭취 자료와 연계하여 사업의 효과를 평가할 수 있을 것이다.

개발된 평가체계 및 지표 개선안의 내용 타당도를 검증하기 위하여 학계 전문가 및 센터 직원과 전·현직 센터장 등을 대상으로 자문회의를 실시한 결과에서는 논리 모형을 센터의 평가체계에 적용한 점이 적절하며, 제안된 지표들이 센터 사업의 목표와 부합하도록 구성되어 있다는 의견이 주를 이루었다. 다만 본 평가체계의 현장 적용을 위한 선결 과제로 다음과 같은 보완 사항이 제시되었다.

첫째, 평가지표의 안정적 산출을 위한 데이터 구축 시스템의 마련이 우선적으로 요구된다. 사업의 과정평가지표가 되는 현장 영양사들이 생산하는 체크리스트 데이터, 영유아들의 식사관련 지표, 식중독 발생률이 포함되는 데이터가 잘 구축될 필요가 있다. 둘째, 본 연구에서 개발한 체크리스트 기반 결과지표의 경우 항목별 배점 기준과 가중치 적용의 타당성에 대해서는 향후 전국 단위 자료를 기반으로 한 추가 분석을 통한 검증이 필요하다. 셋째, 현재 위생관리 및 영양교육 영역의 결과지표가 사업 수행 후의 개선 결과 중심으로 구성되어 있다는 점이 한계로 지적되었으며, 이에 따라 급식 제공 과정에서 양질의 서비스가 실제로 구현되고 있는지를 평가할 수 있는 과정지표의 추가 개발이 필요한 것으로 제안되었다.

DISCUSSION

본 연구는 어린이·사회복지급식관리지원센터의 평가 체계를 개선하기 위해 어린이 대상 사업을 중점적으로, 현재 운영 중인 현장 평가 항목을 논리 모형에 적용하여 지표의 구조적 특성과 한계를 분석하고, 향후 성과 중심 평가 체계로의 개선 방향을 제시하고자 수행되었다. 특히 센터 사업이 단순한 급식소 관리 지원을 넘어 아동의 건강 증진과 식생활 개선이라는 공공적 목적을 지닌다는 점에서, 투입–과정–결과의 인과적 연계를 명확히 하는 논리 모형의 적용은 평가체계의 타당성을 점검하는 데 중요한 의미를 가진다.

논리 모형에 기반하여 현장 평가 항목을 분류한 결과, 대부분의 지표가 구조(투입)지표와 과정지표에 집중되어 있으며, 결과지표는 상대적으로 매우 제한적인 것으로 나타났다. 운영관리 영역에 포함된 시설환경, 사업관리, 예산관리, 복무관리와 직원교육 관련 항목은 센터 사업 수행을 위한 필수 조건으로서 구조(투입)지표에 해당하였으며, 급식소 지원관리 영역의 급식소 등록관리, 급식지원확대 노력도, 순회방문지도와 대상자별 영양, 식생활 교육의 식생활 정보제공, 운영위원회 구성 및 운영은 과정지표로 분류되었다. 이는 현재의 평가체계가 센터가 ‘무엇을 갖추고 있으며(투입)’, ‘어떤 활동을 수행하고 있는지(과정)’를 확인하는 데에는 비교적 충실하나, 그 결과로 ‘어떤 변화가 발생했는지’를 평가하는 데에는 한계가 있음을 시사한다.

특히 주목할 점은, 센터 사업의 최종 수혜자인 어린이를 대상으로 한 성과를 직접적으로 반영하는 결과지표가 거의 포함되어 있지 않다는 점이다. 현행 센터 사업의 결과지표로 분류될 수 있는 평가 항목은 시설장과 학부모의 센터 서비스에 대한 만족도 조사와 시설장을 대상으로 한 영유아 식습관 개선 정도인데, 모두 서비스 제공 과정에 대한 주관적인 인식을 기반으로 평가되고 있어 실질적으로 사업의 효과를 객관적으로 직접 평가할 수 있는 결과지표로는 부적절하다. 논리 모형 관점에서 결과지표는 단기적 결과(예: 급식 위생 수준 개선, 영양관리 역량 향상)와 중·장기적 결과(예: 어린이의 식습관 개선, 건강 위험 감소)로 구분될 수 있으나, 현재 평가 체계에서는 이러한 변화가 체계적으로 측정·관리되지 않고 있다. 이는 센터 사업이 궁극적으로 지향하는 정책 목표와 현장 평가 간의 정합성이 충분히 확보되지 못하고 있음을 의미한다.

현장 전문가와 학계 전문가의 의견을 종합한 질적연구 결과에서도 현재의 센터 평가와 관련하여 만족도 조사의 한계점이 지적되었고, 수혜자의 식생활 지표 개선이나 건강 지표 개선과 같은 장기적인 효과 평가 지표가 필요하다는 의견이 많았다. 특히, 센터 영양사 업무 중 많은 시간을 할애하고 있는 급식소 방문을 통한 위생·안전 및 영양관리 체크리스트 작성 업무로부터 산출되는 체크리스트 점수 데이터의 활용 필요성이 제기되었다. 이에 본 연구에서는 위생·안전 및 영양관리 체크리스트 항목 중 센터 사업의 성과지표로 활용 가능한 항목들을 선별하여 평가지표로서의 적용 가능성을 평가하였다. 센터 사업의 목적인 체계적인 위생·안전 및 영양관리를 지원하여 취약계층의 건강 증진과 안전한 식생활을 보장하는 것과 연계하여 위생·안전관리 영역에서는 식중독 예방에 중점을 둔 식품 안전 항목을 그리고 영양관리 영역에서는 건강한 식생활 지침의 핵심인 충분성 및 균형성, 다양성, 절제성에 중점을 둔 항목을 선별하여 평가지표를 개발하였다.

본 연구에서 개발된 논리 모형의 평가지표로 분석한 결과에서는 센터에 등록하여 관리를 받은 기간이 길어질수록 급식소의 위생·안전 및 영양관리 수준을 나타내는 체크리스트 점수가 유의미하게 향상되는 경향을 보였다. 특히 10년 이상 장기 등록된 시설에서 가장 높은 점수가 도출된 점은 현행 급식관리지원센터의 순회방문지도와 체크리스트 기반 관리 체계가 급식소의 실질적인 관리 수준을 개선하는 유효한 도구임을 입증하였다. 이는 기존의 단순 만족도 조사 중심의 평가에서 벗어나, 실제 현장의 변화를 포착할 수 있는 객관적 결과지표로서 본 연구가 제안하는 지표가 타당성을 지니고 있음을 시사한다. 최근 연구에서도 센터의 지속적인 중재 활동이 소규모 급식소의 위생 수준 향상과 정착에 기여한다는 점이 강조된 바 있으며[4, 18, 19], 이러한 장기 추적 데이터는 센터 사업의 정책적 정당성을 뒷받침하는 핵심적인 근거가 될 수 있다. 기존 연구들 또한 점검(checklist)과 현장 지도는 단기 교육보다 식품위생 관리 이행도를 안정적으로 향상시키는 핵심 수단임을 보고하고 있으며, 이러한 과정 중심 지표(process-oriented indicators)가 실제 관리 성과를 평가하는 데 유용하다고 제안하고 있다[20].

반면, 영양관리 지표의 경우 센터 등록 기간에 따른 점수 차이가 위생·안전관리 지표에 비해 상대적으로 크지 않았으며, 일부 구간에서는 점수가 정체되거나 완만한 증가 양상을 보였다. 이는 현재의 영양관리 체크리스트가 급식 제공의 최소 기준 준수 여부를 평가하는 데에는 유용하지만, 영양의 질적 향상이나 식생활 개선의 미세한 변화를 민감하게 포착하기에는 한계가 있음을 시사한다. 더욱이 장기간 관리가 지속될 경우, 위생·안전관리와 마찬가지로 영양관리 점수 또한 일정 수준에서 포화(saturation)에 이를 가능성이 크다. 이러한 한계는 최근 영양 정책 및 평가 연구에서도 지적되고 있으며, 단순 준수 여부 중심 지표에서 벗어나 식단 질, 제공 빈도, 조리 방식, 대상 특성 반영 정도 등을 포함한 다차원적·단계적 영양관리 지표로의 고도화 필요성이 강조되고 있다[21]. 특히 단순한 식단 준수 여부를 넘어 영유아의 실제 영양 섭취 상태나 식행동 변화를 실질적으로 포착할 수 있는 지표로의 개선이 필요하며, 이를 위해 논리 모형 기반의 결과 중심 평가지표에 대한 지속적인 연구와 제도적 보완이 이루어져야 한다.

본 연구에서는 영양관리와 식생활 교육에 대한 센터 사업이 영유아의 식행동 및 영양상태에 영향을 미칠 수 있는지의 효과 평가를 위해 건강식생활실천조사를 통한 식행동 평가와 채소 및 과일 섭취, 나트륨 및 당류 섭취를 평가 항목으로 제안하였다. HEPQ는 식품의약품안전처에서 권장하는 세 가지 주요 식습관 실천 과제인 균형 잡힌 식사, 음식물 쓰레기 줄이기, 올바른 손 씻기를 포함하도록 개발된 것으로, 아동 친화적인 표정과 삽화 형식을 사용하여 아동이 스스로 선택할 수 있도록 구성되어 있으며, 어린이·사회복지급식관리지원센터에서의 영유아 교육 프로그램 효과를 평가하는 데 적합한 도구이다[8]. 이 조사 도구는 식품 선호도, 식품 섭취 수준, 손 씻기, 이 닦기의 총 4개 영역으로 구성되어 있다. 따라서 각 센터에서 운영하는 교육 프로그램의 주제에 따라 해당하는 영역을 선택하여 평가할 수 있어, 교육 내용에 맞춘 맞춤형 효과 평가가 가능하다는 장점이 있다.

실제 2개의 지역 센터에서 조사 도구를 식생활 교육 프로그램 효과 평가에 적용한 결과, 프로그램 전후의 영유아의 식생활 점수 차이가 통계적으로 유의하지는 않았으나 활용성 측면에서는 적용 가능성이 높은 것으로 나타났다. 다만, 본 연구에서는 연구 기간과 자원의 한계가 있었기에 추가로 검증할 수 있는 후속 연구가 필요하다.

장기적인 효과 평가지표로 제안된 채소 및 과일 섭취와 나트륨 및 당류 섭취는 국민건강증진종합계획(Health Plan 2030)과 국민영양관리기본계획의 성과지표로 모니터링되고 있는 지표이다[22, 23]. 국민건강영양조사 자료를 활용한 연구에 따르면 우리나라 유아 및 아동은 채소류에 대한 편식이 많으며, 채소 및 과일 섭취 부족으로 인해 비타민 C 등 주요 영양소 섭취가 부족한 경향이 나타나 식사의 질이 전반적으로 균형 잡히지 못한 것으로 보고되었다[24]. 또한 식품의약품안전처 보도자료(2023)에 의하면 국민건강영양조사 기반 분석 결과, 어린이·청소년(6–18세)에서 약 3명 중 1명 이상이 세계보건기구의 하루 당류 권고기준을 초과하는 것으로 나타나 어린이 식생활의 질 개선 필요성이 제기되고 있다[25].

전반적으로 현행 센터 사업의 평가 항목은 공공보건 및 급식 지원 사업 전반에서 반복적으로 지적되어 온 관리 중심 평가의 한계를 반영한다[26, 27]. 즉, 사업의 책임성과 투명성을 확보하기 위해 투입과 운영 과정에 대한 점검은 강화되어 왔으나, 실제 정책 효과성과 사회적 가치 창출 여부를 입증할 수 있는 성과지표의 개발과 적용은 상대적으로 미흡하였다. 어린이·사회복지급식관리지원센터 역시 법·제도적 요구사항과 행정적 관리 필요성에 따라 평가 체계가 설계되면서, 결과 중심 평가로의 전환이 충분히 이루어지지 못한 것으로 해석된다. 결론적으로 논리 모형의 관점에서 요구되는 투입–활동–성과 간의 인과적 연계를 충분히 반영하지 못하는 한계를 지니며, 이에 따라 평가 체계와 평가 지표의 개선 필요성을 시사한다.

Limitations

본 연구는 개발된 평가 지표의 적용 가능성을 위해서 일부 지역의 센터를 대상으로 식생활 교육 프로그램 효과 평가를 위해 기 개발되었던 건강식생활실천 지수를 사용하여 시범적용 해보았다. 그러나 해당 식생활 교육 프로그램이 주로 일회성 프로그램으로 진행되었고 프로그램 수혜 대상자 수 또한 제한적이어서 통계적으로 유의한 차이로 이어지지 않았다. 현재 센터가 진행하고 있는 영유아 대상 식생활 교육 프로그램의 효과평가 지표가 없는 상황에서 본 연구는 해당 결과지표의 현장 적용성은 확인해 볼 수 있었으나 실질적으로 효과평가 지표로 쓰일 수 있는지는 후속 연구에서 추가 검증이 필요하다.

Conclusion

본 연구는 어린이·사회복지급식관리지원센터 운영 개선 및 센터 업무의 질 향상 및 운영 효율화를 위해 논리 모형을 기반으로 현재 센터의 영유아 대상 사업에 대한 사업 평가지표 현황을 분석하고, 향후 적용 가능한 센터 사업의 평가 체계와 지표를 개발하였다. 따라서 향후 센터 평가 체계 개선을 위한 전략은 다음과 같다. 첫째, 기존 구조·과정지표의 중요성을 유지하되, 결과지표를 단계적으로 확충할 필요가 있다. 단기적으로는 급식소 위생·안전 및 영양관리 수준의 변화, 조리 종사자 및 담당 교사의 역량 변화와 같이 비교적 측정 가능성이 높은 지표를 도입하고, 중·장기적으로는 어린이의 식행동, 식품 선택, 건강 관련 지표와 연계한 성과 평가를 검토할 수 있을 것이다. 둘째, 만족도 조사 역시 단순한 종합만족도에서 벗어나, 서비스 이용 후 변화 인식이나 실천 변화와 같은 결과 지향적 문항으로 재구조화할 필요가 있다. 셋째, 논리 모형을 평가 설계의 보조 도구가 아닌 핵심 틀로 활용함으로써, 센터 사업의 목표–활동–성과 간 인과관계를 명확히 하고, 지역 간·센터 간 성과 비교 가능성을 제고할 수 있다. 마지막으로 센터 사업의 효율적 운영을 위하여 성과 중심 평가 체계로의 전환은 센터의 책무성을 강화하는 동시에, 현장의 부담을 최소화할 수 있도록 단계적으로 추진되어야 한다. 이를 위해 평가 지표 간소화, 표준화된 측정 도구 제공, 평가 결과의 피드백 및 컨설팅 연계 등 지원 체계가 병행되어야 하며, 이는 궁극적으로 어린이·사회복지급식관리지원센터 사업이 아동 건강 증진이라는 공공적 목적을 효과적으로 달성하는 데 기여할 것으로 기대된다.

NOTES

CONFLICT OF INTEREST

There are no financial or other issues that might lead to conflict of interest.

FUNDING

This research was supported by a grant from Ministry of Food and Drug Safety in 2024 (Grant No. 24192MFDS075).

ACKNOWLEDGEMENTS

The authors are thankful for all the participants in this study.

DATA AVAILABILITY

Research data is available upon request to the corresponding author.

Fig. 1.

Four-stage research procedure. FGI, focus group interview; ANOVA, analysis of variance; SPSS, Statistical Package for the Social Sciences; HEPQ, Healthy Eating Practices Questionnaire.

Fig. 2.

On-site evaluation form for the center programs in 2025. Based on the 2023 guideline for the Center for Children’s and Social Welfare Foodservice Management.

Fig. 3.

Effectiveness of dietary and nutrition education programs for children based on healthy eating practice scores. The P-values for the change between pre- and post-survey grades were obtained using the Wilcoxon signed-rank test. Declined, participants whose grade decreased from pre- to post-survey; Maintained, participants whose grade remained the same; Improved, participants whose grade increased.

Fig. 4.

Proposed evaluation framework and indicators of Center for Children’s and Social Welfare Foodservice Management for children.

Table 1.

Evaluation indicators based on checklist scores for hygiene, safety, and nutrition management

Category	Checklist items¹⁾	Score for group foodservice facilities	Score for small-scale foodservice facilities	Rescaling (maximum score)
Hygiene and safety management indicators (6 items for food poisoning prevention)
Hand washing	Verification of personal hygiene management of food handlers	3-1-0	4-2-0	10
Water quality	Water used for cooking and washing food meets drinking water quality standards	2-0	4-0	10
Proper food preparation	Designated knives and cutting boards for fish, meat, and vegetables	3-1-0	4-2-0	10
Cleaning and sanitizing	Kitchen utensils (e.g., cleaning cloths, spoons, chopsticks, tableware, containers, cutting boards, knives, and towels) are properly sanitized	2-1-0	4-2-0	5
Cleaning and sanitizing	When washing vegetables and fruits, detergents approved under the Hygiene Products Control Act are used, and only food additive–approved sanitizers are applied for disinfection	2-1-0	2-0	5
Thorough cooking	Animal-based ingredients (e.g., meat and fish) are cooked thoroughly to the core	2-0	2-0	10
Temperature control	Refrigerators are maintained at ≤ 5°C (≤ 10°C for vegetables susceptible to chilling injury), and freezers at ≤ −18°C	3-1-0	4-2-0	10
Nutrition management indicators (healthy dietary guidelines)
Adequacy and balance	Menus are appropriate for the age of children served	5-3-0	5-3-0	10
Adequacy and balance	Appropriate portion sizes for infants and young children are recognized and provided per meal	10-5-0	10-5-0	10
Adequacy and balance	Snacks and meals are provided considering age-specific characteristics (e.g., portion size, taste, and cooking method)	10-5-0	10-5-0	10
Variety	Menus prepared by a dietitian are used as planned	10-0	10-0	10
Moderation	Recommended sodium levels for soups are recognized and meals are prepared accordingly	5-0	5-0	10

¹⁾Based on the 2023 guideline for the Center for Children’s and Social Welfare Foodservice Management.

Table 2.

Application of a logic model to on-site evaluation indicators of Center for Children’s and Social Welfare Foodservice Management programs

Evaluation Items	Logic model indicators
Evaluation Items	Structural (input) indicators	Process indicators	Outcome indicators
Operational management
Facility and environment	O
Program management	O
Operational committee		O
Budget management	O
Human resource management	O
Personnel administration	O
Staff training	O
Contribution to policies on foodservice safety management		O
Food service facility support management
Foodservice facility registration management		O
Efforts to expand foodservice support		O
On-site visiting guidance		O
Nutrition and dietary education by target group
Provision of dietary information		O
Satisfaction
Overall satisfaction with center support			O
Improvement in dietary habits			O

Table 3.

Major themes and subthemes across focus groups and in-depth interviews

Theme	Subtheme	Key findings
Limitations of current performance evaluation	Timing and content of satisfaction surveys	Satisfaction surveys were conducted before completion of annual programs, resulting in inconsistent and potentially biased responses
Limitations of current performance evaluation	Mismatch between evaluation indicators and actual work	Existing indicators emphasized satisfaction and predefined policy targets rather than measurable improvements in hygiene and nutrition practices
Limitations of current performance evaluation	Stakeholder-related bias	Directors and facilities subject to monitoring were responsible for evaluating services, raising concerns about retaliatory or defensive responses
Issues with standardized policy indicators	Inappropriateness of the major key dietary indicators set by the central government	Uniform indicators (e.g., handwashing, picky eating, food waste reduction) limited centers’ ability to address locally relevant needs and were considered unsuitable for some populations, especially older adults and people with disabilities
Education and program evaluation challenges	Lack of standardization	Educational content varied widely across centers, making nationwide outcome evaluation difficult
Education and program evaluation challenges	Limited effectiveness of one-off education	Single-session education programs were perceived as insufficient for producing sustained behavioral change
Data collection and evaluation feasibility	Subject recruitment burden	Centers were responsible for recruiting participants for evaluation, which was viewed as compromising objectivity and increasing workload
System-level needs	Need for standardized tools and legal basis	Participants emphasized the need for legally mandated participation, standardized guidelines, and centrally developed educational and evaluation tools

Table 4.

Evaluating applicability of suggested checklist indicator based on center registration period and facility size

Center registration period	n (%)	Mean ± SD	P-value¹⁾	n (%)	Mean ± SD	P-value¹⁾
Hygiene and safety management²⁾ (year)	Group foodservice facilities (n = 10,962)			Small-scale foodservice facilities (n = 16,831)
≤ 1	334 (3.1)	53.4 ± 9.4^a	< 0.001	443 (2.6)	50.9 ± 10.3^a	< 0.001
1–3	2,680 (24.5)	56.8 ± 6.1^b		3,544 (21.1)	54.8 ± 7.0^b
4–6	2,781 (25.4)	56.6 ± 6.3^b		4,622 (27.5)	55.1 ± 7.0^b
7–9	3,361 (30.7)	56.0 ± 6.4^c		7,017 (41.7)	55.1 ± 6.8^b
≥ 10	1,806 (16.5)	57.5 ± 5.2^d		1,205 (7.2)	55.8 ± 6.5^bc
Nutrition management³⁾ (year)	Group foodservice facilities (n = 10,924)			Small-scale foodservice facilities (n = 19,552)
≤ 1	349 (3.2)	40.5 ± 9.6^a	< 0.001	544 (2.8)	45.0 ± 8.0^ab	< 0.001
1–3	2,632 (24.1)	43.2 ± 8.8^b		3,913 (20.0)	45.4 ± 7.4^ab
4–6	2,750 (25.2)	43.6 ± 8.6^b		5,719 (29.3)	45.8 ± 7.1^a
7–9	3,402 (31.1)	42.3 ± 10.0^c		8,005 (40.9)	45.3 ± 7.8^b
≥ 10	1,791 (16.4)	44.5 ± 8.0^d		1,371 (7.0)	45.8 ± 7.4^ab

¹⁾P-values were obtained from ANOVA tests.

²⁾The total score for hygiene and safety management domain is 60.

³⁾The total score for nutrition management domain is 50.

^a–dDifferent superscripts indicate statistically significant differences among group means after Bonferroni adjustment.

REFERENCES

1. Han YH, Hyun T. Nutrient intake and food consumption of Korean preschool children: a comparison between a daycare meal group and non-daycare meal group using the data from the 2016-2019 Korea National Health and Nutrition Examination Survey. Nutr Res Pract 2025; 19(2): 225-240. Article PubMed PMC Link
2. Center for Children's and Social Welfare Foodservice Management (CCFSM). Purpose of establishment and history [Internet]. CCFSM; n.d. [cited 2025 Sep 1]. Available from: https://dietary4u.mfds.go.kr/menu.es?mid=a10102000000
3. Kim HY, Yang IS, Chae IS, Yi BS, Park MK, Kim HY, et al. Effectiveness of center for child-care foodservice management for menu management and dietary variety. Korean J Community Nutr 2013; 18(3): 243-256. Article
4. Paik JE, Lee HA, Bae HJ. The assessment of food safety practices and the effect of visiting education on food safety improvement in children's foodservice facilities. Korean J Food Cook Sci 2015; 31(6): 764-772. Article
5. Byrne R, Bell L, Taylor RW, Mauch C, Mihrshahi S, Zarnowiecki D, et al. Brief tools to measure obesity-related behaviours in children under 5 years of age: a systematic review. Obes Rev 2019; 20(3): 432-447. Article PubMed Link
6. Randall Simpson JA, Keller HH, Rysdale LA, Beyers JE. Nutrition screening tool for every preschooler (NutriSTEP): validation and test-retest reliability of a parent-administered questionnaire assessing nutrition risk of preschoolers. Eur J Clin Nutr 2008; 62(6): 770-780. Article PubMed PDF
7. Lee JS, Kang MH, Kwak TK, Chung HR, Kwon S, Kim HY, et al. Development of nutrition quotient for Korean preschoolers (NQ-P): item selection and validation of factor structure. J Nutr Health 2016; 49(5): 378-394. Article Link
8. Park D, Gong BJ, Kim D, Han YH, Shin S, Woo EY, et al. Development and validation of an illustrated questionnaire on healthy eating practices among Korean preschool children. Nutr Res Pract 2025; 19(6): 985-1001. Article PubMed PMC Link
9. University of Wisconsin-Madison. Enhancing program performance with logic models [Internet]. University of Wisconsin-Madison; n.d. [cited 2026 Feb 2]. Available from: https://logicmodel.extension.wisc.edu/
10. Cooksy LJ, Gill P, Kelly PA. The program logic model as an integrative framework for a multimethod evaluation. Eval Program Plann 2001; 24(2): 119-128. Article
11. Gale NK, Heath G, Cameron E, Rashid S, Redwood S. Using the framework method for the analysis of qualitative data in multi-disciplinary health research. BMC Med Res Methodol 2013; 13: 117.Article PubMed PMC PDF
12. Kim J, Han D, Oh J, Ryou HJ, Hwang JY, Kim K, et al. A study on the improvement of evaluation scheme for the installation and operation of center for children’s and social welfare foodservice management: utilizing interviews with center stakeholders and external experts. J Nutr Health 2024; 57(6): 685-698. Article Link
13. Ministry of Food and Drug Safety (MFDS), Center for Child-Care Foodservice Management. Integrated guideline for the Center for Children's and Social Welfare Foodservice Management. MFDS; 2024.
14. Food Safety Korea. Six key rules to prevent food poisoning [Internet]. Ministry of Food and Drug Safety; 2024 [cited 2026 Feb 2]. Available from: https://www.foodsafetykorea.go.kr/portal/board/boardDetail.do?menu_no=4423&bbs_no=bbs405&ntctxt_no=1099994&menu_grp=MENU_NEW02
15. National Academies of Sciences, Engineering, and Medicine. Redesigning the process for establishing the dietary guidelines for Americans. The National Academies Press; 2017.
16. Han YH, Park D, Kim D, Shin S, Woo EY, Park HK, et al. Development and usability evaluation of a web-based healthy eating practice questionnaire for Korean preschool children: a child-parent dyad approach. Nutr Res Pract 2026; 20(1): 132-144. Article PubMed PMC Link
17. Lynn MR. Determination and quantification of content validity. Nurs Res 1986; 35(6): 382-385. Article PubMed
18. Kim J, Lee Y. The effect of a periodic visiting education program on food safety knowledge of cooks in children’s foodservice facilities. J Korean Diet Assoc 2014; 20(1): 36-49. Article
19. Kim JA. Analysis of hygiene management improvement effects according to the Center for Children’s Food Service Management visiting education. [master’s thesis]. Silla University; 2023.
20. World Health Organization (WHO). WHO global strategy for food safety 2022-2030: towards stronger food safety systems and global cooperation. WHO; 2022.
21. World Health Organization (WHO), United Nations Children’s Fund (UNICEF). Landscape assessment on global monitoring of diet quality: conducted on behalf of the diet quality working group of the WHO/UNICEF technical expert advisory group on nutrition monitoring (‎TEAM). WHO; 2020.
22. Health Plan. Health Plan 2030, 2021~2030 [Internet]. Korea Health Promotion Institute; 2021 [cited 2026 Feb 23]. Available from: https://www.khepi.or.kr/board/view?pageNum=1&rowCnt=8&no1=27&linkId=1002769&menuId=MENU01320
23. Ministry of Health and Welfare (MOHW). The 3rd National Nutrition Management Plan. MOHW; 2022.
24. Ju YN, Lee Y, Song K, Lee Y. Evaluation of diet quality according to the eating-out patterns of preschoolers and school-aged children in South Korea: based on data from the 2016–2018 Korea National Health and Nutrition Examination Survey. J Nutr Health 2021; 54(2): 165-178. Article Link
25. Ministry of Food and Drug Safety (MFDS). Sugar intake among the Korean population is below the WHO recommended standard... One in three children and adolescents aged 6 to 18 exceeds the limit [Internet]. MFDS; 2023 [cited 2026 Feb 23]. Available from: https://www.mfds.go.kr/brd/m_99/view.do?seq=47404&srchFr=&srchTo=&srchWord=&srchTp=&itm_seq_1=0&itm_seq_2=0&multi_itm_seq=0&company_cd=&company_nm=&page=1
26. DeGroff A, Schooley M, Chapel T, Poister TH. Challenges and strategies in applying performance measurement to federal public health programs. Eval Program Plann 2010; 33(4): 365-372. Article PubMed
27. Park H, Bae K. A study on improvement to public health care linkage and cooperation: focusing on compare the operation methods of the Special and Metropolitan Cities’s Task Force to support public health and medical services. Korean J Local Gov Stud 2023; 27(1): 217-242. Article

Figure & Data

REFERENCES

Citations

Citations to this article as recorded by

Cite

CITE: export Copy Download Format; Close

Download Citation

Download a citation file in RIS format that can be imported by all major citation management software, including EndNote, ProCite, RefWorks, and Reference Manager.

Format:

RIS — For EndNote, ProCite, RefWorks, and most other reference management software
BibTeX — For JabRef, BibDesk, and other BibTeX-specific software

Include:

Citation for the content below
Citation and abstract for the content below

Analysis of evaluation indicators and development of a logic model-based performance evaluation framework for early childhood programs in the Center for Children’s and Social Welfare Foodservice Management in South Korea: a mixed-methods study

Korean J Community Nutr. 2026;31(4):360-373. Published online August 31, 2026

DOI: https://doi.org/10.5720/kjcn.2026.00122

XML Download

Figure

We recommend

Fig. 1. Four-stage research procedure. FGI, focus group interview; ANOVA, analysis of variance; SPSS, Statistical Package for the Social Sciences; HEPQ, Healthy Eating Practices Questionnaire.

Fig. 2. On-site evaluation form for the center programs in 2025. Based on the 2023 guideline for the Center for Children’s and Social Welfare Foodservice Management.

Fig. 3. Effectiveness of dietary and nutrition education programs for children based on healthy eating practice scores. The P-values for the change between pre- and post-survey grades were obtained using the Wilcoxon signed-rank test. Declined, participants whose grade decreased from pre- to post-survey; Maintained, participants whose grade remained the same; Improved, participants whose grade increased.

Fig. 4. Proposed evaluation framework and indicators of Center for Children’s and Social Welfare Foodservice Management for children.

Fig. 1.

Fig. 2.

Fig. 3.

Fig. 4.

Category	Checklist items¹⁾	Score for group foodservice facilities	Score for small-scale foodservice facilities	Rescaling (maximum score)
Hygiene and safety management indicators (6 items for food poisoning prevention)
Hand washing	Verification of personal hygiene management of food handlers	3-1-0	4-2-0	10
Water quality	Water used for cooking and washing food meets drinking water quality standards	2-0	4-0	10
Proper food preparation	Designated knives and cutting boards for fish, meat, and vegetables	3-1-0	4-2-0	10
Cleaning and sanitizing	Kitchen utensils (e.g., cleaning cloths, spoons, chopsticks, tableware, containers, cutting boards, knives, and towels) are properly sanitized	2-1-0	4-2-0	5
Cleaning and sanitizing	When washing vegetables and fruits, detergents approved under the Hygiene Products Control Act are used, and only food additive–approved sanitizers are applied for disinfection	2-1-0	2-0	5
Thorough cooking	Animal-based ingredients (e.g., meat and fish) are cooked thoroughly to the core	2-0	2-0	10
Temperature control	Refrigerators are maintained at ≤ 5°C (≤ 10°C for vegetables susceptible to chilling injury), and freezers at ≤ −18°C	3-1-0	4-2-0	10
Nutrition management indicators (healthy dietary guidelines)
Adequacy and balance	Menus are appropriate for the age of children served	5-3-0	5-3-0	10
Adequacy and balance	Appropriate portion sizes for infants and young children are recognized and provided per meal	10-5-0	10-5-0	10
Adequacy and balance	Snacks and meals are provided considering age-specific characteristics (e.g., portion size, taste, and cooking method)	10-5-0	10-5-0	10
Variety	Menus prepared by a dietitian are used as planned	10-0	10-0	10
Moderation	Recommended sodium levels for soups are recognized and meals are prepared accordingly	5-0	5-0	10

Evaluation Items	Logic model indicators
Evaluation Items	Structural (input) indicators	Process indicators	Outcome indicators
Operational management
Facility and environment	O
Program management	O
Operational committee		O
Budget management	O
Human resource management	O
Personnel administration	O
Staff training	O
Contribution to policies on foodservice safety management		O
Food service facility support management
Foodservice facility registration management		O
Efforts to expand foodservice support		O
On-site visiting guidance		O
Nutrition and dietary education by target group
Provision of dietary information		O
Satisfaction
Overall satisfaction with center support			O
Improvement in dietary habits			O

Theme	Subtheme	Key findings
Limitations of current performance evaluation	Timing and content of satisfaction surveys	Satisfaction surveys were conducted before completion of annual programs, resulting in inconsistent and potentially biased responses
Limitations of current performance evaluation	Mismatch between evaluation indicators and actual work	Existing indicators emphasized satisfaction and predefined policy targets rather than measurable improvements in hygiene and nutrition practices
Limitations of current performance evaluation	Stakeholder-related bias	Directors and facilities subject to monitoring were responsible for evaluating services, raising concerns about retaliatory or defensive responses
Issues with standardized policy indicators	Inappropriateness of the major key dietary indicators set by the central government	Uniform indicators (e.g., handwashing, picky eating, food waste reduction) limited centers’ ability to address locally relevant needs and were considered unsuitable for some populations, especially older adults and people with disabilities
Education and program evaluation challenges	Lack of standardization	Educational content varied widely across centers, making nationwide outcome evaluation difficult
Education and program evaluation challenges	Limited effectiveness of one-off education	Single-session education programs were perceived as insufficient for producing sustained behavioral change
Data collection and evaluation feasibility	Subject recruitment burden	Centers were responsible for recruiting participants for evaluation, which was viewed as compromising objectivity and increasing workload
System-level needs	Need for standardized tools and legal basis	Participants emphasized the need for legally mandated participation, standardized guidelines, and centrally developed educational and evaluation tools

Center registration period	n (%)	Mean ± SD	P-value¹⁾	n (%)	Mean ± SD	P-value¹⁾
Hygiene and safety management²⁾ (year)	Group foodservice facilities (n = 10,962)			Small-scale foodservice facilities (n = 16,831)
≤ 1	334 (3.1)	53.4 ± 9.4^a	< 0.001	443 (2.6)	50.9 ± 10.3^a	< 0.001
1–3	2,680 (24.5)	56.8 ± 6.1^b		3,544 (21.1)	54.8 ± 7.0^b
4–6	2,781 (25.4)	56.6 ± 6.3^b		4,622 (27.5)	55.1 ± 7.0^b
7–9	3,361 (30.7)	56.0 ± 6.4^c		7,017 (41.7)	55.1 ± 6.8^b
≥ 10	1,806 (16.5)	57.5 ± 5.2^d		1,205 (7.2)	55.8 ± 6.5^bc
Nutrition management³⁾ (year)	Group foodservice facilities (n = 10,924)			Small-scale foodservice facilities (n = 19,552)
≤ 1	349 (3.2)	40.5 ± 9.6^a	< 0.001	544 (2.8)	45.0 ± 8.0^ab	< 0.001
1–3	2,632 (24.1)	43.2 ± 8.8^b		3,913 (20.0)	45.4 ± 7.4^ab
4–6	2,750 (25.2)	43.6 ± 8.6^b		5,719 (29.3)	45.8 ± 7.1^a
7–9	3,402 (31.1)	42.3 ± 10.0^c		8,005 (40.9)	45.3 ± 7.8^b
≥ 10	1,791 (16.4)	44.5 ± 8.0^d		1,371 (7.0)	45.8 ± 7.4^ab

Table 1. Evaluation indicators based on checklist scores for hygiene, safety, and nutrition management

Based on the 2023 guideline for the Center for Children’s and Social Welfare Foodservice Management.

Table 2. Application of a logic model to on-site evaluation indicators of Center for Children’s and Social Welfare Foodservice Management programs

Table 3. Major themes and subthemes across focus groups and in-depth interviews

Table 4. Evaluating applicability of suggested checklist indicator based on center registration period and facility size

P-values were obtained from ANOVA tests.

The total score for hygiene and safety management domain is 60.

The total score for nutrition management domain is 50.

a–d

Different superscripts indicate statistically significant differences among group means after Bonferroni adjustment.