Warning: mkdir(): Permission denied in /home/virtual/lib/view_data.php on line 81

Warning: fopen(upload/ip_log/ip_log_2024-11.txt): failed to open stream: No such file or directory in /home/virtual/lib/view_data.php on line 83

Warning: fwrite() expects parameter 1 to be resource, boolean given in /home/virtual/lib/view_data.php on line 84
Development and Validation of a Questionnaire on the Feasibility of a Mobile Dietary Self-Monitoring Application
Skip Navigation
Skip to contents

Korean J Community Nutr : Korean Journal of Community Nutrition

OPEN ACCESS

Articles

Page Path
HOME > Korean J Community Nutr > Volume 27(2); 2022 > Article
Research Article 식습관 관리 애플리케이션의 적용 가능성에 대한 설문지 개발 및 타당성 연구
이희진orcid , 안정선orcid , 이정은orcid
Development and Validation of a Questionnaire on the Feasibility of a Mobile Dietary Self-Monitoring Application
Heejin Leeorcid , Jeong Sun Ahnorcid , Jung Eun Leeorcid
Korean Journal of Community Nutrition 2022;27(2):146-157.
DOI: https://doi.org/10.5720/kjcn.2022.27.2.146
Published online: April 30, 2022
1서울대학교 생활과학대학 식품영양학과, 대학원생
2식품의약품안전처 영양기능연구과, 보건연구사
3서울대학교 생활과학대학 식품영양학과, 교수
4서울대학교 생활과학연구소, 교수

1Graduate student, Department of Food and Nutrition, College of Human Ecology, Seoul National University, Seoul, Korea
2Scientific officer, Functional Food Research Division, Ministry of Food and Drug Safety, Cheongju, Korea
3Professor, Department of Food and Nutrition, College of Human Ecology, Seoul National University, Seoul, Korea
4Professor, Research Institute of Human Ecology, College of Human Ecology, Seoul National University, Seoul, Korea
Corresponding author:  Jung Eun Lee, Tel: +82-880-6834, Fax: +82-884-0305, 
Email: jungelee@snu.ac.kr
Received: 2 December 2021   • Revised: 24 March 2022   • Accepted: 24 March 2022
  • 176 Views
  • 10 Download
  • 0 Crossref
  • 0 Scopus
prev

Objectives
This study aimed to develop and assess the content validity and internal consistency of a questionnaire on the feasibility of mobile dietary self-monitoring applications.
Methods
We developed a feasibility questionnaire to assess the overall usage, convenience, usefulness, and satisfaction of mobile dietary applications. The initial draft of the questionnaire contained 17 items with yes/no, multiple-choice, and open-ended questions and 52 items on 5-point Likert scales. To validate the content, ten experts evaluated the relevance of the items for each subscale using a 5-point scale. We calculated the item-level content validity index (I-CVI) and scale-level content validity index (S-CVI). A total of 102 adults answered the questionnaires which reflected the experts' reviews. We conducted an exploratory factor analysis to determine the underlying structure of responses and categorized convenience, usefulness, and satisfaction. We also calculated Cronbach's alpha coefficient to examine the internal consistency of items in each subscale.
Results
The S-CVI score of the items was 0.86, and we removed items with an I-CVI score of < 0.80. We combined, revised, or separated some remaining items and added one item as per the experts' comments. As a result, we included 16 items about overall usage and 42 sub-questions. Based on the responses of the 102 adults, we performed exploratory factor analysis using the principal axis method. We retained items with a factor loading of > 0.40, resulting in a final set of 35 questions (convenience: 15, usefulness: 12, satisfaction: 8 items). The Cronbach's alpha values of the three scales were 0.93, 0.91, and 0.91 for 1) usefulness, 2) convenience, and 3) satisfaction, respectively.
Conclusions
We developed a feasibility questionnaire for mobile dietary self-monitoring applications and examined its content validity and internal consistency. Our questionnaire has the potential to measure the feasibility of mobile dietary self-monitoring applications.


Korean J Community Nutr. 2022 Apr;27(2):146-157. Korean.
Published online Apr 30, 2022.
Copyright © 2022 The Korean Society of Community Nutrition
Original Article
식습관 관리 애플리케이션의 적용 가능성에 대한 설문지 개발 및 타당성 연구
이희진,1,* 안정선,2,* 이정은3,4
Development and Validation of a Questionnaire on the Feasibility of a Mobile Dietary Self-Monitoring Application
Heejin Lee,1,* Jeong Sun Ahn,2,* and Jung Eun Lee3,4
    • 1서울대학교 생활과학대학 식품영양학과, 대학원생
    • 2식품의약품안전처 영양기능연구과, 보건연구사
    • 3서울대학교 생활과학대학 식품영양학과, 교수
    • 4서울대학교 생활과학연구소, 교수
    • 1Graduate student, Department of Food and Nutrition, College of Human Ecology, Seoul National University, Seoul, Korea.
    • 2Scientific officer, Functional Food Research Division, Ministry of Food and Drug Safety, Cheongju, Korea.
    • 3Professor, Department of Food and Nutrition, College of Human Ecology, Seoul National University, Seoul, Korea.
    • 4Professor, Research Institute of Human Ecology, College of Human Ecology, Seoul National University, Seoul, Korea.
Received December 02, 2021; Revised March 24, 2022; Accepted March 24, 2022.

This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Abstract

Objectives

This study aimed to develop and assess the content validity and internal consistency of a questionnaire on the feasibility of mobile dietary self-monitoring applications.

Methods

We developed a feasibility questionnaire to assess the overall usage, convenience, usefulness, and satisfaction of mobile dietary applications. The initial draft of the questionnaire contained 17 items with yes/no, multiple-choice, and open-ended questions and 52 items on 5-point Likert scales. To validate the content, ten experts evaluated the relevance of the items for each subscale using a 5-point scale. We calculated the item-level content validity index (I-CVI) and scale-level content validity index (S-CVI). A total of 102 adults answered the questionnaires which reflected the experts' reviews. We conducted an exploratory factor analysis to determine the underlying structure of responses and categorized convenience, usefulness, and satisfaction. We also calculated Cronbach's alpha coefficient to examine the internal consistency of items in each subscale.

Results

The S-CVI score of the items was 0.86, and we removed items with an I-CVI score of < 0.80. We combined, revised, or separated some remaining items and added one item as per the experts' comments. As a result, we included 16 items about overall usage and 42 sub-questions. Based on the responses of the 102 adults, we performed exploratory factor analysis using the principal axis method. We retained items with a factor loading of > 0.40, resulting in a final set of 35 questions (convenience: 15, usefulness: 12, satisfaction: 8 items). The Cronbach's alpha values of the three scales were 0.93, 0.91, and 0.91 for 1) usefulness, 2) convenience, and 3) satisfaction, respectively.

Conclusions

We developed a feasibility questionnaire for mobile dietary self-monitoring applications and examined its content validity and internal consistency. Our questionnaire has the potential to measure the feasibility of mobile dietary self-monitoring applications.

Keywords
dietary self-monitoring application; questionnaire validation; mHealth; mobile health

서론

모바일 기기가 널리 사용되면서 모바일 헬스(mHealth)는 의료 및 공중 보건 분야에서 건강증진에 기여할 수 있는 새로운 플랫폼으로 주목 받고 있다[1, 2]. 전 세계적으로 무선 모바일 연결이 증가하고 있으며 2017년 한국의 무선통신 보급률(99.4%)은 같은 해의 유선통신 보급률(71.3%)보다 높았다[3]. 2020 인터넷이용실태조사 보고서에 따르면 국내 인터넷 이용자 수는 지속적으로 증가하고 있으며, 2020년 기준 만 3세 이상 연령의 91.5%가 모바일 인터넷을 이용하고 있다[4]. 이러한 추세에 따라 건강 관련 모바일 애플리케이션이 다양하게 출시되는 등 건강 관리에 있어서도 모바일 중심의 인터넷 환경이 구축되고 있다[5]. 2017년에 발표된 모바일 헬스의 현황과 동향(mHealth Economics 2017-Current Status and Future Trends in Mobile Health)에 의하면 2017년 구글 플레이 스토어와 애플 앱 스토어와 같은 주요 앱스토어에 등록된 모바일 헬스 애플리케이션은 325,000개이었으며[6, 7], Statistica는 2016년 230억 달러 규모의 모바일 헬스 시장이 2025년 1,900억달러까지 성장할 것으로 전망하였다[8].

2017년 전 세계 사망의 73.4%가 비전염성 질환(non-communicable disease, NCD)으로 인하여 발생하였다[9]. 비전염성 질환을 예방 및 관리하는 데에 식습관 관리가 중요하므로 질병 부담을 감소시키기 위해 자가 모니터링 시스템과 그에 따른 장기적인 영양 관리가 중요하다[10]. 건강 관련 모바일 애플리케이션은 개인의 건강 상태를 모니터링하고 건강 관리 지침을 제공하는 유용한 도구로 사용될 수 있다[11]. 실제로 여러 중재연구와 코호트 연구에서 모바일 헬스 애플리케이션과 같은 자가모니터링 도구가 개인의 식단 개선, 운동 장려와 적절한 체중 유지에 도움을 준다고 보고되었다[11, 12, 13].

개발된 식습관 관리 애플리케이션이 잘 활용되기 위해서는 모바일 애플리케이션에 대한 평가가 선행되어야 한다. 국내외 연구에서 식습관 관리 애플리케이션을 사용하는 것이 건강상태를 모니터링하고 개선하는데 효과가 있고 적용 가능성이 있는지 구조화된 설문지로 평가한 바 있다[14, 15, 16, 17, 18]. 적용 가능성을 평가하는 설문지의 타당도 연구는 시스템 사용성 척도(the system usability scale, SUS), 휴대전화 사용성 설문지, 영양 및 건강교육 애플리케이션과 모바일 헬스 관련 유용성 평가 척도의 개발 및 검증 등 정보통신기술 분야에서 주로 이루어졌다[19, 20, 21, 22].

식습관 관리 애플리케이션은 다양한 영양소 섭취량에 대한 정보와 피드백을 제공하기 때문에, 섭취한 식단을 입력하고 영양소를 계산할 수 있어야 한다[23, 24]. 따라서 식습관 관리 애플리케이션의 특성을 살린 차별화된 평가도구 개발과 타당성 검증이 필요하다. 하지만 식습관 관리 애플리케이션의 적용 가능성을 평가하기 위한 설문지의 타당도 평가를 수행한 경우는 아직 국내에 보고된 바 없다.

앞으로 개인의 식사를 추적할 수 있는 새로운 모바일 기술이 발전할 것으로 예상되며, 이와 함께 식습관 관리 애플리케이션이 개인의 식사 섭취 정도를 적절하게 평가 및 모니터링하고 동기 부여 피드백을 제공할 수 있는지에 대하여 평가할 수 있어야 할 것이다. 따라서 본 연구에서는 식습관 관리 애플리케이션의 적용 가능성을 평가할 수 있는 설문지를 개발하고 개발된 설문지의 타당도를 평가하고자 한다.

연구대상 및 방법

1. 연구대상

설문지의 내용타당도(content validity)를 평가하기 위하여 영양(n = 4), 의학(n = 2), 컴퓨터 과학(n = 2)과 모바일 의료(n = 2) 분야의 전문가 10명을 모집하였다. 전문가는 남, 여 동일한 비율로 모집하였다. 식습관 관리 애플리케이션의 적용 가능성 평가에 사용할 설문지의 내적 일치도(internal consistency)를 확인하고자 2018년 1월 2일부터 2018년 4월 12일 사이에 서울 소재 S대학교의 온라인 커뮤니티 또는 소셜 네트워크 서비스(SNS)나 학내 포스터광고를 통하여 지원자를 모집하였다. 123명이 연구에 관심을 보였으며 이 중, 1) 18 세 이상, 2) 스마트폰 사용자, 3) 본 연구진이 개발한 식습관 관리 애플리케이션인 Well-D를 사용할 의향이 있는 자로 한정하여 최종적으로 102명이 연구에 참여하였다. 연구대상자의 일반적인 특성은 Table 1과 같다. 대상자의 평균연령은 25.56 ± 6.12세로 연령대 분포는 19 ~ 25세가 64명(62.75%), 26 ~ 30세가 30명(29.41%)이었다. 대상자의 64.75%가 여성이었다. Well-D는 사용자의 나이, 체중 등과 같은 일반적인 특성과 식품 및 식이보충제 섭취를 추적하고, 일별로 피드백을 제공하는 모바일 식습관 관리 애플리케이션이다[24]. 본 연구는 서울대학교 생명윤리위원회(IRB No. 1710 / 003-007)의 승인을 받아 수행하였고 모든 참여자는 연구 참여 전에 서면 동의서를 작성하였다.

Table 1
General characteristics of the study participants for exploratory factor analysis and internal consistency evaluation (n = 102)

2. 설문지 초안 개발

식습관 관리 애플리케이션의 적용 가능성을 평가하기 위한 설문지 문항을 조사하기 위하여 학술검색엔진인 PubMed와 Web of Science에서 영문 문헌 검색을 수행하여, ICT 및 소프트웨어를 포함한 건강서비스 관련 기기나 시스템을 평가하는 연구를 검토하였다. 또한 건강서비스와 직접적인 관련이 없어도 모바일 시스템 자체를 평가한 연구도 검토하였으며 문헌 검색 시 사용한 검색어는 Table 2와 같다. 한글 논문은 학술연구정보서비스 RISS를 사용하여 검색하였고 검색어는 모바일 애플리케이션(초록), 사용성(논문명), 사용자경험(논문명), UI(초록, user interface)를 각각 and, or, and로 연결하였다. 일부 문헌은 인용한 문헌과 인용된 문헌을 검색하는 수기검색을 통하여 추가하였다[15, 16, 17, 19, 20, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74]. 본 연구에서는 모바일 식습관 관리 애플리케이션의 전반적인 사용에 대한 질문과 간편성(convenience), 유용성(usefulness), 만족도 및 사용 의도(satisfaction and intention to use)의 평가요인을 포함하는 설문지를 만들었다. 설문지 초안은 양자택일식(예 / 아니오), 객관식 및 개방형 문항 또는 각 평가요인(간편성, 유용성, 만족도 및 사용 의도)별로 리커트 5점척도로 평가하는 6 ~ 24개의 문항으로 구성하였다. 결과적으로 애플리케이션 사용 전반에 관한 총 17개의 문항과 세부 평가요인에 관한 52개의 문항이 설문지 초안에 포함되었다.

Table 2
Search terms utilized in the search strategy

3. 내용타당도 평가

개발된 척도가 측정하고자 한 바를 잘 대표하고 있는지, 그리고 관련 있는 내용들로 적절하게 구성되어 있는지를 확인하기 위하여 내용타당도를 평가하였다. 내용타당도를 평가하기 위하여 10명의 전문가 패널들이 식습관 관리 애플리케이션의 전반적인 사용에 대한 17개의 문항과 간편성, 유용성, 만족도 및 사용 의도에 관한 52 가지 문항의 관련성을 5점 리커트 척도를 사용하여 평가하였다(1 = 전혀 관련이 없음, 2 = 관련이 없음, 3 = 약간 관련됨, 4 = 관련, 5 = 매우 관련성이 있음). 제시된 평가항목 이외에 전문가 패널들이 평가 이후 추가로 제안한 의견은 검토하여 설문지를 수정 및 보완하는 데 반영하였다.

4. 설문조사

102명의 일반인 대상자가 Well-D 애플리케이션을 적어도 3일 이상 사용하도록 안내하였다. 연구참여자가 3일 이상 애플리케이션을 사용한 것을 연구진이 확인한 이후에 온라인 설문을 진행하였다. 온라인 설문을 완료한 참여자는 총 101명이었으며, 각 참여자가 설문을 완료하는데 걸린 시간은 중위수로 11분이었다(IQR, 7 ~ 22분). 102명의 참여자 중 1명은 직접 연구실에 방문하여 종이로 된 설문지에 답하였다. 설문 결과 1개 또는 2개 문항에서 무응답이 있는 경우, 참여자에게 다시 개별적으로 연락하여 모든 설문을 완료하였다. 설문조사 응답은 탐색적 요인분석을 통한 척도의 구성항목 추출과 내적 일치도 평가에 이용하였다.

5. 통계처리

내용타당도 지수는 전반적인 척도 수준(scale-level content validity index, S-CVI)과 각 문항 수준(item-level content validity index, I-CVI)을 산출하였다. 내용타당도는 문항수준 내용타당도 지수로 평가하였으며, 각 문항별로 4점 또는 5점으로 응답한 전문가의 비율을 계산하였다. 모든 질문과 문항의 I-CVI 점수를 평균화하여 척도수준 내용타당도 지수 또한 산출하였다. 적용가능성 평가 척도 개발을 위하여 내용타당도 지수가 낮은 항목을 제외한 후 탐색적 요인분석을 수행하였다.

탐색적 요인분석을 사용하여 설문지 세부 평가요인에 관한 문항의 구성요인을 추출하였다. Kaiser-Meyer-Olkin (KMO) 표본적합성 측도와 Bartlett의 구형성 검정을 사용하여 표본적합도를 검증하였다. 주축요인법(principal axis method)을 이용하여 요인을 추출하였고 직접오블리민(direct oblimin) 회전 후, 고유값(eigenvalue)이 1보다 큰 요인만 남겼다. 최종 설문지의 신뢰도를 검증하기 위하여 탐색적 요인분석의 각 차원별로 크론바흐 알파계수를 산출하여 내적 일치도를 평가하였다. 모든 통계 처리는 통계소프트웨어 SAS 9.4 (SAS Institute, Cary, NC, USA)를 이용하여 분석하였다.

결과

1. 적용가능성 평가 척도 개발

10명의 전문가 패널이 설문지에 응답하였고, 애플리케이션 사용 정도, 애플리케이션 사용 경험, 식사량 변화, 식사기록 여부, 애플리케이션의 장단점 등 애플리케이션 사용 전반에 관한 17개 문항과 세부 평가요인에 대한 52개 문항으로 구성된 전체 설문지의 S-CVI 점수는 0.86이었다. 이 중 I-CVI 점수가 0.80 미만인 11개 문항을 삭제하였다. 문항을 삭제한 후의 S-CVI는 0.91점이었다. 문항을 삭제한 후, 18개의 문항을 합치거나 분리 또는 수정하였고, 새로운 문항 하나를 추가하였다.

애플리케이션의 평가요인 52개 문항 중, 서로 유사한 2개의 문항 두 쌍을 각각 1개 문항으로 통합하여, 총 4개 문항을 2개 문항으로 줄였다. ‘(애플리케이션)을 통해 맞춤형 영양정보를 받는 것은 건강한 식습관을 갖는 데 도움이 되었다’와 ‘(애플리케이션)의 식사목표설정 기능은 건강한 식습관을 가지는 데 도움이 되었다‘의 두 문항은 ‘(애플리케이션)을 통해 영양정보를 받는 것은 건강한 식습관을 갖는 데 도움이 되었다’로 통합하였다. 이와 동시에 ‘(애플리케이션)은 내가 사용 전 식습관 관리 애플리케이션에 가졌던 기대에 부합한다‘와 ‘(애플리케이션)은 내가 사용 전 다이어트 애플리케이션에 가졌던 기대에 부합한다‘의 두 문항은 ‘(애플리케이션)은 내가 사용 전 식습관 관리 또는 다이어트 애플리케이션에 가졌던 기대에 부합한다‘로 통합하였다. 전문가 패널의 절반이 식사 기록에 대한 보다 구체적인 질문이 필요하다고 제안하여, 5지선다형의 객관식 질문 ‘귀하가 식사를 기록하는 기간 동안, 먹었지만 기록하지 않은 음식이 있었습니까?’를 양자택일(예/아니오)형 질문인 ‘귀하가 식사를 기록하는 기간 동안, 먹었지만 기록하지 않은 음식이 있습니까?’와 10개의 선택지가 있는 객관식 질문인 ‘귀하가 식사를 기록하는 기간 동안, 먹었지만 기록하지 않은 음식의 빈도는 전체 식사량의 몇 %정도 됩니까?’로 세분화했다. 이에 따라 참여자가 실제로 먹었지만 기록하지 않은 음식의 비율이 질문으로 포함되었다. 응답자의 편의성을 높이고 답변을 명료하게 얻기 위하여 애플리케이션 사용 빈도, 애플리케이션 사용 시간 및 식사 기록 시 소요되는 시간을 묻는 개방형 문항을 객관식으로 변경하였다. ‘나는 (애플리케이션)을 사용하면서 오류와 같은 기술적 문제를 겪지 않았다.’를 ‘나는 (애플리케이션)을 사용하면서 오류와 같은 기술적 문제를 겪었다.‘로 수정하는 등, 부정문이거나 모호한 표현을 사용한 9개의 설문 문항은 전문가의 조언에 따라 표현을 수정하였다. 과거 애플리케이션 사용 경험을 묻는 문항에 식습관 관리 애플리케이션의 예시를 추가하였다. 사용한 애플리케이션의 이름을 물어보는 개방형 문항을 식사기록 애플리케이션 사용 경험을 묻는 문항에 추가하였다. 그 결과, 식습관 관리 애플리케이션 전반적인 사용 16개 문항과 세부 평가 요인 42개 문항을 2차 설문지에 포함시켰다. 애플리케이션 전반적인 사용에 관한 16개 문항의 I-CVI 점수는 Table 3에 나타냈다.

Table 3
Calculation of I-CVI for questions and items in the initial draft of the questionnaire

2. 설문지 내적 일치도(신뢰도)

연구대상자들은 내용타당도 검증을 마친 설문지의 모든 문항에 빠짐없이 답하였다. 이 중 평가요인 42개 문항으로 탐색적 요인분석을 실시하고자 했으며, Bartlett 구형성 검정에서 표본 적절성의 가정을 충족하였다(P < 0.001). 전체 KMO 표본 적합도 지수는 0.85로 적절하였으나, 다음 개별 문항들은 KMO 표본 적합도 지수가 0.60 이하인 것으로 나타났다; 1) 나는 (애플리케이션)을 사용하면서 오류와 같은 기술적 문제를 겪었다, 2) 나는 계속해서 (애플리케이션)에 식품 또는 음식을 입력하는 게 남에게 보여지는 것이 쑥스러웠다, 3) 나는 종종 (애플리케이션)을 사용하는 것을 잊었다. 따라서 이 3개 문항을 제외한 39개 문항으로 탐색적 요인분석을 하였다. 첫 번째 요인의 고유값이 14.88, 두 번째 요인의 고유값이 3.39, 세 번째 요인의 고유값이 1.85로 각각 전체 변동의 53.52%, 12.21%, 6.64%를 설명하였다. 세 번째 요인 이후부터 고유값 변화폭이 현저히 줄어들어 3요인 구조가 적절하다고 판단하였다(Fig. 1). 구성요소 중 요인 적재량(factor loading)이 0.40보다 낮았던 다음의 네 가지 문항을 제외하였다. 1) 나는 (애플리케이션)의 각 메뉴목록이 전반적으로 잘 분류되어 있다고 생각한다, 2) 나는 전반적으로 화면 구성이 한 눈에 들어오지 않아 (애플리케이션)에 집중하기 어려웠다, 3) 나에게 적절한 열량섭취량을 파악하는 데 (애플리케이션)이 도움이 되었다, 4) 나는 전반적인 (애플리케이션)의 디자인이 마음에 든다. 그 결과, 총 35개의 문항이 최종적으로 선택되었으며, 첫 번째 요인으로 12개 문항, 두 번째 요인으로 15개 문항, 세 번째 요인으로 8개 문항이 묶였다. 세 개 요인은 각각 유용성, 간편성, 만족도로 대표되었다. 각 요인별 크론바흐 알파계수는 유용성 0.93, 간편성 0.91, 만족도 0.91로 적절하였다(Table 4). 또한 특정 문항을 삭제하였을 때, 신뢰도 계수가 현저히 증가하는 문항이 없어 모든 문항을 그대로 유지하였다. Fig. 2에 설문지 개발과 타당도 검증의 전반적인 흐름도를 나타내었다.

Fig. 1
Scree plot from the exploratory factor analysis of 39 questionnaire items.

Fig. 2
Flowchart depicting questionnaire development and validation testing.

Table 4
Calculation of I-CVI, factor loading, and Cronbach's alphas for items in the finalized questionnaire

고찰

본 연구는 식습관 관리 애플리케이션의 적용 가능성을 평가할 수 있는 다문항 척도를 개발 후, 내적 일치도를 확인하였다. 설문지 초안은 식습관 관리 애플리케이션의 전반적인 사용성에 관한 17개의 문항과 간편성, 유용성, 만족도와 사용 의도 등을 파악하기 위한 52개의 문항으로 구성되었다. 내용타당도와 내적 일치도 평가 이후, 식습관 관리 애플리케이션의 전반적인 사용성을 묻는 16개의 일반설문조사와 간편성, 유용성, 만족도를 평가하기 위한 35개의 적용 가능성 평가 문항으로 정리하였다. 모바일 식습관 관리 애플리케이션의 적용가능성을 평가하는 연구가 소수인 것과 달리, 컴퓨터 시스템, 모뎀, 웹 사이트, 모바일 장치와 애플리케이션과 같은 여러 ICT 제품을 평가하는 설문지는 이미 다수 개발되고 검증되었다[19, 20, 21, 22]. 그 중에서 Brooke [75]이 1986년 개발한 시스템 사용성 척도는 시스템 혹은 서비스의 사용성을 범용적으로 평가할 수 있는 간편하고 경제적인 척도로 ICT 제품 혹은 서비스 평가에도 널리 사용되어 왔다[18]. 미국의 AT & T사에서 진행된 연구에서 시스템 사용성 척도의 타당성을 검증한 바 있다. 시스템 사용성 척도의 10개 문항에 대하여 요인분석을 진행하였고, 10개 문항을 설명하는 하나의 요인(사용성)이 요인분석 결과에 근거하여 선택되었다. 이는 다양한 종류의 ICT제품 인터페이스에 대한 전반적인 사용성을 시스템 사용성 척도로 평가할 수 있음을 보여준다[18]. Ryu 등[19]이 발표한 또 다른 연구에서는 휴대전화 사용성 설문지(Mobile Phone Usability Questionnaire)의 타당도를 평가하여, 휴대전화 사용성 설문지를 이용 편리성, 작동 지원, 감정적 측면, 명령 및 최소 메모리 부하, 제어 및 효율성, 휴대 전화 작업을 포함한 6 가지 요인 구조로 구성하였다. Yen 등[20]은 직원 배치와 일정 관리를 보조하기 위하여 설계된 웹 기반 커뮤니케이션 시스템용 건강 정보 기술 사용성 평가 척도(health information technology usability evaluation scale)를 개발 후, 377 명의 간호사를 대상으로 설문지의 구성타당도 연구를 수행하여 직장생활의 질, 유용성 인지, 편리성 인지, 사용자 정의 컨트롤의 4 가지 요인으로 구성하였다. DiFilippo 등[21]은 영양 애플리케이션 품질 평가 도구(the nutrition application quality evaluation tool, AQEL)를 개발하였으며, 행동 변화 잠재력, 관련 지식 습득 지원, 애플리케이션 기능, 기술 개발 및 애플리케이션 목적을 포함한 5 가지 요소를 도출하였다. 위에 기술한 모든 연구는 대상 제품의 사용성을 평가할 목적으로 설문지를 개발하였으며, 그 중 일부에는 유용함을 평가하기 위한 항목이 포함되었다. 따라서 본 연구에서도 선행연구와 유사하게 간편성과 유용함을 평가하기 위한 문항을 포함시켰다.

식습관 관리 애플리케이션은 다양한 영양소와 식품군에 대한 정보를 제공해야 하며, 섭취량 정보를 바탕으로 만성질환을 예방하고 관리하는 전략으로서 식습관 관리 애플리케이션을 활용할 수 있다[23]. 일례로, Khoury 등[76]이 수행한 메타 분석 연구에서 만 18세 이상의 성인이 식습관 관리 애플리케이션을 한 달에서 1년 이하로 사용한 경우, 애플리케이션을 사용하지 않은 경우에 비하여 체중과 허리둘레가 각각 -2.45 (95% CI, -3.33, -1.58) kg과 -2.54 (95% CI, -3.34, -1.73) cm 감소함을 보였다. 또한 LowSalt4Life라는 모바일 애플리케이션을 8주 동안 사용한 중재연구에서 애플리케이션을 사용한 고혈압 환자들의 나트륨 섭취량과 수축기 혈압이 애플리케이션을 사용하지 않은 사람들에 비하여 더 큰 폭으로 감소함을 확인하였다[77]. 이처럼 식습관 관리 애플리케이션은 개개인이 자신의 영양소 섭취량을 지속적으로 파악할 수 있는 도구로 기능하며, 만성질환을 가진 사람들이 일상생활에서 식습관과 건강을 관리할 때에 특히 유용할 것이다. 식습관 관리 애플리케이션이 제대로 기능하기 위해서는 식품 종류뿐만 아니라 정확한 식사 섭취량에 대한 정보가 필요하며 영양판정까지 이루어져야 한다[23]. 사용자가 정확한 분량을 파악하고 입력할 수 있도록 이미지를 활용한 웹, 모바일 도구들이 지속적으로 개발되고 있다[24]. 이와 같은 식습관 관리 애플리케이션의 발전과 더불어 식습관 관리 애플리케이션을 평가할 수 있는 도구가 필요할 것이라 사료된다.

이에 본 연구는 식습관 관리 도구로 기능하는 모바일 애플리케이션의 적용 가능성을 평가하기 위하여, 식습관 관리 애플리케이션의 식습관 관리 기능을 평가할 수 있는 문항을 포함하였다. 본 연구진이 개발한 식습관 관리 애플리케이션 Well-D는 행동변화기술(behavioral change techniques, BCT) 전략의 일환으로 목표 설정, 자가 모니터링 및 피드백 기능이 탑재되어 있다[78]. 식사요법과 신체활동을 변화시키기 위하여 목표설정, 자가 모니터링, 피드백 전략이 포함된 애플리케이션을 활용했을 때, 중재연구 참여자의 행동과 건강상태가 개선되었다는 체계적 문헌 고찰 연구가 발표된 바 있다[79]. 모바일 식사 애플리케이션이 개인의 식사를 추적·관찰하거나 채소 섭취량을 증대시킬 목적으로 활용될 수 있는지 조사한 중재연구에서, 중재 이후 사용성뿐만 아니라 해당 애플리케이션의 동기 부여 정도, 인지 또는 피드백 기능을 평가하는 항목을 함께 포함한 설문조사를 시행하였다[14, 15]. 또한 Tay 등[67]의 연구는 설문조사와 포커스그룹인터뷰를 통해 칼슘 섭취를 자가 모니터링하는 모바일 애플리케이션의 사용성과 수용도를 살펴보았으며, 질적 연구에서 편리성, 소요시간, 식품 기록의 정확성, 동기 부여 및 애플리케이션 사용을 저해시킬 수 있는 식사 문제가 주요 평가항목으로 도출되었다. 본 연구에서 사용한 설문지는 식습관 관리 애플리케이션이 자가 모니터링과 식사 변화에 미치는 효용과 유용함을 파악하기 위하여 고안되었다.

본 연구는 탐색적 요인분석을 수행하기에 표본 크기가 작을 수 있다는 제한점이 있다. 그러나 요인적재량이 크고 변수의 수가 많으면서 요인 수가 적으면 표본 크기가 50명 이하여도 탐색적 요인분석을 진행할 수 있다는 연구결과가 있으며[80], 본 연구는 사용자와 조사자가 이해하기 쉽게 탐색적 요인으로부터 추출한 간편성, 유용성, 만족도 및 사용 의도의 3 가지 세부 평가요인으로 설문지를 구성하였다. 본 연구는 연구참여자를 학내에서 모집하였기 때문에 참여자의 대부분이 젊은 성인으로 연구결과를 노년층까지 일반화하기 어려울 수 있으며, 설문을 1회 실시하여 재현성(reproducibility) 평가가 어렵다는 한계가 있다. 그렇지만 연구참여자 102명 전원이 설문문항에 모두 답하여 결측값으로 인한 데이터의 왜곡이 발생하지 않았다.

본 연구는 식습관 관리 애플리케이션의 적용 가능성 탐색을 위한 설문지를 개발한 국내 첫 연구이며, 설문지에 애플리케이션에서의 식사섭취 평가와 식습관 변화와 관련한 질문을 포함한 것에서 의미가 있다. 향후 식습관 관리 혹은 식이와 관련한 애플리케이션이 개발·출시 될 때, 본 설문지가 애플리케이션의 적용 가능성을 파악할 수 있는 적절한 도구로 활용될 수 있을 것이라 기대한다. 최종적으로 사용된 식습관 관리 어플리케이션 적용 가능성 평가용 설문지는 저작자에게 이용을 허락 받아 활용할 수 있다.

요약 및 결론

모바일 식습관 관리 애플리케이션의 적용 가능성에 대한 설문지를 개발하고, 내용타당도 평가와 탐색적 요인분석을 수행하여 설문지를 수정하였다. 먼저, 10명의 전문가로 구성된 전문가 집단이 식습관 관리 애플리케이션의 전반적인 사용 17개 문항과 간편성, 유용성, 만족도 및 사용 의도 등을 질문하는 52개 문항의 관련성을 평가하였다. 내용타당도 평가 후, 전반적인 사용에 관한 16개 문항과 42개 문항으로 구성된 2차 설문지를 도출하였다. 2차 설문지 구성항목에 대한 연구참여자 102명의 응답을 바탕으로 탐색적 요인분석을 실시 후, 추출된 구성요소에 대하여 내적 일치도를 평가하였다. 그 결과, 전반적인 사용성을 묻는 16개의 문항과 함께 간편성, 유용성, 만족도의 35개 문항으로 구성된 설문지를 도출할 수 있었다. 본 연구는 국내에서 식습관 관리 애플리케이션의 적용 가능성을 평가하기 위한 설문지를 개발한 첫 연구라는 데 의의가 있다. 추후 본 연구진이 개발한 설문지를 활용하여 모바일 식습관 관리 애플리케이션의 타당성을 평가할 수 있을 것으로 기대한다.

Acknowledgments

This research was supported by the MSIT (Ministry of Science and ICT), Korea, under the ITRC (Information Technology Research Center) support program (IITP-2018-2014-1-00720) supervised by the IITP (Institute for Information & communications Technology Promotion).

References

    1. World Health Organization. mHealth: New horizons for health through mobile technologies: Second global survey on eHealth. Geneva: World Health Organization; 2011. pp. 66-71.
    1. Becker S, Miron-Shatz T, Schumacher N, Krocza J, Diamantidis C, Albrecht UV. mHealth 2.0: Experiences, possibilities, and perspectives. JMIR Mhealth Uhealth 2014;2(2):e24
    1. Korea Internet & Security Agency (KISA) and Ministry of Science and ICT. 2017 survey on the internet usage [Internet]. Korea Internet & Security Agency; 2018 [cited 2021 Jun 11].
      Available from: https://www.kisa.or.kr .
    1. National Information Society Agency (NIA). Internet usage survey of Korea 2020 [Internet]. National Information Society Agency; 2021 [cited 2021 Apr 04].
      Available from: https://www.nia.or.kr .
    1. Franco RZ, Fallaize R, Lovegrove JA, Hwang F. Popular nutrition-related mobile apps: A feature assessment. JMIR Mhealth Uhealth 2016;4(3):e85
    1. Zhou L, Saptono A, Setiawan IMA, Parmanto B. Making self-management mobile health apps accessible to people with disabilities: Qualitative single-subject study. J Med Internet Res 2020;22(1):e15060
    1. Research 2 Guidance. mHealth economics 2017 – Current status and future trends in mobile health [Internet]. 2017 [cited 2020 Nov 06].
    1. Statistia. Global digital health market size between 2015 and 2025, by major segment [Internet]. Statista; 2020 [cited 2020 Nov 06].
    1. GBD 2017 Causes of Death Collaborators. Global, regional, and national age-sex-specific mortality for 282 causes of death in 195 countries and territories, 1980-2017: A systematic analysis for the Global Burden of Disease Study 2017. Lancet 2018;392(10159):1736–1788.
    1. GBD 2017 Diet Collaborators. Health effects of dietary risks in 195 countries, 1990-2017: A systematic analysis for the Global Burden of Disease Study 2017. Lancet 2019;393(10184):1958–1972.
    1. Payne HE, Lister C, West JH, Bernhardt JM. Behavioral functionality of mobile apps in health interventions: A systematic review of the literature. JMIR Mhealth Uhealth 2015;3(1):e20
    1. Teasdale N, Elhussein A, Butcher F, Piernas C, Cowburn G, Hartmann-Boyce J, et al. Systematic review and meta-analysis of remotely delivered interventions using self-monitoring or tailored feedback to change dietary behavior. Am J Clin Nutr 2018;107(2):247–256.
    1. Burke LE, Wang J, Sevick MA. Self-monitoring in weight loss: A systematic review of the literature. J Am Diet Assoc 2011;111(1):92–102.
    1. Lee JE, Song S, Ahn JS, Kim Y, Lee JE. Use of a mobile application for self-monitoring dietary intake: Feasibility test and an intervention study. Nutrients 2017;9(7):748
    1. Mummah SA, Mathur M, King AC, Gardner CD, Sutton S. Mobile technology for vegetable consumption: A randomized controlled pilot study in overweight adults. JMIR Mhealth Uhealth 2016;4(2):1–13.
    1. Ashman AM, Collins CE, Brown LJ, Rae KM, Rollo ME. Validation of a smartphone image-based dietary assessment method for pregnant women. Nutrients 2017;9(1):73
    1. Tsai CC, Lee G, Raab F, Norman GJ, Sohn T, Griswold WG, et al. Usability and feasibility of PmEB: A mobile phone application for monitoring real time caloric balance. Mob Netw Appl 2007;12(2-3):173–184.
    1. Zang J, Song J, Wang Z, Yao C, Ma J, Huang C, et al. Acceptability and feasibility of smartphone-assisted 24 h recalls in the Chinese population. Public Health Nutr 2015;18(18):3272–3277.
    1. Bangor A, Kortum PT, Miller JT. An empirical evaluation of the system usability scale. Int J Hum-Comput Interact 2008;24(6):574–594.
    1. Ryu YS, Smith-Jackson TL. Reliability and validity of the mobile phone usability questionnaire (MPUQ). J Usability Stud 2006;2(1):39–53.
    1. Yen PY, Wantland D, Bakken S. Development of a customizable health IT usability evaluation scale; Proceedings of AMIA Annual Symposium; 2010 Nov 13; Washington, DC. pp. 917-921.
    1. DiFilippo KN, Huang W, Chapman-Novakofski KM. A new tool for Nutrition App Quality Evaluation (AQEL): Development, validation, and reliability testing. JMIR Mhealth Uhealth 2017;5(10):e163
    1. Ferrara G, Kim J, Lin S, Hua J, Seto E. A focused review of smartphone diet-tracking apps: Usability, functionality, coherence with behavior change theory, and comparative validity of nutrient intake and energy estimates. JMIR Mhealth Uhealth 2019;7(5):e9232
    1. Boushey CJ, Spoden M, Zhu FM, Delp EJ, Kerr DA. New mobile methods for dietary assessment: Review of image-assisted and image-based dietary assessment methods. Proc Nutr Soc 2017;76(3):283–294.
    1. Chin JP, Diehl VA, Norman KL. Development of an instrument measuring user satisfaction of the human-computer interface; Proceedings of the SIGCHI conference on Human factors in computing systems; 1988 May 15; Washington, DC. pp. 213-218.
    1. Fruhling A, Lee S. Assessing the reliability, validity and adaptability of PSSUQ; Proceedings of 11th Americas Conference on Information Systems; 2005 Aug 11; Omaha. pp. 2394-2402.
    1. Kollmann A, Riedl M, Kastner P, Schreier G, Ludvik B. Feasibility of a mobile phone-based data service for functional insulin treatment of type 1 diabetes mellitus patients. J Med Internet Res 2007;9(5):e36
    1. Welch J, Dowell S, Johnson CS. Feasibility of using a personal digital assistant to self-monitor diet and fluid intake: A pilot study. Nephrol Nurs J 2007;34(1):43–49.
    1. Kang TS, Eom MD, Nam KS, Park SY. Customized diet information system. J Korea Inst Inf Commun Eng 2010;14(2):430–436.
    1. Arab L, Wesseling-Perry K, Jardack P, Henry J, Winter A. Eight self-administered 24-hour dietary recalls using the internet are feasible in African Americans and Whites: The energetics study. J Am Diet Assoc 2010;110(6):857–864.
    1. Finstad K. The usability metric for user experience. Interact Comput 2010;22(5):323–327.
    1. Fromme EK, Kenworthy-Heinige T, Hribar M. Developing an easy-to-use tablet computer application for assessing patient-reported outcomes in patients with cancer. Support Care Cancer 2011;19(6):815–822.
    1. Tariman JD, Berry DL, Halpenny B, Wolpin S, Schepp K. Validation and testing of the acceptability E-scale for web-based patient-reported outcomes in cancer care. Appl Nurs Res 2011;24(1):53–58.
    1. Kirwan M, Duncan MJ, Vandelanotte C, Mummery WK. Using smartphone technology to monitor physical activity in the 10,000 Steps program: A matched case–control trial. J Med Internet Res 2012;14(2):e55
    1. Kelly L, Jenkinson C, Ziebland S. Measuring the effects of online health information for patients: Item generation for an e-health impact questionnaire. Patient Educ Couns 2013;93(3):433–438.
    1. Spook JE, Paulussen T, Kok G, Van Empelen P. Monitoring dietary intake and physical activity electronically: Feasibility, usability, and ecological validity of a mobile-based Ecological Momentary Assessment tool. J Med Internet Res 2013;15(9):e2617
    1. Anderson C, Henner T, Burkey J. Tablet computers in support of rural and frontier clinical practice. Int J Med Inform 2013;82(11):1046–1058.
    1. Shah N, Jonassaint J, De Castro L. Patients welcome the sickle cell disease mobile application to record symptoms via technology (SMART). Hemoglobin 2014;38(2):99–103.
    1. O'Connor E, Farrow M, Hatherly C. Randomized comparison of mobile and web-tools to provide dementia risk reduction education: Use, engagement and participant satisfaction. JMIR Ment Health 2014;1(1):e4
    1. Teri S, Acai A, Griffith D, Mahmoud Q, Ma DW, Newton G. Student use and pedagogical impact of a mobile learning application. Biochem Mol Biol Educ 2014;42(2):121–135.
    1. Kwon GM, Kim AR, Kim SI. The activation methods of mobile service through usability testing: Focus on comparison mobile application YES24 and KYOBO bookstores. J Digit Des 2014;14(3):391–399.
    1. Shanahan CW, Sorensen-Alawad A, Carney BL, Persand I, Cruz A, Botticelli M, et al. The implementation of an integrated information system for substance use screening in general medical settings. Appl Clin Inform 2014;5(4):878–894.
    1. Bae J, Kim S. Usability evaluation for mobile commerce of large-scale retailer by the increase of single-person households: Focused on comparison between E-mart and Homeplus. J Digit Des 2014;14(1):201–210.
    1. Stoyanov SR, Hides L, Kavanagh DJ, Zelenko O, Tjondronegoro D, Mani M. Mobile app rating scale: A new tool for assessing the quality of health mobile apps. JMIR Mhealth Uhealth 2015;3(1):e3422
    1. Diamantidis CJ, Ginsberg JS, Yoffe M, Lucas L, Prakash D, Aggarwal S, et al. Remote usability testing and satisfaction with a mobile health medication inquiry system in CKD. Clin J Am Soc Nephrol 2015;10(8):1364–1370.
    1. Hutchesson MJ, Rollo ME, Callister R, Collins CE. Self-monitoring of dietary intake by young women: Online food records completed on computer or smartphone are as accurate as paper-based food records but more acceptable. J Acad Nutr Diet 2015;115(1):87–94.
    1. Pretlow RA, Stock CM, Allison S, Roeger L. Treatment of child/adolescent obesity using the addiction model: A smartphone app pilot study. Child Obes 2015;11(3):248–259.
    1. van Osch M, Rovekamp A, Bergman-Agteres SN, Wijsman LW, Ooms SJ, Mooijaart SP, et al. User preferences and usability of iVitality: Optimizing an innovative online research platform for home-based health monitoring. Patient Prefer Adherence 2015;9:857–867.
    1. Agboola S, Palacholla RS, Centi A, Kvedar J, Jethwani K. A multimodal mHealth intervention (FeatForward) to improve physical activity behavior in patients with high cardiometabolic risk factors: Rationale and protocol for a randomized controlled trial. JMIR Res Protoc 2016;5(2):e84
    1. Mercer K, Giangregorio L, Schneider E, Chilana P, Li M, Grindrod K. Acceptance of commercially available wearable activity trackers among adults aged over 50 and with chronic illness: A mixed-methods evaluation. JMIR Mhealth Uhealth 2016;4(1):e7
    1. Wilson K, Atkinson KM, Westeinde J, Bell C, Marty K, Fergusson D, et al. An evaluation of the feasibility and usability of a proof of concept mobile app for adverse event reporting post influenza vaccination. Hum Vaccin Immunother 2016;12(7):1738–1748.
    1. Rhyner D, Loher H, Dehais J, Anthimopoulos M, Shevchik S, Botwey RH, et al. Carbohydrate estimation by a mobile phone-based system versus self-estimations of individuals with type 1 diabetes mellitus: A comparative study. J Med Internet Res 2016;18(5):e5567
    1. Rickard N, Arjmand HA, Bakker D, Seabrook E. Development of a mobile phone app to support self-monitoring of emotional well-being: A mental health digital innovation. JMIR Ment Health 2016;3(4):e49
    1. Ribeiro N, Moreira L, Barros A, Almeida AM, Santos-Silva F. Guidelines for a cancer prevention smartphone application: A mixed-methods study. Int J Med Inform 2016;94:134–142.
    1. Svensson A, Magnusson M, Larsson C. Overcoming barriers: Adolescents' experiences using a mobile phone dietary assessment app. JMIR Mhealth Uhealth 2016;4(3):e92
    1. Ward R, Taha KM. Patient involvement as experts in the development and assessment of a smartphone app as a patient education tool for the management of thalassemia and iron overload syndromes. Hemoglobin 2016;40(5):323–329.
    1. Wang J, Lam RW, Ho K, Attridge M, Lashewicz BM, Patten SB, et al. Preferred features of e-mental health programs for prevention of major depression in male workers: Results from a Canadian National Survey. J Med Internet Res 2016;18(6):e132
    1. McManus DD, Chong JW, Soni A, Saczynski JS, Esa N, Napolitano C, et al. PULSE-SMART: Pulse-based arrhythmia discrimination using a novel smartphone application. J Cardiovasc Electrophysiol 2016;27(1):51–57.
    1. Nishiguchi S, Ito H, Yamada M, Yoshitomi H, Furu M, Ito T, et al. Self-assessment of rheumatoid arthritis disease activity using a smartphone application. Development and 3-month feasibility study. Methods Inf Med 2016;55(1):65–69.
    1. English LL, Dunsmuir D, Kumbakumba E, Ansermino JM, Larson CP, Lester R, et al. The Paediatric Risk Assessment (PARA) mobile app to reduce postdischarge child mortality: Design, usability, and feasibility for health care workers in Uganda. JMIR Mhealth Uhealth 2016;4(1):e5167
    1. Peterson CM, Apolzan JW, Wright C, Martin CK. Video chat technology to remotely quantify dietary, supplement and medication adherence in clinical trials. Br J Nutr 2016;116(9):1646–1655.
    1. Spittle AJ, Olsen J, Kwong A, Doyle LW, Marschik PB, Einspieler C, et al. The baby moves prospective cohort study protocol: Using a smartphone application with the general movements assessment to predict neurodevelopmental outcomes at age 2 years for extremely preterm or extremely low birthweight infants. BMJ Open 2016;6(10):e013446
    1. Lee JY, Kim SI. A study on development of travel application UI design for improving user experience. J Digit Converg 2017;15(2):369–374.
    1. Oh YB, Kim WK. A study on mobile game UI design element considering user experience: Focused on management simulation game. Korean Soc Des Cult 2017;23(2):413–428.
    1. Lee E, Han S, Jo SH. Consumer choice of on-demand mHealth app services: Context and contents values using structural equation modeling. Int J Med Inform 2017;97:229–238.
    1. Chen J, Lieffers J, Bauman A, Hanning R, Allman-Farinelli M. Designing health apps to support dietetic professional practice and their patients: Qualitative results from an international survey. JMIR Mhealth Uhealth 2017;5(3):e40
    1. Tay I, Garland S, Gorelik A, Wark JD. Development and testing of a mobile phone app for self-monitoring of calcium intake in young women. JMIR Mhealth Uhealth 2017;5(3):e27
    1. Coppock D, Zambo D, Moyo D, Tanthuma G, Chapman J, Lo Re III V, et al. Development and usability of a smartphone application for tracking antiretroviral medication refill data for human immunodeficiency virus. Methods Inf Med 2017;56(5):351–359.
    1. Shellington EM, Felfeli T, Shigematsu R, Gill DP, Petrella RJ. HealtheBrain: An innovative smartphone application to improve cognitive function in older adults. Mhealth 2017;3:17
    1. Beiwinkel T, Hey S, Bock O, Rossler W. Supportive mental health self-monitoring among smartphone users with psychological distress: Protocol for a fully mobile randomized controlled trial. Front Public Health 2017;5:249
    1. Hayashi A, Yamaguchi S, Waki K, Fujiu K, Hanafusa N, Nishi T, et al. Testing the feasibility and usability of a novel smartphone-based self-management support system for dialysis patients: A pilot study. JMIR Res Protoc 2017;6(4):e63
    1. Kelly MM, Hoonakker PL, Dean SM. Using an inpatient portal to engage families in pediatric hospital care. J Am Med Inform Assoc 2017;24(1):153–161.
    1. Herrmann LK, Kim J. The fitness of apps: A theory-based examination of mobile fitness app usage over 5 months. Mhealth 2017;3:2
    1. Kim SW, Lee GY, Yu HY, Jung EI, Lee JY, Kim SY, et al. Development and feasibility of smartphone application for cognitive-behavioural case management of individuals with early psychosis. Early Interv Psychiatry 2018;12(6):1087–1093.
    1. Brooke J. In: SUS: A quick and dirty usability scale. London: Taylor and Francis; 1996.
    1. Fakih El Khoury C, Karavetian M, Halfens RJG, Crutzen R, Khoja L, Schols JMGA. The effects of dietary mobile apps on nutritional outcomes in adults with chronic diseases: A systematic review and meta-analysis. J Acad Nutr Diet 2019;119(4):626–651.
    1. Dorsch MP, Cornellier ML, Poggi AD, Bilgen F, Chen P, Wu C, et al. Effects of a novel contextual just-in-time mobile app intervention (lowsalt4life) on sodium intake in adults with hypertension: Pilot randomized controlled trial. JMIR Mhealth Uhealth 2020;8(8):e16696
    1. Michie S, Richardson M, Johnston M, Abraham C, Francis J, Hardeman W, et al. The behavior change technique taxonomy (v1) of 93 hierarchically clustered techniques: Building an international consensus for the reporting of behavior change interventions. Ann Behav Med 2013;46(1):81–95.
    1. Schoeppe S, Alley S, Van Lippevelde W, Bray NA, Williams SL, Duncan MJ, et al. Efficacy of interventions that use apps to improve diet, physical activity and sedentary behaviour: A systematic review. Int J Behav Nutr Phys Act 2016;13(1):127
    1. de Winter JC, Dodou D, Wieringa PA. Exploratory factor analysis with small sample sizes. Multivariate Behav Res 2009;44(2):147–181.

Figure & Data

References

    Citations

    Citations to this article as recorded by  Crossref logo


      Korean J Community Nutr : Korean Journal of Community Nutrition
      Close layer
      TOP