건강정보는 생명과 삶의 질에 큰 영향을 미치기 때문에, 과학적 근거에 기반한 정확한 정보를 중립적으로 제공하는 것이 중요하다. 부정확한 건강정보는 환자가 보건의료인이 권장한 치료를 따르지 않게 하거나 보건의료인에 대한 신뢰를 잃게 만들 수 있으며, 이는 환자에게 피해를 줄 수 있다.¹⁾ 예를 들어, 대체 의학 요법을 따르는 대장암 환자들은 표준 치료 요법을 받은 환자들보다 5년 이후 사망률이 2.5배까지 증가하였는데,²⁾ 미국 인구의 39%는 식단 조절, 비타민 공급 등의 대체 의학만으로도 암을치료할 수 있다고 믿고 있었다.³⁾

다양한 온라인 대중 매체가 발달함에 따라 건강 정보로의 접근성은 향상되었지만, 부정확하거나 불확실한 출처의 정보 또한늘어나고 있다.⁴⁾ 한국보건사회연구원에서 수행한 건강정보 탐색 경로 우선순위 조사에 따르면, 우리나라 국민들은 온라인 매체를 통한 건강 정보 탐색 방법 중 인터넷 포털을 가장 많이 이용한다(86.2%).⁵⁾ 그러나, 동일 기관의 조사에 따르면 국내 조사 대상자 중 70.8%가 건강정보 문해력(health literacy)이 충분(sufficient)하지 않았다.^5,6) 건강정보 문해력은 건강 증진과 건강유지를 위하여 정보에 접근하고 알맞은 정보를 판별, 이해, 활용하는 능력으로,⁵⁾ 부족한 건강정보 문해력은 이용자들이 온라인검색을 통해 노출된 부정확한 건강정보를 그대로 수용할 확률이높다는 것을 시사한다. 따라서, 온라인에서 양질의 건강 정보가생산되고 있는지, 그리고 그 정보들 중에서 온라인 검색 사이트(search website)가 검색결과로 질 높고 정확한 건강정보를 선별하여 제시하는 지에 대해 검토하는 것이 중요하다.

대표적인 검색 사이트로는 검색엔진(search engine)과 포털 사이트(portal site)가 있다. 검색엔진은 이용자의 검색어에 응답하여 관련 정보를 하이퍼링크로 제공하는 소프트웨어이자 웹사이트이다. 포털 사이트는 다양한 정보와 서비스에 접근할 수 있는하나의 통합 인터페이스를 제공하기 위해 설계된 웹사이트로,검색엔진 서비스를 포함하여 뉴스, 날씨, 이메일, 블로그 등 다양한 서비스를 제공한다.

검색 사이트는 일반적으로 크롤링(crawling), 색인 생성(in-dexing), 순위 설정(ranking), 결과 제시(serving)의 순서로 검색결과 페이지(Search engine result page, 이하 SERP)를 생성한다.⁷⁾ 크롤링은 검색 사이트가 인터넷으로부터 텍스트, 이미지,동영상을 수집해 다운로드하는 과정이다.⁷⁾ 검색 사이트는 크롤링한 파일의 내용을 분석하고 색인화하여 데이터베이스에 저장한다.⁷⁾ 다음, 검색 사이트는 저장한 파일들을 검색어와 관련이높은 순으로 나열한다.⁷⁾ 최종적으로, 이용자 친화적이고 정보 전달이 용이한 방식으로 반환하여 SERP를 제시한다.⁷⁾ 각 과정은검색 사이트마다 고유의 알고리즘을 통해 진행된다.⁷⁾

이때, 검색 사이트가 각 단계에서 사용하는 알고리즘에 따라 SERP에 어떤 웹사이트가 어떤 순서로 제시되는지가 결정된다. 국내에는 독자적인 검색 사이트들이 존재하여, 이들의 크롤링, 인덱싱, 랭킹 알고리즘이 국외 검색 사이트와는 다르기 때문에 다른 SERP를 제시할 가능성이 높다. 예를 들어, 한 연구에서는 검색 사이트의 랭킹 알고리즘에 따라 검색어에 대한 검색결과의 연관성이 다른 것을 확인하였다.⁸⁾ 또한, 검색 언어와 검색지역에 따라서 SERP가 다를 수 있다. 이는 각 언어로 생산된 건강 정보의 양과 질이 다르고, 국가를 나타내는 인터넷 고유 번호인 국가별 도메인(country-specific domain)과 검색 지역의 IP주소에 따라 해당 국가나 지역에 더 관련성 있는 결과를 제공하기 때문이다.⁷⁾ 따라서, 동일한 검색어에 대해서도 국내의 SERP는 독자적인 검색 사이트, 검색 언어와 국가의 영향을 받아 국외SERP와는 다를 수 있다.

검색 사이트 이용자는 SERP의 검색결과(search results) 중 일부 웹사이트를 방문하여 정보를 얻게 된다. 검색결과는 유료 광고(paid ads)와 자연검색결과(organic results)로 나눌 수 있다. 유료 광고는 검색 사이트에서 돈을 받고 주로 상단에 띄우는 웹 사이트를, 자연검색결과는 알고리즘에 의해 추천된 검색어와 관련 있는 웹사이트를 의미한다. 이용자가 검색결과 중 어느 웹사이트에 들어갈지를 결정하는 가장 중요한 인자는 검색결과의 순서이다. 왜냐하면, 이 순서가 검색결과 웹사이트 링크를 클릭하는 빈도인 클릭률(Click-through rate; CTR)에 많은 차이를 주기때문이다.⁹⁾ 한 검색 사이트의 경우, SERP 상의 1순위 사이트가전체 CTR의 27.6%를, 상위 10순위까지의 총 CTR의 86.3%를차지한다.¹⁰⁾ 이는 검색결과 웹사이트들이 SERP의 첫 페이지, 그중에서도 상위권에 위치해야 이용자에게 의미 있는 정보로서 노출됨을 의미한다.

궁극적으로, 검색결과 웹사이트들이 제공하는 정보가 믿을 만한 정보인지가 중요하다. 이에 따라, 온라인 건강정보의 신뢰성을 평가하기 위해 다양한 평가도구들이 개발되었다. 이 도구들은 종류에 따라 정보 제공자, 정보의 질(quality), 정확성(accura-cy) 등의 요소들을 평가하여 점수화할 수 있다.^11-16) 정보 제공자는 해당 정보를 제공하는 웹사이트 운영 단체나 개인을 의미한다. 그리고 정보의 질은 저자의 투명성, 이해관계, 최신성, 근거기반 등 과학적인 정보로서의 필수 요소들을 만족하는지를, 정보의 정확성은 검색어에 관한 필요한 내용을 충분히 다루고 있는지(coverage)와 해당 내용이 최신의 입증된 지식과 일치하는지(accurate)를 의미한다.

국내에서 알레르기 비염, 퇴행성 관절염, 수면 무호흡증 등 특정 질병에 대한 온라인 정보의 질 평가 연구들이 이루어졌으며,모두 정보의 질이 낮다는 결론이 나왔다.^17-19) 추가적으로, 대장암 정보 제공 웹사이트에 대해 질 평가를 수행한 연구에서 국내 8개의 웹사이트와 국외 2개의 웹사이트를 비교한 결과, 외국의웹사이트에 비해 정보의 신뢰성 및 정보의 질과 양 측면에서 모두 취약했다.²⁰⁾ 일부 외국 웹사이트와의 신뢰성 비교가 아닌, 국내외 검색 사이트에서 건강정보를 검색하여 나온 검색결과의 신뢰성을 상대 비교평가한 연구는 아직까지 발표된 바 없다. 국내외 검색결과를 객관적으로 비교하여 국내 검색 사이트를 통해 얻은 검색결과의 특징을 찾으면, 이를 토대로 국내 이용자들이보다 정확한 건강정보를 얻을 수 있는 방법을 모색하는 데 도움을 줄 수 있을 것이다.

따라서, 본 연구는 동일한 만성질환 관련 키워드를 한국과 미국에서 널리 쓰이는 검색 사이트로 검색하여 검색결과와 그 신뢰성을 비교하는 것을 목적으로 수행되었다.

검색방법(Search methods)

연구 대상 검색 사이트는 이용 점유율에 따라 국내 검색 사이트 A, 국외 검색 사이트 B의 국내 도메인 B KR, 미국 도메인 B US를 선정하였다. 2023년 3분기 기준으로 건강/의학 범주에서A가 점유율 63.9%, B KR이 31.3%로 각각 1, 2위를 기록하였다.²¹⁾ 미국의 경우, B US가 90%에 가까운 점유율을 기록하고있었다. 국내 검색 사이트 A는 검색엔진이면서 동시에, 검색결과에 포털의 이용자들이 올린 글을 보여주는 등 포털 사이트의 특성을 갖고 있다. 반면, 미국 검색 사이트 B는 검색 서비스만을중점적으로 제공하는 검색엔진이다. 국내외 검색 사이트의 알고리즘 차이를 보기 위해 A와 B KR를, 검색 국가 및 언어에 따른정보 차이를 보기 위해 B KR과 B US를 비교하였다.

만성질환과 관련된 질병과 의약품에 대해 다음과 같은 총 5가지 키워드를 선정하였다: 고혈압(Hypertension), 당뇨병(Diabe-tes), 골다공증(Osteoporosis), 리피토(Lipitor), 노바스크(Nor-vasc). 고혈압, 당뇨병, 골다공증은 국내외로 유병률이 증가하고있으면서 국가 간 유병률 차이가 크지 않았기 때문에, 리피토와노바스크는 한국과 미국 모두에서 자주 쓰이고 상품명이 널리 알려진 전문의약품이었기 때문에 선정했다. 검색 키워드를 A와B KR에선 한국어로, B US에선 영어로 검색하여 웹사이트 정보를 수집하였다.

기존 검색기록, 검색일자, 로그인 여부, IP 주소 등 SERP에 영향을 줄 수 있는 요인들을 최소화하기 위해 다음과 같은 방법으로 검색하였다. 검색에 이용한 PC는 일반인이 접근할 수 있는공공 컴퓨터로 선정하였다. A와 B KR의 경우 서울대학교 중앙도서관 PC를, B US는 미국 샌프란시스코 시립도서관 PC를 이용하였다. 모든 검색은 크롬(Chrome) 브라우저를 이용하여 동일한 날짜(2023. 08. 17)에 수행하였다. 또, 직전 검색기록이 검색결과에 영향을 주는 것을 방지하기 위해 크롬의 시크릿 모드(incognito mode)를 사용하였고, 검색어를 입력할 때마다 직전검색기록과 캐시를 삭제하였다.

검색 사이트 3개에 키워드 5개를 입력하여 총 15번의 검색을통해 나온 첫 페이지의 웹사이트만을 수집하였다. 존재하지 않는 페이지, 중복된 웹사이트는 연구에서 제외하였다.

첫 페이지의 검색결과 중 유료 광고의 수와 비율을 분석하였다. 유료 광고는 검색 사이트 자체적으로 광고임을 명시한 경우로 국한하였다. SERP 상에서 광고를 명시하지 않고 웹사이트내부의 정보가 광고에 해당하는 경우는 유료 광고에 포함하지 않고 광고성 웹사이트라고 표현하였다.

신뢰성 평가(Evaluation of Reliability)

신뢰성 평가 대상 웹사이트는 첫 페이지의 상위 10개 웹사이트만을 포함하였다. 검색어와 관련 없는 웹사이트, 검색어에 대한 정보제공을 하지 않는 웹사이트, 동영상/이미지 링크는 연구에서 제외하였다. 또한, SERP에서 접속한 웹사이트 첫 화면에서한 번의 클릭으로 접근할 수 있는 정보만을 평가 범위에 포함하였다.

수집한 웹사이트를 운영 주체에 따라 9가지 범주(category)로 분류하였고, 이를 통상적인 신뢰도(credibility)에 따라 3개의 그룹(group)으로 묶었다. 그룹1은 높은 신뢰성을 기대할 수 있는범주들로 정부/국제기관, 전문가 단체/학회, 대학병원/공공병원/대학 등이 해당되었다. 그룹2는 전문성을 갖춘 범주들로 비대학병원/비공공병원, 건강매체, 의약품 정보사이트/제약회사, 개인전문가가 속하였다. 개인 전문가는 의사, 약사, 간호사였다. 그룹3은 개인 비전문가 및 기타(사업자, Wikipedia와 같이 실시간 공동 편집 가능형 웹문서 등)가 해당되었다. 위의 분류에 따라 각검색 사이트에서 수집한 범주와 그룹의 분포 비율을 분석하였다.

평가 기준을 확립하기 위해 본격적인 평가 전, 연구와 무관한임의의 사이트를 평가한 후 결과를 비교하여 평가 기준을 통일하였다. 두 명의 연구자(KHJ, YJC)가 별도로 평가한 후, 평가결과가 다른 경우에 토의를 통해 해결하였다.

웹사이트 내 건강정보의 질은 Quality Evaluating Scoring Tool (QUEST)를 사용하여 평가하였다. QUEST는 온라인 건강정보를 평가하기 위한 목적으로 개발되고 검증된 도구로, Authorship, Attribution, Conflict of interest, Currency, Com-plementarity, Tone의 6가지 평가 영역, 총 7개 질문에 대한 점수를 합산하여 0-28점까지 결과를 산출한다.¹⁴⁾ (Table 1) QUEST의 6가지 평가 영역별 점수를 확인하기 위해 영역별로 최대점을100%로 설정하고 25%마다 1등급부터 4등급으로 나눈 후, 각등급에 속하는 웹사이트의 수와 비율을 계산하였다.

Table 1

Description of Quality Evaluating Scoring Tool (QUEST) criteria

Authorship (Score×1)

0 – No indication of authorship or username

1 – All other indication of authorship*

2 – Author’s name and qualification clearly stated

Attribution (Score×3)

0 – No sources

1 – Mention of expert source, research findings (though with insufficient information to identify the specific studies), links to various sites, advocacy body, or other

2 – Reference to at least one identifiable scientific study, regardless of format (e.g., information in text, reference list)

3 – Reference to mainly identifiable scientific studies, regardless of format (in >50% of claims)

For articles scoring 2 or 3 on Attribution: Type of study (Score×1)

0 – in vitro, animal models, or editorials

1 – All observational work

2 – Meta analyses, randomized controlled trials, clinical studies**

Conflict of interest (Score×3)

0 – Endorsement or promotion of intervention designed to prevent or treat condition (e.g., supplements, brain training games, foods) within the article

1 – Endorsement or promotion of educational products & services (e.g., books, care home services)

2 – Unbiased information

Currency (Score×1)

0 – No date present

1 – Article is dated but 5 years or older

2 – Article is dated within the last 5 years

Complementarity (Score×1)

0 = No support of the patient-physician relationship

1 – Support of the patient-physician relationship

Tone (includes title, Score×3)

0 – Fully supported (authors fully and unequivocally support the claims, strong vocabulary such as “cure”, “guarantee”, and “easy”, mostly use of non-conditional verb tenses (“can”, “will”), no discussion of limitations)

1 – Mainly supported (authors mainly support their claims but with more cautious vocabulary such as “can reduce your risk” or “may help prevent”, no discussion of limitations)

2 – Balanced/cautious support (authors’ claims are balanced by caution, includes statements of limitations and/or contrasting findings)***

*Authorship: Evaluated as score 1 even without indication of authorship when the website is an organization

**Attribution: Included treatment guidelines and drug label in Type of study score 2 criteria

***Tone: Evaluated as score 2 when there are no claims

웹사이트에서 제공하는 건강정보의 정확성을 평가하기 위한 6가지 영역을 만들었다. 질병은 정의, 예방, 진단, 치료, 생활요법, 합병증 영역에 대해, 의약품은 기본정보, 효능효과, 용량용법, 부작용, 상호작용, 주의사항 영역에 대하여 평가하였다. 영역별 자세한 평가 내용은 Supplement Table 1에 기술하였다. 웹사이트가 제공하는 정보가 하나 이상일 경우 모든 정보가 정확하면 ‘정확(Accurate)’, 그렇지 않으면 ‘부정확(Inaccurate)’으로 판정하였다. 만약 해당 영역의 정보가 없으면 ‘정보 없음(N/A)’으로 평가하였다. 정확성 평가의 기준은 질병의 경우 각 질병의 최근 치료 가이드라인, 의약품의 경우 개별 의약품의 허가 사항이었다.

기술통계(descriptive statistics)를 사용했으며 데이터의 정규분포 여부에 따라 평균/표준편차 또는 중간값/중위범위(inter-quartile range)로 데이터를 요약하여 제시하였다. 검색 사이트간 QUEST 점수 중간값을 비교할 때 데이터의 비정규 분포와작은 샘플 크기를 고려하여 크루스칼-왈리스 검정(Kruskal-Wal-lis test)과 그 후속으로 두 검색 사이트 간의 비교에는 DSCF (Dwass, Steel, Critchlow-Fligner) 방법을 사용하였다. 검색 키워드 간 QUEST 점수 중간값을 비교할 때 윌콕슨 순위합 검정(Wilcoxon rank sum test)를 사용하였다.

검색결과(Search results)

검색결과 및 연구 웹사이트 결정 과정은 Fig. 1에 기술하였다. 5개의 검색 키워드의 검색을 통해 얻은 첫 페이지 내 웹사이트는A 139개, B KR 47개, B US 45개로 총 231개였으며, 신뢰성 평가 대상 웹사이트는 A 48개, B KR 34개, B US 43개로 총 125개였다.

Fig. 1. Search results and Website decision flow chart for Reliability evaluation *Actual keywords searched are written in “ ”.

첫 페이지 내 231개 웹사이트 중 유료 광고는 총 58개(25.1%)로 나타났다. 총 58개의 유료 광고 중 질병 키워드에 의한 것이52개로 전체의 89.7%를 차지하였다. 검색 사이트별로 보면, A는 56개(40.3%)가 유료 광고인 반면, B KR와 B US는 각각 2개(4.3%)와 0개(0%)가 유료 광고였다. 또한, A에서 질병 키워드검색 시 나오는 50개의 유료 광고 중 31개(62%)가 첫 페이지의상단에 위치하고 있었다. 유료 광고 웹사이트의 운영 주체는 비대학병원/비공공병원이 50개로 전체 유료 광고의 86.2%를 차지했다. 나머지 8개 유료 광고의 운영 주체는 개인 비전문가 1개,개인 전문가 2개, 기타(사업자) 5개였다. 대부분의 유료 광고가검색어와 관련된 정보를 제시하지 않아 신뢰성 평가 대상 웹사이트에서 제외되었다. 신뢰성 평가 대상 웹사이트 중 유료 광고에 해당하는 웹사이트는 A에만 2개가 있었는데, 모두 사업자의개인 웹사이트였다.

신뢰성 평가(Evaluation of Reliability)

각 검색 사이트별로 웹사이트 범주의 비율이 차이가 났다(Fig. 2). 가장 많은 범주는 A에서 개인 비전문가가 23개(47.9%), B KR에서는 대학병원/공공병원/대학교가 13개(38.2%)로, B US에서는 정부/국제기관이 13개(30.2%)였다. 검색 사이트에 따라그룹별 비율을 확인하였을 때도 차이를 보였다. A는 그룹 3, 2, 1 순, B KR은 그룹 1, 2, 3 순, B US 또한 그룹 1, 2, 3 순으로많았다. 상위 10위 내의 웹사이트 범주 및 그룹별 웹사이트 개수와 비율은 Supplement Table 2에 구체적으로 제시하였다.

Fig. 2. Distribution of website categories on Top 10 by search website (%)

검색 사이트별로 QUEST 점수의 중간값은 B US, B KR, A순으로 높았다(Fig. 3). Kruskal-Wallis test 결과 B US, B KR, A의 중간값은 유의하게 달랐다(χ²=51.9564, p<0.0001). 후속으로 DSCF 방법으로 분석한 결과, B US와 B KR (p=0.0005), B KR와 A (p=0.0029), B US와 A (p<0.0001) 모두 차이를 보였다. B US는 질병 키워드와 의약품 키워드 간 결과가 통계적으로유의하게 다르지 않은 반면(U=232.5, p=0.8613), A와 B KR는질병에 비해 의약품에서 통계적으로 유의하게 높은 QUEST 점수를 보였다(A: U=144.0, p=0.0069, B KR: U=20.5, p=0.0007).

Fig. 3. Box plot of Quality Evaluating Scoring Tool (QUEST) score by search website

검색 사이트마다 QUEST 영역별 등급 분포 비율이 달랐다(Fig. 4). 전반적으로 모든 영역에서 1등급 비율이 A, B KR, B US 순으로 낮았다. ④ Currency 영역에서만 A가 B KR을 앞섰다. B US의 모든 웹사이트가 ③ Conflict of interest와 ⑥ Tone영역에서 1등급에 해당하였다.

Fig. 4. Quality Evaluating Scoring Tool (QUEST) grade distribution by evaluation criteria (%)

검색 사이트마다 Accurate 등급 그리고 N/A 비율이 달랐다. Accurate 등급은 B US, B KR, A 순으로 높았고 비율은 각각95.0, 87.7, 65.3%였다. N/A 비율이 B US는 5%인 반면 B KR과 A는 각각 7.4%와 27.8%이었다. 모든 검색 사이트에서 질병보다는 의약품에서 Accurate 등급의 비율이 높았다.

키워드 종류와 검색 사이트에 따라, 영역별 Accuracy 항목의비율이 달랐다. 질병 키워드에서 Accuracy의 전반적인 추세는전체 Accuracy와 비슷하였다. N/A 항목의 경우, 치료 영역에서높은 경향을 보였는데, A, B US, B KR 순이었다. A에서는 합병증과 치료 영역의 N/A 비율이 가장 높았다. B US에서 모든 영역에서 Inaccurate 항목이 0%이었다. 대조적으로, A에서는 생활요법과 치료 영역에서 높은 Inaccurate 비율을 보였다(Fig. 5).의약품 키워드에서도 마찬가지로 Accuracy의 전반적인 추세는전체 Accuracy와 비슷했다. 용량용법 영역에서 N/A 비율이 A (38.9%), B KR (37.5%), B US (16.7%)로 높은 경향을 보였다. A에서는 상호작용과 주의사항 영역도 N/A 비율이 각각 50%, 33.3%로 높았다. B KR와 US의 경우, 의약품의 모든 영역에서 Inaccurate가 0%인데 반해, A에서는 11.1%가 부작용 영역에서 In-accurate 등급을 받았다(자세한 수치는 Supplement Fig. 1을 참조).

Fig. 5. Accuracy evaluation by search website (Disease keywords, %)

웹사이트 범주별로 신뢰성 평가 결과를 분석해 보았다. 웹사이트 범주별 질의 중간값을 도출한 결과, 질병 키워드의 경우 건강매체 26.5점, 정부/국제기관 19점으로 가장 높았고, 의약품 키워드의 경우, 정부/국제기관 27점, 약물정보사이트 25.5점, 대학병원/공공병원/대학교 25점으로 가장 높았다. 범주별 정확성의경우, Accurate 항목의 비율은 정부/국제기관, 전문가 단체/학회,대학병원/공공병원/대학교, 건강매체가 각각 93.8, 80.0, 90.3, 93.1%였고, 개인 전문가, 개인 비전문가, 기타가 각각 69.4, 61.1, 68.4%였다. Inaccurate 항목의 비율이 가장 높은 것은 기타로 14.0%였고, N/A 항목의 비율이 가장 높은 것은 개인 비전문가로 31.9%, 개인 전문가가 27.8%로 뒤를 이었다. 자세한 범주별 신뢰성 결과는 Supplement Table 3에 제시하였다.

본 연구는 다음과 같은 주된 결과를 얻을 수 있었다. 국내에서생산되는 건강정보의 질과 정확성이 국외에서 생산되는 건강정보의 질과 정확성보다 낮았다. 또한, 미국의 검색 사이트와 비교할 때 국내에서 가장 많이 이용되는 검색 사이트는 검색결과에 유료 광고가 많았으며, 신뢰도가 낮은 웹사이트 범주 및 그룹이더 많은 비율을 차지하고 있었다. 나아가, 국내 검색 사이트에서제공하는 건강정보의 질과 정확성이 전반적으로 떨어지며, 질병에선 생활요법, 의약품에선 부작용 영역에서 특히 부정확했다.

국내에서 한국어로 생산된 건강정보를 국외의 건강정보와 비교하기 위해 국외 검색 사이트인 B의 국내 도메인(B KR)과 국외 도메인(B US)의 검색결과를 비교하였다. B KR과 B US의 웹사이트 범주 및 그룹 비율을 비교했을 때, 신뢰도가 높은 Group 1의 비율은 각각 52.9, 58.1%로 비슷하였으나, B KR에서는 특히 정부/국제기관 웹사이트 비율이 8.8%로, B US의 30.2%에비해 상대적으로 적었다. 이는 국내에서 정부/국제기관에서 생산된 건강정보가 부족하다는 것을 보여준다. 또한, 본 연구에서B KR은 B US에 비해 QUEST 전체 점수의 중간값이 통계적으로 유의하게 9점 낮았으며 영역별 QUEST 등급 비율도 모든 영역에서 더 적었다. 정확성 평가 결과 또한 유사한 경향을 보였다. 이러한 결과는 검색 사이트가 검색결과를 제시하는 알고리즘과 무관하게 미국보다 한국에서 정부가 생산하는 건강정보가 적고 한국어로 생산된 건강정보의 질과 정확성이 떨어진다는 것을 의미한다.

국내 전문가들은 부정확한 건강정보가 많은 온라인상에서 정부나 비영리단체가 건강정보를 관리하고 유통하는 문지기 역할을 해야 한다고 주장하였다.²²⁾ 이에 최근 질병관리청은 국가건강정보 제공 개선을 위하여 ‘국가건강정보포털’을 적극적으로 운영하여 부정확한 온라인상에서의 정보에 대응하고 있다.²³⁾ 본 연구에서 검색된 국가건강정보포털 웹사이트는 QUEST 28점 만점 중 27점, 모든 영역에서 높은 정확도 평가를 받았음에도 불구하고, 국내 신뢰성 평가 대상 웹사이트 82개 중 단 1개만 B KR에서 검색되었다. 이는 정부 운영 웹사이트가 좋은 질과 정확성을 갖고 있음에도 불구하고 검색 사이트를 통한 접근성이 부족하다는 것을 시사한다. 따라서, 정부 운영 웹사이트에서 더 적극적으로 건강정보를 생산해야 하고, 검색 사이트들도 정부를 포함한 신뢰도가 높은 범주 및 그룹 웹사이트를 우선 제시하는 등의 랭킹 알고리즘으로 접근성을 개선할 필요가 있다.

검색 사이트에 따른 검색결과의 신뢰성 차이를 보기 위해, 국내 검색 사이트(A)와 국외 검색 사이트의 국내 도메인(B KR)의검색결과를 비교하였다. B KR에서 A보다 신뢰도 높은 웹사이트 범주 비율이 높았고, 글의 질과 정확성이 높았다. 이는 B 검색 사이트의 질 관리 정책과 A 검색 사이트의 포털 사이트로서의 성격으로 설명할 수 있다.

첫째, 검색 사이트의 질 관리 정책에 따라서 신뢰성의 차이가 생길 수 있다. B는 웹사이트가 다루는 콘텐츠가 이용자의 재정이나 삶, 건강, 안전, 행복에 영향을 미칠 가능성이 있는 경우YMYL (Your Money or Your Life) 웹사이트로 분류한다.²⁴⁾ 이웹사이트들은 EEAT, 즉 경험(Experience), 전문성(Expertise),권위(Authoritativeness), 신뢰(Trustworthy) 등을 이용하여 별도의 질 평가를 받는다.²⁴⁾ 다시 말하면, 콘텐츠 작성자가 실제로 제품을 사용하거나 장소를 방문하여 경험한 것을 전달하는지(경험), 특정 분야에 대한 높은 수준의 지식이나 기술을 보유한 전문가인지(전문성), 콘텐츠의 출처를 명시했는지(권위), 합법적이고 정확한 정보를 다루거나 누구나 인정할 수 있는 명확한 단체가 콘텐츠를 생산하는지(신뢰) 등을 평가하는 것이다.²⁴⁾ 따라서, YMYL 웹사이트는 우수한 EEAT 척도를 가져야만 B의 랭킹 알고리즘을 통해 상단에 노출될 수 있다. 이로 인해 상위 10위권 내 웹사이트에서 B KR는 A보다 신뢰도 높은 웹사이트인Group1의 비율이 높게 나왔다. 또한, 이러한 질 관리 요소들은QUEST와 Accuracy의 점수 평가 척도와 유사하다. 따라서, B KR의 질 평가 점수가 ④ Currency를 제외한 모든 영역에서 A보다 높게, 정확성 평가에서도 모든 영역에서 Accurate 비율이더 높았던 것이다. A에서 가장 높은 비율을 차지했던 개인 블로그의 경우, 모든 글에 작성 날짜가 뜨도록 되어있어 ④ Currency영역의 점수가 높았다. 이처럼 본 연구에서 검색 사이트의 질 관리 정책과 알고리즘이 상위 웹사이트들의 질과 정확성에 영향을 준다는 것을 확인할 수 있었다.

둘째, A와 B의 검색 사이트 특성의 차이에서도 이러한 신뢰성차이가 생길 수 있다. B는 검색 엔진의 본래의 기능에 집중하여,데이터베이스에서 검색어에 관련된 외부 콘텐츠 정보를 아웃링크 형식으로 제공한다. 반면에 A는 검색 엔진이면서 포털사이트이기 때문에, 이용자들이 검색에 그치지 않고 다양한 자체 서비스를 이용하며 오랫동안 사이트에 머무르게 하는 형태로 SERP를 제공한다. 즉, A는 검색엔진으로써 관련 외부 링크를 제공하면서도, 포털 사이트로써 자체 서비스와 관련된 내부 데이터베이스의 콘텐츠를 우선적으로 제공한다. 이처럼 A는 아웃링크보다 인링크 방식의 정보를 우선으로 제공함으로써 독자적인 정보생태계를 꾸리고 있다. 따라서, A의 유료 광고 서비스가 첫 페이지의 가장 상단에 뜨게 되고, 자연 검색결과 중에서도 신뢰도 있는 외부 웹사이트보다 A의 개인 블로그 글이 많이 뜨게 되는 것이다. 실제로, 본 연구에서 A에 질병 키워드 검색 시 첫 페이지의 가장 상단에는 유료 광고 10개가 떠있고, 첫 페이지의 40.3%가 유료 광고였다. 또한, A에서는 상위 10위권 내에 개인 비전문가의 블로그 글이 47.9%로 가장 많은 비율을 차지하고 있었다.대조적으로 B KR에서는 상위 10위권 내에 개인 비전문가의 글이 하나도 검색되지 않았으며, Group 1의 비율이 52.9%였다.

특히, 개인 비전문가 블로그는 A에서 건강정보의 질과 정확성이 낮은 것에 크게 영향을 준다. 웹사이트별 치료방식의 정확성을 평가한 연구에서 정부, 학문적, 비영리적 웹사이트가 개인 웹사이트보다 통계적으로 높은 정확성을 보였으며,¹⁵⁾ 본 연구에서도 개인 비전문가의 글은 QUEST 점수가 14점, Accurate 비율이 61.1%로 낮았다. 특히 문제가 된 점은 많은 블로그 글들이 유료 광고로 명시되어 있지 않지만 특정 식품이나 건강기능식품을홍보하기 위한 사실상 광고성 글이었다는 것이다. 실제로 본 연구에서 분석한 결과, Group 3에 해당하는 웹사이트 중 32.6%가이해상충(③ Conflict of interest 0점)을, 30.2%가 일방적인 주장(⑥ Tone 0점)을 보였으며, 이해상충 또는 일방적인 주장이 있는웹사이트는 전부 Group 3에 속했다. 이러한 결과는 7대 암에 대해 A와 B KR의 상위 10위 데이터를 크롤링한 결과 A는 블로그의 검색 비중이 높고 전체 광고성 게시글의 60.4%가 블로그라는 결과를 보고한 국내의 한 연구와 일치한다.²⁵⁾ 그런데, 인터넷이 제공하는 정보는 광고 등 경제적 이익과 무관하고 과학적 근거를 제공할수록 그 정확성이 보장된다고 알려져있다.²⁶⁾ 광고를목적으로 건강정보를 작성하면 질과 정확성을 해칠 수 있는 것이다. 예를 들어, 광고성 블로그들은 건강기능식품을 기존의 생활요법 대신 추천하는 경우가 많아서 질병의 생활요법 영역에서A의 Inaccurate 비율이 30%로 높게 나타났다. 또, 광고성 블로그 중 일부가 의약품의 부작용을 과장하고 의약품 대신 건강기능식품의 사용을 설득하고 있었기 때문에 A는 부작용 영역에서만 11.1%의 Inaccurate를 보였다. 반면, 의약품 키워드를 A에서검색했을 경우라도, Inaccurate한 항목을 포함한 웹사이트의 비율이 현저히 낮았다. 이는 의약품 광고가 엄격한 규제를 받으며기준이 되는 정확한 정보인 의약품의 허가사항이 존재하기 때문인 것으로 보인다. 이를 통해 질병 정보의 정확성도 모니터링 및규제를 강화하고, 정부와 같이 신뢰도가 높은 기관의 정보가 기준으로 있으면 개선될 것으로 예상된다.

이처럼 유료 광고라고 명시하지 않지만 사실상 광고인 광고성 웹사이트들은 소비자들로 하여금 과학적으로 확인된 치료방법과 의약품에 대한 오해 또는 불신을 갖게 할 수 있다. 이에 대한대처 방법으로 식품의약품안전처는 SNS 및 온라인상 식품 · 건강기능식품의 부당 광고 및 불법 유통에 대한 ‘온라인 불법 유통신고 센터’를 운영하고 있다.²⁷⁾ 식품의약품안전처는 질병의 예방 · 치료에 효능 · 효과가 있거나 의약품으로 오인하도록 광고하는 행위, 다른 업체 제품보다 우수한 것으로 인식될 수 있는 광고 행위 등을 부당한 광고행위로 간주한다.²⁷⁾ 이에 따라 본 연구에서 신뢰성 평가 대상 웹사이트 중 하나로 포함된 A의 블로그글 중 하나가 불법정보 유통으로 식품의약품안전처에 의해 비공개로 조치되었다. 이러한 정부의 모니터링은 국민들이 인터넷에서 정확한 건강정보를 얻는데 기여할 것이다. 그런데, 정부의 노력만으로 충분하지 않을 수 있다. 본 연구에서 A의 신뢰성 평가대상 웹사이트 중 25.0%가 광고성 웹사이트에 해당되었다. 특히, 특정 검색 사이트의 서비스에서 이러한 광고성 웹사이트가많이 검색된다는 점을 보았을 때 식약처뿐만 아니라 검색 사이트도 광고성 웹사이트들이 검색되지 않도록 하는 등의 자체적인 질 관리를 강화해야 할 것이다.

광고성 글은 비전문가의 블로그에만 국한된 것이 아니라 일부 개인 전문가의 블로그에서도 발견되었다. 그뿐만 아니라, 개인전문가의 글이 개인 비전문가의 글보다 신뢰성이 더 높지 않았으며 심지어 질병의 질 평가에서는 더 낮은 점수를 보이기도 하였다. 이는 개인 블로그 글들은 전문성을 떠나, 특정 이해관계를목적으로 쓰인 경우가 많았기 때문이다. 국내에서 유튜브를 통한 폐암에 대한 잘못된 정보(misinformation) 유포를 분석한 연구에 따르면, 잘못된 정보 중 위험한 정보를 포함하는 비율이 비전문가와 전문가 사이에 큰 차이를 보이지 않았다.²⁸⁾ 이용자들은전문가들의 글을 더욱 신뢰하기 마련이다. 정부, 전문가 단체/학회 등 신뢰도 높은 단체에서 생산하는 정보와 더불어, 개인 전문가들도 이해관계를 떠나 양질의 건강정보를 생산하기 위한 노력이 필요하다.

종합해보면, 우선 국내에선 가이드 역할을 해줄 정부 생산 건강정보가 부족하여 검색 사이트와 무관하게 건강정보의 신뢰성이 떨어진다. 또한, 질 관리 부재, 인링크 방식으로 인한 높은 개인 블로그 비율과 낮은 신뢰도 높은 외부 웹사이트 비율, 전문성과 무관한 광고성 개인 블로그로 인해 특히 A가 낮은 질과 정확성을 보인다. 이러한 문제점들로 인해 국내 이용자들은 상대적으로 낮은 질과 정확성을 가진 건강정보를 이용하게 되는 것이다. 이에 대해서 정부, 검색 사이트, 전문가, 이용자 모두의 노력이 필요하다.

정부는 온라인에서 정확한 건강정보의 생산을 늘리고, 부적절한 건강정보의 생산 및 유통 제재를 강화해야 한다. 더불어, 검색 사이트는 첫 페이지 상단에 유료 광고 대신 신뢰도가 높은 웹사이트의 정보를 우선 제공하고, 광고성 블로그 및 전반적인 질관리를 함으로써 보다 신뢰도 높은 건강 정보를 제시할 수 있을 것이다.

건강 정보를 생산하고 사용하는 개인들 또한 노력이 필요하다. 보건복지부는 개인이 건강정보를 생산할 때와 이용할 때 지켜야 하는 10가지 기본 원칙과 자율점검표를 ‘건강정보 게시물가이드라인’에서 제시하고 있다.²⁹⁾ 가이드라인에 따르면 건강정보를 생산할 때는 평이하고 명확한 언어로, 과학적인 근거를 바탕으로 작성해야 하며, 광고 등 영리적 목적이 있는 경우 이를명확히 표시해야 한다고 권고하고 있다.²⁹⁾ 특히, 보건의료 전문가들은 사회적 영향력과 책임을 인지하여 이해관계 없이, 과학적인 근거를 바탕으로 정확한 건강정보를 제공해야 한다. 또한,이용자들에게 인터넷 검색을 통한 건강정보 검색의 한계와 정확한 건강정보를 선별하는 방법을 교육해야 한다.

또, 가이드라인은 건강정보 이용자에게 정보의 출처와 상업적목적을 확인하고 얻은 정보를 비교하고 합리적으로 의심할 것을 권장하고 있다.²⁹⁾ 본 연구결과에 비추어보면, 이용자는 개인 블로그나 웹사이트보다는 정부, 전문가단체/학회, 대학병원/공공병원/대학 등 신뢰도 있는 단체의 웹사이트를 이용하는 것이 바람직하다. 또한, 유료 광고가 아니더라도 특정 제품을 언급하고있는 광고성 글은 신뢰성이 떨어진다는 점을 인지하고 경계해야 한다. 추가로, 온라인에서 얻은 건강 정보에만 의존하기보다는의사나 약사 등의 전문가에게 상담 받아야 한다는 것을 명심해야 한다.²⁹⁾

본 연구의 한계는 다음과 같다. 첫째, 웹사이트의 텍스트 정보의 가독성(Readability)을 평가하지 못하였다. 이는 한국어의가독성을 평가하는 적절한 도구가 개발되어 있지 않고 서로 다른 언어의 가독성을 비교 평가하기 어려운 점을 고려하여 가독성 평가 비교를 연구에서 제외하였기 때문이다. 국내 이용자들의 건강정보 문해력이 부족하며⁵⁾ 정확한 정보를 담은 웹사이트가 가독성이 떨어진다는 연구결과가 존재하기 때문에,¹⁵⁾ 가독성또한 중요한 평가요소이다. 따라서, 언어별로 비교가 가능한 가독성 평가 도구가 개발된다면 후속 연구로 보강이 필요한 부분이다. 둘째, 동영상, 이미지와 같은 다른 방식으로 제공된 정보에대한 평가를 하지 못하였다. 본 연구에서 동영상이 SERP 또는웹사이트 내에 간혹 발견되었다. 또, 국내 연구에 의하면, 우리나라의 건강정보 탐색 경로 중 유튜브는 전체의 39.5%로 검색 사이트 다음으로 흔하게 이용되고 있다.⁵⁾ 국내에서 특정 질병에 대한 유튜브 영상의 정보를 평가한 연구들이 발표되었지만 국내,국외 영상 자료에 대한 비교 연구는 아직까지 보고된 바 없으므로 이에 대한 연구가 필요하다.

국내에서 가장 많이 사용되고 있는 검색 사이트로 찾은 건강정보는 국외 검색 사이트에 비해 질이 낮고 부정확할 가능성이 높다. 이는 국내에서 신뢰도 높은 정부 생산 건강정보의 부재,국내 검색 사이트의 인링크 방식과 질 관리 부족, 많은 수의 유료 광고 및 광고성 웹사이트들로 인한 것으로 보인다. 따라서,정부에서 건강정보를 좀 더 적극적으로 생산하고 부적절한 정보 유통을 관리해야 하며, 검색 사이트는 신뢰도 높은 웹사이트를우선으로 보여주고, 광고성 웹사이트들을 검색결과에서 제외하는 등 자체적인 알고리즘 및 질 관리를 강화해야 한다. 추가로,보건의료 전문가들은 전문성과 책임의식을 바탕으로 정확한 온라인 정보 생산에 기여하고, 환자들에게 온라인 건강정보의 한계와 정확한 건강정보를 얻는 방법에 대해 교육해야 한다. 이용자들 스스로도 검색결과 중 신뢰도 높은 웹사이트에 들어가고,해당 글이 광고 목적으로 작성되었는지를 확인해야 한다.

저자들은 본 논문의 내용과 관련하여 그 어떠한 이해상충도 없다.