From Relevance to Authority: Authority-aware Generative Retrieval in Web Search Engines

2 Jul 2026 

본 문서에서는 ACL 2026에 게재된 “From Relevance to Authority: Authority-aware Generative Retrieval in Web Search Engines”을 소개합니다. 본 논문은 네이버와의 산학 협력으로 공동 연구한 결과물입니다. 논문의 상세 정보는 아래와 같습니다.

• Title: From Relevance to Authority: Authority-aware Generative Retrieval in Web Search Engines

• Authors: Sunkyung Lee*, Jihye Back*, Donghyeon Jeon, Soonhwan Kwon, Moonkwon Kim, Inho Kang, Jongwuk Lee  (* : equal contribution)

• The 64th Annual Meeting of the Association for Computational Linguistics (ACL, Industry Track)

Generative Retrieval

생성형 정보 검색(Generative Retrieval)은 사용자의 검색어(Query)를 바탕으로 관련 있는 문서의 식별자(DocID)를 언어 모델이 직접 생성하는 방식입니다. <그림 1>과 같이 기존 정보 검색 시스템이 주로 검색어와 문서를 벡터 공간에 임베딩하고 유사도를 계산하는 방식에 집중했다면, 생성형 정보 검색은 <그림 2>와 같이 검색 과정을 텍스트 생성 문제로 변환합니다. 이를 통해 대규모 언어 모델(LLM)이 가진 방대한 지식을 검색 과정에 직접 활용할 수 있다는 장점이 있습니다.

Motivation

하지만 기존의 생성형 정보 검색 모델들은 '문서의 권위(Authority) 및 신뢰성'이라는 중요한 요소를 간과하고 있다는 치명적인 한계가 있습니다. 기존 모델들은 오직 검색어와 문서 간의 '의미적 관련성(Semantic Relevance)'을 최적화하는 데에만 집중합니다.

예를 들어, <그림 3>과 같이 사용자가 '당뇨병 초기 증상(early symptoms of diabetes)'을 검색했다고 가정해 봅시다.  

• (a) 기존 모델 (관련성만 고려): 단순히 의미적으로 주제가 비슷하다는 이유만으로, 검증되지 않은 개인 건강 블로그(Doc 1)를 공식 의학 협회 사이트(Doc 2)와 동일하게 높게 평가하거나 상위에 노출할 위험이 있습니다.  

• (b) 권위 인식 모델 (관련성 + 권위 고려): 정보 출처의 '신뢰도'를 인지하여, 개인 블로그보다 공식적이고 믿을 수 있는 의료 기관의 문서(Doc 2)를 더 우선적으로 신뢰할 수 있는 정보로 판단하여 상위에 랭크할 수 있습니다.  

이처럼 문서의 신뢰도는 헬스케어나 금융과 같이 사용자에게 치명적인 영향을 미칠 수 있는 고위험 분야(high-stakes domains)에서 안전하고 정확한 정보를 제공하는 데 매우 중요한 역할을 합니다. 오직 관련성에만 의존할 경우 사용자가 신뢰할 수 없는 잘못된 정보에 노출될 위험이 큽니다.  하지만 권위 정보가 중요하다는 사실을 알면서도, 이를 생성형 검색 모델에 효과적으로 녹여내는 것은 결코 쉬운 일이 아닙니다. 단순히 문서의 신뢰도를 주입하는 것을 넘어, 기술적으로 해결해야 할 근본적인 난관들이 존재하기 때문입니다.  

문서의 권위를 생성형 검색에 통합하기 위해 저희는 다음 세 가지 문제에 주목했습니다.

첫째, 방대한 웹 환경에서 '권위'를 어떻게 정의하고 수치화 할 것인가 하는 문제입니다. 단순히 텍스트만 분석해서는 문서의 진짜 권위를 정확히 판별하기 어렵습니다. 상업적 목적이나 홍보성 콘텐츠들이 권위 있는 문서의 전문적인 문체를 교묘하게 모방하는 경우가 많기 때문에, 글(텍스트)만 봐서는 문서의 권위를 판단하기 힘들 수 있습니다.

둘째, '권위'라는 추상적이고 복잡한 개념을 모델에 어떻게 학습시킬 것인가 하는 문제입니다. 문서와 검색어 간의 의미적 관련성을 떨어뜨리지 않으면서 정보의 신뢰도까지 모델에 주입하는 것은 쉽지 않습니다. 이를 위해서는 단순한 기존의 미세 조정 방식을 넘어서는 새로운 형태의 학습 방법론이 필요합니다.  

셋째, 권위를 인식하는 모델을 실제 대규모 상용 검색 서비스에 어떻게 안전하게 적용할 것인가 하는 문제입니다. 현재 서비스 중인 검색 시스템을 단순히 새로운 모델로 교체하는 것은 비현실적이고 위험 부담이 너무 큽니다. 따라서 검색의 품질은 그대로 유지하면서 기존 시스템에 자연스럽게 녹아들 수 있는 실용적인 배포 전략이 필요합니다.  

Proposed Method: AuthGR

이러한 한계를 극복하기 위해, 본 연구에서는 AuthGR (Authority-aware Generative Retriever)을 제안합니다. AuthGR은 (1) Multimodal Authority Scoring, (2)Three-Stage Training Pipeline, (3) Hybrid Ensemble Pipeline이라는 세 가지 핵심 요소를 통해 문서의 권위를 생성형 검색에 효과적으로 통합합니다.  

(a) Multimodal Authority Scoring

이 단계는 인간의 방식을 모사하여, 방대한 웹 문서의 권위를 평가하고 수치화 하는 단계입니다.  

• 다중 양식 정보 활용: 상업성 사이트가 신뢰할 수 있는 공식 사이트의 텍스트를 흉내 내는 것을 걸러내기 위해 텍스트뿐만 아니라 시각적 정보(스크린샷)를 함께 분석합니다. 시각-언어 모델(VLM)을 활용하여 문서의 제목, 본문, URL은 물론이고 화면 레이아웃, 광고 배치 등의 시각적 단서까지 종합적으로 판단합니다.

• 자동화된 점수 부여: 모델은 전문성, 공식성 등을 기준으로 0점에서 100점 사이의 점수를 부여하며, 이 점수는 이후 모델을 학습 시킬 때 보상 신호로 사용됩니다.  

(b) Three-Stage Training Pipeline

AuthGR은 추상적인 '권위'라는 개념을 의미적 관련성 훼손 없이 모델에 안정적으로 주입하기 위해 점진적인 3단계 학습 구조를 취합니다.  

• 1단계 - 도메인 지속 사전 학습 (CPT, Domain-Continued Pre-Training): 대규모 검색 로그([Query + URL + Title + Body])를 바탕으로 일반 LLM을 검색 도메인에 맞게 적응시키는 과정입니다. 이를 통해 모델은 URL 도메인(예: .gov)과 문서 내용 사이의 구조적인 신뢰 관계를 암묵적으로 학습하게 됩니다.

• 2단계 - 지도 미세 조정 (SFT, Supervised Fine-Tuning): 노이즈가 제거된 양질의 검색 클릭 로그를 사용하여, 주어진 검색어에 대해 알맞은 문서 식별자를 직접 생성하는 검색 모델의 핵심 능력을 학습합니다.  

• 3단계 - 권위 인지 그룹 상대 정책 최적화 (GRPO, Group Relative Policy Optimization): <그림 6>과 같이, 단순한 관련성을 넘어 더 '신뢰할 수 있는' 문서를 우선적으로 생성하도록 모델을 최적화하는 단계입니다. 앞서 VLM이 매긴 '권위 점수'를 바탕으로 여러 문서 후보군 사이의 상대적인 신뢰도를 비교하며 우선 순위를 학습합니다.  

(c) Hybrid Ensemble Pipeline

모델 학습 후, 실제 대규모 검색 서비스 환경에 안전하게 배포하기 위한 파이프라인입니다.  폭넓은 검색 결과를 보장하는 기존의 관련성 기반 검색 모델과, 신뢰도 높은 문서를 생성하는 AuthGR의 결과를 결합합니다. 구체적으로, 기존 시스템이 찾은 문서 목록 중에서 AuthGR이 생성한 문서가 포함되어 있다면, 해당 문서의 최종 점수를 끌어올려 상위에 노출되도록 가중치를 부여합니다. 이를 통해 기존 검색 품질과 범위를 잃지 않으면서도 상위 노출 결과의 신뢰성을 크게 높일 수 있습니다.

Experiments

제안 모델인 AuthGR의 효과성을 실제 대규모 상용 웹 검색 엔진 환경에서 총 세 가지 방식으로 검증하였으며, 모든 지표에서 성능 향상을 입증했습니다.  

• (1) Offline Evaluation: 전문가가 구축한 실제 웹 검색 데이터셋으로 평가한 결과, AuthGR(3B)은 모델 크기가 4.7배 더 큰 14B 규모의 모델과 맞먹는 성능을 달성했습니다.  

• (2) Human Evaluation: 기존 검색 시스템의 결과와 AuthGR을 결합한 하이브리드 검색 결과를 블라인드 테스트(Blind side-by-side) 방식으로 비교한 결과, 관련성과 권위를 모두 고려한 종합 품질 점수가 3.06점에서 3.41점으로 상승하였습니다. AuthGR의 결과를 실제 사람들이 더 믿을 수 있고 유용하다고 평가했습니다.  

• (3) Online A/B Test: 실제 검색 플랫폼에 적용해 본 결과, 사용자가 가장 최상단에 노출된 문서를 클릭하는 비율(Top-1 CTR)이 22.83% 증가했으며, 전체 문서 클릭 수도 22.07% 상승하여 사용자들의 검색 만족도와 참여도를 끌어올렸습니다.  

특히, 최종 모델(GRPO 단계 적용)이 생성한 문서들의 권위 점수 분포를 분석한 결과, 전반적인 신뢰도가 크게 향상된 것을 확인했습니다. (a) 평균 권위 점수는 87.2점에서 90.4점으로 상승했으며, 중앙값 역시 90.0점에서 95.0점으로 훌쩍 뛰었습니다. (b) 특히 신뢰도가 낮은 문서의 생성은 줄어들고 고권위 문서의 생성 빈도는 크게 늘어나, 모델이 텍스트 관련성뿐만 아니라 '신뢰할 수 있는 출처'를 우선시하도록 성공적으로 학습되었음을 보여줍니다.  

Conclusion

본 연구에서는 기존 생성형 정보 검색이 의미적 관련성에만 의존하여 신뢰할 수 없는 정보를 상위에 노출할 수 있다는 한계를 극복하기 위해, 문서의 권위를 명시적으로 모델링하는 새로운 프레임워크 AuthGR을 제안합니다. AuthGR은 텍스트와 시각적 단서를 모두 활용해 문서의 신뢰도를 정량화하는 Multimodal Authority Scoring, 관련성을 훼손하지 않으면서 권위의 개념을 모델에 주입하는 Three-Stage Training Pipeline, 그리고 실제 상용 서비스에 안전하게 적용하기 위한 Hybrid Ensemble Pipeline을 핵심 방법론으로 제시합니다.  

전문가가 라벨링한 데이터와 실제 대규모 웹 검색 엔진 환경에서 진행된 검증 결과, AuthGR은 더 적은 파라미터 크기(3B)로도 14B 규모의 거대 모델들과 맞먹는 정확도를 달성했습니다. 특히, 검색 서비스에 적용된 대규모 온라인 A/B 테스트에서 검색 결과 최상단 문서의 클릭률을 향상시킴으로써, 사용자들이 관련성과 신뢰성을 모두 갖춘 정보를 선호한다는 사실을 입증했습니다. 이는 헬스케어나 금융과 같이 잘못된 정보가 치명적인 결과를 초래할 수 있는 고위험 분야에 매우 실용적이고 필수적인 접근법입니다.  

본 연구가 단순히 의미가 유사한 문서를 텍스트로 생성해 내는 것을 넘어, 정보 출처의 권위와 신뢰도까지 깊이 있게 판별하는 안전한 차세대 생성형 검색 시스템으로 나아가는 데 중요한 기여를 하기를 기대합니다.  전체 논문은 이 곳에서 확인해주세요.