Multi-view-guided Passage Reranking with Large Language Models

24 Nov 2025 

본 문서에서는 EMNLP 2025 Main Conference에 게재된 논문 “Multi-view-guided Passage Reranking with Large Language Models”을 소개합니다. 논문의 상세 정보는 아래와 같습니다. 

• Title: Multi-view-guided Passage Reranking with Large Language Models 

• Authors: Jeongwoo Na*, Jun Kwon*, Eunseong Choi, Jongwuk Lee (* : equal contribution) 

• The 2025 Conference on Empirical Methods in Natural Language Processing (EMNLP)

Passage Reranking with Large Language Models 

문서 재순위화(Passage Reranking)는 1차 검색 모델이 찾아낸 후보 문서들을 사용자의 질의(Query)와 정교하게 비교하여 관련도 순으로 다시 정렬하는 기술입니다. 

최근에는 거대 언어 모델(LLM)의 뛰어난 언어 이해 능력을 문서 재순위화(task)에 적극적으로 활용하고 있습니다. 일반적인 접근 방식은 질의와 후보 문서를 입력으로 받아, 관련성이 높은 문서의 식별자(identifier)를 생성하도록 LLM을 활용하는 방식입니다.

Motivation

하지만 기존의 LLM 기반 생성형 재순위화 모델들은 실전 검색 환경에 적용하기에는 효율성(Efficiency)과 편향(Bias) 측면에서 치명적인 한계가 있습니다. 

첫째, 낮은 효율성(Low Efficiency) 문제입니다. <그림 2>와 같이 기존 모델들은 LLM의 입력 길이 제한으로 인해 모든 후보 문서를 한 번에 처리하지 못하고, 슬라이딩 윈도우(Sliding Window) 방식을 사용하여 여러 번 나누어 입력해야 합니다. 또한, 순위 리스트를 생성할 때 토큰을 하나씩 생성하는 자기회귀(Autoregressive) 방식을 사용하므로 문서 수가 늘어날수록 연산 비용과 대기 시간(Latency)이 급격히 증가합니다. 

둘째, 외부 편향에 대한 민감성(Sensitivity to External Biases) 문제입니다. LLM은 입력된 문서의 순서에 따라 결과가 달라지는 '위치 편향(Position Bias)'이나, 문서를 나타내는 식별자(예: 숫자 1, 2 혹은 알파벳 A, B)의 종류에 따라 선호도가 달라지는 '선택 편향(Selection Bias)'에 취약합니다. 이는 모델이 문서의 내용보다 외부적인 요소에 영향을 받아 잘못된 순위를 매길 위험을 초래합니다. 

Proposed Method: MVP

이러한 문제를 해결하기 위해, 본 연구에서는 MVP (Multi-View-guided Passage reranking)를 제안합니다. MVP는 (1) Multi-view Encoding, (2) Anchor-guided Decoding, (3) Objective Function의 조화를 통해 효율적이면서도 편향 없는 재순위화를 수행합니다. 

(a) Multi-view Encoding 

MVP는 질의와 각 문서를 독립적으로 인코딩하여 상호 간섭을 차단함으로써 편향을 제거합니다. 구체적으로 질의와 문서 앞에 m개의 View Token 을 추가하여 인코딩합니다. 이때 모든 문서에 동일한 View Token과 위치 정보를 사용함으로써, 문서가 입력되는 순서나 식별자에 상관없이 오직 '질의-문서' 간의 내용적 관련성만을 Relevance Vector로 표현합니다. 이를 통해 위치 편향과 선택 편향을 제거합니다. 

(a) Anchor-guided Decoding 

추출된 각 문서의 Relevance Vector들은 디코더 단계에서 통합됩니다. MVP는 텍스트를 생성하는 대신, 디코더의 Cross-attention을 통해 각 관점(View)을 대표하는 Anchor Vector를 생성합니다. 최종적으로 이 Anchor Vector와 각 문서의 Relevance Vector 간의 내적(Dot Product)을 통해 관련도 점수를 계산합니다. 이 방식은 단 한 번의 디코딩(Single-pass)만으로 전체 후보 문서의 점수를 산출할 수 있어, 기존 생성 모델 대비 획기적인 속도 향상을 이뤄냅니다. 

(a) Training Objectives 

MVP의 학습을 위해 두 가지 손실 함수를 결합하여 사용합니다. 

• Ranking Loss (ListNet): 모델이 정답 문서의 순위 분포를 정확하게 학습하도록 유도합니다.

• Orthogonal Loss: m개의 view가 서로 겹치지 않고 다양한 관점에서 문서의 관련성을 평가할 수 있도록, 각 Anchor Vector가 직교(Orthogonal)하도록 제약합니다.

Experiments

실험 결과, 제안 모델 MVP는 In-domain 데이터셋 (DL19, DL20)과 Out-of-domain 데이터셋 (BEIR) 모두에서 기존의 최신 재순위화 모델들을 능가하거나 대등한 성능을 달성했습니다. 

특히 효율성 측면에서 월등한 성과를 보였습니다. <그림 6>에서 볼 수 있듯이, 220M 파라미터를 가진 MVP 모델은 7B 크기의 재순위화 모델과 대등한 성능을 보이면서도, 추론 속도는 최대 100배 더 빠른 결과를 기록했습니다. 

또한 강건성(Robustness) 실험에서 MVP는 입력 문서의 순서를 섞거나 식별자를 변경하더라도 성능 변화가 없는 것을 확인하였습니다. 

Conclusion

본 연구에서는 LLM 기반 재순위화의 고질적인 문제인 낮은 효율성과 편향 문제를 해결하기 위해 새로운 모델 MVP를 제안했습니다. MVP는 질의-문서 쌍을 독립적인 다중 관점(Multi-view)으로 인코딩하고, 앵커 가이드 디코딩(Anchor-guided Decoding)을 통해 단 한 번의 패스로 모든 문서의 순위를 매기는 혁신적인 구조를 갖추고 있습니다.

실험을 통해 MVP는 높은 재순위화 성능을 기록하면서도 기존 거대 모델 대비 최대 100배까지 빠른 속도를 달성함을 확인했습니다. 이는 고비용의 LLM을 실제 검색 시스템(Real-world Search Systems)에 적용 가능하도록 경량화하고 최적화했다는 점에서 큰 의의가 있습니다. 본 연구가 효율적이고 공정한 차세대 검색 시스템 구축을 위한 중요한 기반이 되기를 기대합니다.

코드는 github 에서 확인할 수 있습니다. 전체 논문은 이 곳에서 확인해주세요.