Empowering Retrieval-based Conversational Recommendation with Contrasting User Preferences

19 Mar 2025

NAACL 2025에 게재된 논문 “Empowering Retrieval-based Conversational Recommendation with Contrasting User Preferences”을 소개합니다. 논문의 상세 정보는 아래와 같습니다.

• Title: Empowering Retrieval-based Conversational Recommendation with Contrasting User Preferences

• Authors: Heejin Kook*, Junyoung Kim*, Seongmin Park, Jongwuk Lee (* : equal contribution)

• Conference: 2025 Annual Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics (NAACL) 

• Paper & Code: [paper] [code]

Conversational Recommender Systems (CRSs)

Conversational Recommender Systems(CRSs)은 multi-turn 상호작용을 통해 사용자의 변화하는 선호를 파악하고, 이를 기반으로 개인화된 추천을 제공합니다. 일반적으로 CRS는 두 가지 주요 과업으로 구성됩니다.

1. 추천 과업(Recommendation): 사용자 텍스트에서 의도를 분석하여 적절한 아이템을 추천

2. 생성 과업(Generation): 사용자에게 자연스럽고 친화적인 응답을 생성

최근 Large Language Models(LLMs)은 자연어 생성에서 뛰어난 성과를 보였지만, 추천 과업은 여전히 해결해야 할 과제가 많습니다. 따라서 본 논문에서는 추천 성능을 향상시키는 데 초점을 맞추고 있습니다.

Existing Methods

기존의 CRS 연구[1-3]는 외부 지식(e.g., knowledge graph)이나 LLM의 추론 능력을 활용하여 대화 맥락을 이해하고, 사용자가 선호할 만한 아이템을 추천합니다. 그러나 사용자 대화에는 긍정적 선호뿐만 아니라 부정적 선호도 포함되어 있음에도 불구하고, 기존 방법들은 대화 내 등장하는 엔티티(entity)를 모두 긍정적인 선호로 간주하는 한계를 갖고 있습니다.

이를 해결하기 위해, 최근 연구[4-8]들은 Preference-aware CRS를 도입하여, 대화 속 여러 감정과 정서를 반영한 사용자 선호를 추출하고 이를 정밀한 추천에 활용하고 있습니다. 하지만, 여전히 다양한 사용자의 선호를 단일 벡터로 표현하고 있으며, 이는 사용자-아이템-선호 간의 복잡한 관계를 효과적으로 모델링하는 데에 한계를 가집니다.

Motivation

Contrasting Preferences

사용자 대화에는 상반된 의도를 가진 다양한 선호(e.g., like vs. dislike)가 포함되며, 이를 Contrasting Preferences라고 정의할 수 있습니다. 기존의 preference-aware CRS는 사용자가 특정 특징(e.g., "폭력적")에 대해 부정적인 감정을 표현해도, 해당 특징을 포함한 콘텐츠(e.g., Kill Bill (2003))를 추천할 가능성이 있습니다.이는 주로 사용자 표현과 아이템 간 의미적 거리(semantic distance)만 고려하기 때문입니다 (그림 1 참고). 그러나 Contrasting preference를 고려함으로써 "폭력적"에 대한 부정적 감정을 반영하는 동시에 상대적으로 덜 부정적인 감정을 가질 가능성이 있는 콘텐츠(예: Spy (2015)) 추천을 추천할 수 있습니다.

위와 같은 관찰을 기반으로, 우리는 아래 핵심 질문을 해결하고자 합니다.

1. 사용자 대화에서 상반된 선호를 어떻게 효과적으로 추출할 것인가?

2. 상반된 선호와 사용자/아이템 간의 관계를 어떻게 학습할 것인가?

Proposed Method

기존 방법론의 한계를 다루기 위해, COntrasting user pReference expAnsion and Learning (CORAL)을 제안합니다. CORAL은 크게 두 부분으로 나눌 수 있습니다.

1. Contrasting Preference Expansion: CORAL은 LLM의 추론 능력을 활용하여 사용자의 상반된 선호를 추출하고 확장합니다.

2. Preference-aware Learning: 사용자, 선호, 아이템 간의 관계를 명시적으로 모델링하고 학습하여, 보다 정교한 추천을 가능하게 합니다.

Contrasting Preference Expansion

Contrasting Preference Expansion은 대화 기록에서 상반된 선호를 추출하고, LLM의 추론 능력을 활용하여 잠재적인 선호를 확장하는 과정입니다. 이 과정은 (1) User-side expansion과 (2) Item-side expansion으로 나뉩니다 (그림 2(a)).

• User-side expansion은 대화 속에 내재된 사용자 선호를 구별하고 추론하는 과정입니다.

  1. Superficial preference extraction: 대화에서 사용자의 선호를 간단히 추출합니다.

  2. Potential preference augmentation: 추출된 선호를 바탕으로 더 깊은 잠재적 선호를 확장합니다.

• Item-side expansion은 리뷰 요약을 사용하여 아이템의 표현을 향상시키는 과정입니다. 리뷰에서 언급된 선호는 사용자 대화와 아이템 메타데이터 간의 간극을 연결하는 역할을 합니다.

Preference-aware Learning

Preference modeling은 대화와 선호를 명확하게 분리하여 표현하고, 이들 간의 관계를 학습합니다. 구체적으로, 대화와 선호를 독립적으로 표현한 후, 이들을 item scoring 과정에 직접적으로 결합합니다.

Hard negative sampling은 대화만으로 예측하기 어려운 샘플을 구별하여, 상반된 선호를 통해 예측을 더 도전적으로 만듭니다. 이를 통해 모델이 더 정확한 예측을 할 수 있도록 학습을 강화합니다.

Experiments

Overall Performance

CORAL은 세 가지 벤치마크 데이터셋에서 기존 방법들보다 SOTA를 달성하며, Recall@10에서 최대 99.72%의 향상을 이끌어냈습니다. 

In-depth Study

<그림 3>은 모델 크기에 따른 CORAL의 성능을 보여줍니다. 110M에서부터 7B까지 다양한 언어 모델에 대해 실험을 진행하였으며, 그 결과 CORAL의 확장성과 범용성을 입증하였습니다.

<표 2>는 INSPIRED 데이터셋에 대한 ablation study입니다. 실험을 통해 CORAL의 각 컴포넌트가 모두 성능 향상에 중요한 역할을 한다는 것이 확인되었습니다. 특히 사용자 선호 증강을 적용하지 않았을 때(w/o Aug) Recall@10이 15.41% 성능 개선이 나타났습니다. 이는 추천 과업에서 대화 내 표면적으로 드러나지 않고 내재된 선호를 추론하는 것의 중요성을 보여줍니다.

Case study

<그림 4(a)>는 CORAL이 사용자 대화에서 추론한 선호와 PEARL의 실제 아이템을 비교한 사례 연구를 보여줍니다. CORAL은 대화에서 "스릴러"와 "드라마" 장르에 대한 사용자의 선호를 효과적으로 추론하며, 아이템의 리뷰 요약과 사용자 선호가 일치하는 것을 확인할 수 있습니다. 이는 Contrasting Preference Expansion이 추천 결과의 설명 가능성을 제공한다는 것을 의미합니다.

<그림 4(b)>에서는 t-SNE로 시각화한 예시를 통해, CORAL이 Like/Dislike 선호를 구분하고 사용자와 아이템 간의 관계를 모델링하여 정확한 아이템을 추천하는 방법을 보여줍니다. 대화만으로는 부정확한 아이템이 선택될 수 있지만, CORAL은 미세한 차이를 구별하여 올바른 아이템을 추천합니다.

Conclusion

본 논문에서는 사용자의 모호한 선호를 구별하고, 그들의 좋아함과 싫어함에 내재된 상반된 의도를 반영하는 새로운 대화형 추천 시스템 모델 CORAL을 제안합니다. CORAL은 추천 과업을 지원하기 위해 사용자의 선호를 확장하고, LLM의 추론 능력을 활용하여 대화, 선호 및 아이템 간의 관계를 학습합니다. 우리는 선호 확장 및 학습 전략의 효과를 평가하기 위해 광범위한 실험을 수행했으며, 그 결과 우리 방법이 추천 성능 향상에서 모든 기준 모델들을 초과한다는 것을 확인했습니다. 또한, CORAL은 다양한 언어 모델에 대해 강력하고 보편적으로 적용 가능하며, 제로샷 설정에서도 효과적으로 작동하여, 확장된 사용자 선호의 신뢰성을 입증했습니다.

Reference

[1] Qibin Chen, Junyang Lin, Yichang Zhang, Ming Ding, Yukuo Cen, Hongxia Yang, and Jie Tang. 2019. Towards knowledge-based recommender dialog system. CoRR.

[2] Kun Zhou, Wayne Xin Zhao, Shuqing Bian, Yuanhang Zhou, Ji-Rong Wen, and Jingsong Yu. 2020. Improv- ing conversational recommender systems via knowledge graph-based semantic fusion. CoRR.

[3] Xiaolei Wang, Kun Zhou, Ji-Rong Wen, and Wayne Xin Zhao. 2022. Towards unified conversational recommender systems via knowledge-enhanced prompt learning. In KDD.

[4] Yu Lu, Junwei Bao, Yan Song, Zichen Ma, Shuguang Cui,  Youzheng  Wu,  and  Xiaodong  He.  2021. Revcore: Review-augmented conversational recommendation. CoRR.

[5] Xiaoyu Zhang, Ruobing Xie, Yougang Lyu, Xin Xin, Pengjie Ren, Mingfei Liang, Bo Zhang, Zhanhui Kang, Maarten de Rijke, and Zhaochun Ren. 2024. Towards empathetic conversational recommender systems. In RecSys, page 84–93.

[6] Yunjia Xi, Weiwen Liu, Jianghao Lin, Bo Chen, Ruim- ing Tang, Weinan Zhang, and Yong Yu. 2024. Memocrs: Memory-enhanced sequential conversational recommender systems with large language models. CoRR.

[7] Kerui Xu, Jingxuan Yang, Jun Xu, Sheng Gao, Jun Guo, and Ji-Rong Wen. 2021. Adapting user preference to online feedback in multi-round conversational recommendation. In Proceedings of the 14th ACM international conference on web search and data mining, pages 364–372.

[8] Sen Zhao, Wei Wei, Xian-Ling Mao, Shuai Zhu, Minghui Yang, Zujie Wen, Dangyang Chen, and Feida Zhu. 2023. Multi-view hypergraph contrastive policy learning for conversational recommendation. In Proceedings of the 46th International ACM SIGIR Conference on Research and Development in Information Retrieval, pages 654–664.