MARS: Matching Attribute-aware Representations for Text-based Sequential Recommendation

24 November 2024 

우리 연구실에서 CIKM 2025에서 발표한 “MARS: Matching Attribute-aware Representations for Text-based Sequential Recommendation” 논문을 소개합니다.

• Title: MARS: Matching Attribute-aware Representations for Text-based Sequential Recommendation

• Authors: Hyunsoo Kim*, Junyoung Kim*, Minjin Choi, Sunkyung Lee, Jongwuk Lee (*: 공동제1저자)

• Conference: ACM International Conference on Information and Knowledge Management (CIKM 2025, short paper)

논문 URL:  https://arxiv.org/abs/2409.00702

Sequential Recommendation

순차 추천(Sequential Recommendation)은 사용자의 과거 상호작용 기록을 기반으로 사용자가 다음에 선호할 가능성이 높은 아이템을 예측하는 것을 목표로 하는 추천 시스템의 한 분야입니다. 순차 추천은 사용자의 행동이 시간에 따라 변화한다는 점을 고려하여 사용자의 취향 변화를 모델링하고 적시에 적합한 아이템을 추천함으로써 개인화된 경험을 제공합니다.

기존 순차 추천 모델은 주로 다음과 같은 방식으로 발전해왔습니다:

• ID 기반 모델: 사용자와 아이템을 고유 식별자로 표현하여 순차적 상호작용을 학습하는 방법으로, RNN, CNN, MLP, 트랜스포머 기반 아키텍처가 대표적입니다.

• 메타데이터 기반 모델: 아이템의 부가적인 정보를 활용하여 데이터 희소성을 극복하려는 접근 방식입니다.

• 텍스트 기반 모델: 사전 학습된 언어 모델을 사용하여 아이템의 텍스트 속성을 임베딩으로 변환하여 PLM의 지식을 추천에 활용하며, 새로운 데이터셋으로의 지식 전이를 가능하게 합니다.

기존 모델의 한계

기존의 순차 추천 모델들은 여러 기술적 한계를 가지고 있습니다.

1. 희소 데이터 문제: ID 기반 모델은 사용자-아이템 상호작용 기록이 충분하지 않은 경우(예: 신규 사용자, 신규 아이템) 학습에 어려움을 겪습니다. 특히, 아이템 상호작용 기록이 적은 콜드 스타트(cold-start) 상황에서는 정확한 추천을 제공하기 어렵습니다.

2. 단일 표현의 한계: 기존 텍스트 기반 모델은 아이템의 부가적 속성(예: 제목, 카테고리, 브랜드 등)을 활용하지만, 이를 단일 벡터로 결합하여 속성 간의 정밀한 상호작용을 반영하지 못합니다.

Proposed Model

 본 논문에서는 기존 단일 표현을 사용하는 방법론의 한계를 극복하고자 여러 개의 텍스트 기반 속성 표현을 활용하여 정교한 순차 추천을 수행하는 Matching Attribute-aware Representations for Text-based Sequential Recommendation (MARS) 모델을 제안합니다. 그림 1은 제안 모델의 전반적인 구조를 나타냅니다.

1. 속성 기반 텍스트 인코딩 (Attribute-aware Text Encoding)

MARS는 사전 학습된 언어 모델(PLM)을 활용하여 사용자와 아이템의 텍스트를 각 아이템의 속성별로 세밀히 인코딩합니다. 이 과정은 다음과 같이 이루어집니다:

• 아이템 인코딩: 각 아이템의 텍스트 속성(예: 제목, 브랜드, 카테고리)을 토큰화하고, PLM을 통해 각 속성의 문맥화된 벡터를 생성합니다. 이후, 각 속성을 설명하는 토큰들의 평균 벡터를 계산하여 속성 벡터를 나타냅니다

• 사용자 인코딩: 사용자가 상호작용한 각 아이템의 속성 벡터를 결합하여 사용자 시퀀스를 속성 기반 다중 표현으로 변환합니다.

2. 속성별 상호작용 매칭 (Attribute-wise Interaction Matching)

속성 기반 다중 표현을 활용하여 사용자와 아이템 간의 세밀한 관계를 모델링합니다:

• 사용자 시퀀스의 각 속성과 아이템 속성 간의 코사인 유사도를 계산하여 속성 단위 매칭 점수를 생성합니다.

• 속성별로 사용자의 시퀀스 내에서 가장 유사도 점수가 높은 점수를 선택하여(MaxSim) 매칭 점수를 계산합니다.

• 아이템의 모든 속성에 대한 매칭 점수를 합산하여 최종 추천 점수를 생성합니다.

Experiments

본 논문에서는 MARS의 성능을 평가하기 위해 5개의 벤치마크 데이터셋(Amazon Review 데이터셋의 'Industrial and Scientific', 'Prime Pantry', 'Musical Instruments', 'Arts, Crafts & Sewing', 'Office Products')을 사용하여 광범위한 실험을 수행하였습니다. 실험은 ID 기반 모델, ID+텍스트 결합 모델, 텍스트 기반 모델에 해당하는 베이스라인 모델과 비교하여 진행되었습니다.

[표 1] 성능 비교:

1. • MARS는 모든 데이터셋에서 기준 모델을 능가하는 성능을 보였습니다.

   • 최고 기준 모델 대비 Recall@10과 NDCG@10에서 각각 최대 24.43%, 29.26%의 성능 향상을 달성하였습니다.

   • 특히, ID 기반 모델(GRU4Rec, SASRec) 및 기존 텍스트 기반 모델(UniSRec, MIRACLE, Recformer)보다 높은 정확도를 기록하여, 텍스트 속성을 활용한 세밀한 표현 및 매칭이 효과적임을 입증하였습니다.

[표 2] 제로샷 추천(Zero-shot Recommendation):

1. • MARS는 학습하지 않은 데이터셋에서도 사전 학습된 언어 모델(PLM)의 지식을 효과적으로 전이하여, 새로운 아이템에 대해 높은 성능을 기록하였습니다.

   • 모든 기준 모델 대비 평균 13.11%의 성능 향상을 보이며, 새로운 데이터 환경에서도 강력한 일반화 능력을 확인하였습니다.

[표 3] 속성 기반 표현과 속성별 매칭의 효과:

1. • 속성 기반 다중 표현을 통해 단일 벡터 표현 및 아이템 표현 대비 최대 6.4%의 성능 향상을 확인하였습니다.

   • MaxSim을 사용한 속성별 매칭이 단순히 사용자의 모든 아이템과 대상 아이템 점수를 평균하는 것보다 성능 향상에 기여하는 것을 확인하였습니다.

Conclusion

본 연구에서는 MARS를 제안하여, 텍스트 기반 순차 추천에서 사용자와 아이템의 속성을 세밀히 매칭함으로써 추천 정확도를 높이는 새로운 접근법을 제시하였습니다. 기존 방법론이 사용자와 아이템을 단일 벡터로 나타낸다는 한계를 극복하기 위해 아이템과 사용자를 아이템 속성을 기반으로 여러 개의 벡터로 나타내는 속성 기반 다중 표현(attribute-aware representation)을 제시합니다. 또한, 다중 벡터로부터 효과적으로 점수를 계산할 수 있는 속성별 상호작용 매칭(attribute-wise interaction)을 제안합니다. 5개의 벤치마크 데이터셋에서 베이스라인 모델 대비 높은 성능을 기록하며, 제로샷 추천 환경에서도 뛰어난 일반화 능력을 보였습니다.