Temporal Linear Item-Item Model for Sequential Recommendation

06 Jan 2025

WSDM 2025에 게재된 논문 “Temporal Linear Item-Item Model for Sequential Recommendation”을 소개합니다. 논문의 상세 정보는 아래와 같습니다.

• Title: Temporal Linear Item-Item Model for Sequential Recommendation

• Authors: Seongmin Park*, Mincheol Yoon*, Minjin Choi, Jongwuk Lee (* : equal contribution)

• The 18th ACM International Conference on Web Search and Data Mining

• [paper] [code]

Sequential Recommendation

순차 추천 (Sequential Recommendation, SR)은 사용자의 시간 순서대로 된 행동 이력을 기반으로 다음 상호작용을 예측하는 것을 목표로 합니다. 최근 연구들 [1-3]은 단순히 항목의 순서 (sequential information)만을 고려하는 것보다, 시간 정보 (temporal information)도 고려하는 것이 중요하다고 주장하고 있습니다.  <그림 1>은 Beauty 데이터셋에서 시간 정보의 중요성을 보여주는 예시입니다. 시간 정보를 고려하지 않을 경우, 시스템은 연관된 두 개의 항목 때문에 "Milk Bath"를 추천합니다. 반면 시간 정보를 반영하면, "Bath Salt"와 "Epsom Salt" 구매 후 시간이 많이 지났다는 점을 고려하여 최근 구매한 "Shave Gel"과 연관된 "Face Wash"를 추천합니다. 

Motivation

순차 추천 시스템은 두 가지 주요한 challenge에 직면해 있습니다. 첫째는 효율성 (efficiency) 문제입니다. 신경망 기반 모델들은 뛰어난 성능을 보이지만, 모델의 복잡성으로 인한 느린 학습과 추론 시간이 단점입니다. 특히 transformer 기반 모델의 경우 시퀀스 길이에 대해 이차 시간 (quadratic) 복잡도를 가집니다. 둘째는 시간 정보 (temporal information) 활용의 문제입니다. 기존 모델들은 단순히 항목의 순차적 순서만을 고려하고 실제 타임스탬프 정보는 활용하지 못해, 다양한 시간 간격에 따른 사용자 선호도 변화를 효과적으로 포착하지 못합니다. 

Proposed Method

위 두 가지 challenge를 해결하기 위해 TALE (TemporAl LinEar item-item model)을 제안합니다. TALE은 세 가지 핵심 컴포넌트로 구성됩니다. 

• Single-target augmentation: 선형 SR 모델들이 일반적으로 학습을 위해 소스와 타겟 행렬을 활용하는 반면, 우리는 복수 항목 대신 단일 항목 표현을 사용하여 타겟 행렬을 구성합니다. 이전 모델들이 복수의 타겟 항목 (multiple target items)을 사용하여 장기 간격의 협업 신호를 강화했지만, 우리의 접근 방식이 복수의 소스 (source) 항목들과 단일 타겟 항목 간의 시간적 상관관계를 효과적으로 포착한다는 것을 입증합니다. 

• Time interval-aware weighting: 선형 모델에 시간 정보를 직접 통합하기 위해, 우리는 실제 타임스탬프를 활용하여 소스 항목들내의 중요도를 조정합니다. 특히, 이 가중치 전략은 단기와 장기 시간 간격으로 구분하여 중요도를 조절합니다. 이 방식을 통해, 서로 다른 시간 간격을 가진 항목 상관관계를 효과적으로 구분할 수 있습니다. 

• Trend-aware normalization: 동적인 항목 인기도를 반영하기 위해, 우리는 인기도 편향을 제거하는 정규화 방법을 채택합니다. 최근 연구들이 다양한 정규화 방법을 사용하지만, 전체 기간에 걸친 전역 인기도 (global popularity)를 사용하기 때문에 시간적 맥락을 고려하지 못합니다. 우리는 최근 N일 동안의 지역 항목 인기도 (local item popularity) 를 활용하여 항목 인기도의 동적 변화를 반영합니다. 

Experiments

제안 모델 TALE는 다섯 가지 데이터셋 (ML-1M, Beauty, Toys, Sports, Yelp)에서 뛰어난 성능과 효율성을 보여주었습니다.

<표 1>은 8개의 기존 SR 모델들과 비교한 결과를 보여주며, HR@1 기준으로 최대 25%의 성능 향상을 달성했습니다. 

<표 2>는 효율적인 SR 모델과의 성능 비교를 보여줍니다. 효율성 측면에서는 LinRec 대비 학습 시간 17.7배, 추론 시간 145배 단축을 달성했습니다. 

<표 3>은 Ablation study를 통해 각 컴포넌트의 효과를 검증합니다. 세 가지 컴포넌트를 모두 사용할 때 최고 성능을 보였으며, 특히 Single-target augmentation과 Time interval-aware weighting의 조합이 가장 큰 성능 향상을 가져왔습니다. 또한 Trend-aware normalization은 롱테일 항목에 대한 성능 향상에 크게 기여했습니다. 

Conclusion

본 연구는 세 가지 핵심 구성요소를 통해 시간적 맥락을 효과적으로 활용하는 효율적인 선형 추천 시스템 모델 TALE을 제안합니다: Single-target augmentation, Time interval-aware weighting, 그리고 Trend-aware normalization. TALE은 5개의 데이터셋에서 다른 10개의 추천 시스템 모델들과 비교했을 때 일관되게 우수한 정확도를 보여주었으며, HR@1 지표에서 최대 25%의 성능 향상을 달성합니다. Trend-aware normalization 덕분에 TALE은 인기 항목과 비인기 항목 모두에서 뛰어난 정확도를 보여줍니다. TALE의 모든 구성요소는 사전 계산이 가능하여 추가적인 학습 및 추론 시간이 필요하지 않습니다. 특히 주목할 만한 점은 기존의 효율적인 신경망 기반 추천 시스템 모델들과 비교하여 17.7배 더 빠른 학습 시간과 145배 더 빠른 추론 시간을 달성했다는 것입니다. 

Reference

[1] Jiacheng Li, Yujie Wang, and Julian J. McAuley. 2020. Time Interval Aware Self-Attention for Sequential Recommendation. In WSDM. 322–330.

[2] Yizhou Dang, Enneng Yang, Guibing Guo, Linying Jiang, Xingwei Wang, Xiaoxiao Xu, Qinghui Sun, and Hong Liu. 2023. Uniform Sequence Better: Time Interval Aware Data Augmentation for Sequential Recommendation. In AAAI. 4225–4232.

[3] Shengzhe Zhang, Liyi Chen, Chao Wang, Shuangli Li, and Hui Xiong. 2024. Temporal Graph Contrastive Learning for Sequential Recommendation. In AAAI. 9359–9367.