Linear Item-Item Model with Neural Knowledge for Session-based Recommendation

14 Apr 2025

SIGIR 2025에 승인된 논문 “Linear Item-Item Model with Neural Knowledge for Session-based Recommendation"을 소개합니다.
논문의 상세 정보는 아래와 같습니다.

• Authors: Minjin Choi, Sunkyung Lee, Seongmin Park, Jongwuk Lee 

• The 48th International ACM SIGIR Conference on Research and Development in Information Retrieval

• The paper and source code will be available soon.

Introduction

온라인 쇼핑몰에서 상품 추천, 음악 스트리밍 서비스에서의 곡 추천과 같은 추천 시스템의 핵심 갈래 중 하나는 사용자가 현재 세션(Session)에서 다음에 관심을 가질 만한 아이템을 예측하는 것이며, 이를 세션 기반 추천(Session-based Recommendation, SBR)이라고 합니다. 사용자의 과거 전체 이력보다는 현재 세션 내의 짧은 상호작용 기록에 초점을 맞추기 때문에, 로그인하지 않은 사용자나 신규 사용자에게도 즉각적인 관심사를 파악하여 추천을 제공할 수 있습니다.  (Figure 1 참고)

이 때, 사용자의 세션 데이터만으로는 아이템 간의 복잡한 관계를 파악하고 정확한 추천을 제공하는 데 어려움이 따릅니다. 특히, 어떤 아이템들이 함께 등장하는 경향(Co-occurrence)과 어떤 아이템 다음에 특정 아이템이 나타나는 순차적 경향(Sequential Transition)을 모두 효과적으로 포착하는 것이 중요합니다. 

Existing Works for Session-based Recommendation

지금까지 SBR 연구는 크게 두 가지 방향으로 발전해 왔으며, Figure 2와 같이 정확도와 효율성 사이에서 트레이드오프 관계를 보입니다.

1. 신경망 기반 모델 (Neural Models): RNN, GNN, Transformer 등 복잡한 딥러닝 구조를 사용하여 아이템 간의 순차적 의존성(Sequential Dependencies)을 모델링하는 데 중점을 둡니다. 뛰어난 표현력을 바탕으로 복잡한 패턴을 학습할 수 있지만, 모델 구조가 복잡하고 계산 비용이 높아 실제 서비스 환경에서 추론 속도가 느릴 수 있다는 단점이 있습니다. 

2. 선형 아이템-아이템 모델 (Linear Item-Item Models): 아이템 간의 유사도(Co-occurrence)를 학습하는 간단한 선형 모델입니다. 구조가 단순하여 매우 빠른 추론 속도를 보장하지만, 세션 전체의 맥락이나 복잡한 순차적 패턴을 포착하는 데는 한계가 있습니다. 

두 접근 방식은 서로 다른 종류의 아이템 관계를 포착하는 데 강점을 보입니다.  관찰 결과 (Figure 3 참고), 선형 모델(예: SLIST)은 상호작용이 적은 비인기 아이템들 사이의 강력한 동시 등장 패턴을 잘 잡아내는 반면, 신경망 모델(예: CORE)은 학습 데이터가 풍부한 인기 아이템들 사이의 복잡한 관계(순차적 전이 등)를 모델링하는 데 더 유리합니다. 

세션 기반 추천은 활발히 연구되고 있는 주제이지만, 지금까지 이 두 패러다임의 근본적인 차이점과 이들을 효과적으로 결합하는 방법에 대한 연구는 부족했습니다. 

Proposed Model: LINK

우리는 LINK (Linear Item-Item model with Neural Knowledge) 라는 새로운 SBR 모델을 제안합니다. 

LINK의 핵심 아이디어는 선형 모델과 신경망 모델이 가진 서로 다른 강점(지식)을 하나의 통합된 선형 프레임워크 안에서 효과적으로 결합하는 것입니다. 이를 통해 선형 모델의 빠른 추론 속도를 유지하면서도 신경망 모델 수준의 복잡한 아이템 관계 포착 능력을 확보하고자 합니다. LINK는 두 가지 주요 구성 요소로 이루어집니다 (Figure 4 참고).

1. LIS (Linear knowledge-enhanced Item-item Similarity model). 아이템 간의 유사성(Similarity) 패턴, 즉 동시 등장 관계를 강화하는 데 초점을 맞춥니다. LIS는 자기 증류(Self-distillation) 기법을 활용합니다. 먼저 기본적인 선형 모델을 학습시켜 아이템 간 유사도 행렬을 얻고, 이 행렬을 이용해 원래 세션 데이터를 확장합니다. 이렇게 확장된 데이터를 다시 선형 모델 학습에 사용함으로써, 단순히 세션 내에서 함께 등장하는 관계를 넘어 세션 간의 숨겨진 고차원적 유사성까지 포착할 수 있습니다. 

2. NIT (Neural knowledge-enhanced Item-item Transition model). 아이템 간의 순차적 전이(Transition) 패턴을 학습하는 데 신경망 모델의 지식을 활용합니다. 기존 신경망 추천 모델(Teacher Model)로부터 순차적 전이 지식을 추출하여 선형 모델(Student Model)에 주입하는 지식 증류(Knowledge Distillation) 방식을 사용합니다. 여기서 어려운 점은 구조가 전혀 다른 신경망 모델의 지식을 어떻게 선형 모델이 이해할 수 있는 형태로 변환하는가입니다. 이를 효과적으로 해결하기 위해, 각 아이템 하나만 포함된 가상의 단일 아이템 세션을 미리 학습된 신경망 모델(M)에 입력으로 넣어, 신경망의 전이 지식이 담긴 교사 행렬(Teacher Matrix, T)을 만듭니다. 그리고 이 교사 행렬을 선형 모델 학습 시 정규화(Regularization) 항으로 사용하여, 선형 모델이 순차적 패턴을 학습할 때 신경망의 지식을 참고하도록 유도합니다. 

마지막으로, LIS를 통해 얻은 강화된 유사성 정보와 NIT를 통해 얻은 신경망 기반 전이 정보를 하나의 최종 아이템-아이템 행렬로 통합합니다. 이 통합 과정 역시 효율적인 행렬 연산을 통해 이루어지므로, 최종 모델은 여전히 선형 모델의 형태를 유지합니다.

Experiments

저희는 LINK 모델의 성능을 검증하기 위해 Diginetica, Yoochoose 등 여러 실제 세션 데이터셋을 사용하여 광범위한 실험을 수행했으며, 실험 결과는 다음과 같습니다.

• 선형 모델 대비 높은 성능 향상: LINK는 기존의 대표적인 선형 SBR 모델(SLIST, SWalk)과 비교했을 때, 모든 데이터셋에서 훨씬 뛰어난 성능을 보였습니다. Recall@20 기준 최대 14.78%, MRR@20 기준 최대 11.04% 의 성능 향상을 달성했습니다. 이는 신경망 지식 증류를 통해 기존 선형 모델이 놓치던 복잡한 순차 패턴을 효과적으로 학습했음을 보여줍니다. 

• 신경망 모델과 경쟁 가능한 정확도: LINK는 복잡한 구조의 최신 신경망 모델들과 비교했을 때도 대등하거나 일부 데이터셋에서는 더 나은 예측 정확도를 달성했습니다. 

• 뛰어난 추론 효율성: 가장 중요한 점은, LINK가 이러한 높은 정확도를 달성하면서도 선형 모델 고유의 빠른 추론 속도를 그대로 유지한다는 것입니다. 실험 결과, LINK는 최신 신경망 모델들보다 최대 813배 적은 연산량(FLOPs)으로 추론을 수행했습니다 (Figure 5 참고). 이는 실제 추천 서비스 환경에서 매우 중요한 장점입니다.

Conclusion

본 논문에서는 선형 모델의 효율성과 신경망 모델의 표현력을 결합한 새로운 세션 기반 추천 모델 LINK를 소개했습니다. LINK는 자기 증류를 통해 아이템 유사성 포착 능력을 강화하고(LIS), 독창적인 지식 증류 기법으로 신경망의 순차적 전이 지식을 선형 모델에 통합(NIT)합니다. 

다양한 실험을 통해 LINK는 기존 선형 모델의 성능을 크게 뛰어넘고 최신 신경망 모델과 경쟁할 수 있는 정확도를 달성하면서도, 선형 모델의 가장 큰 장점인 압도적인 추론 속도를 유지함을 보였습니다. 이는 정확도와 효율성 사이의 균형점을 찾아야 하는 실제 추천 시스템 환경에 매우 적합한 접근 방식이 될 수 있습니다. LINK는 향후 더 발전된 신경망 모델의 지식을 유연하게 활용하여 지속적으로 성능을 개선할 수 있는 잠재력도 가지고 있습니다. 

본 연구가 세션 기반 추천 시스템의 성능과 효율성을 한 단계 끌어올리는 데 기여하기를 기대합니다.