ACE: Anisotropy-Controllable Embedding for LLM-enhanced Sequential Recommendation

13 Jul 2026 

 본 문서에서는 SIGIR 2026에 게재된 논문 “Anisotropy-Controllable Embedding for LLM-enhanced Sequential Recommendation”을 소개합니다. 논문의 상세 정보는 아래와 같습니다.

• Title: Anisotropy-Controllable Embedding for LLM-enhanced Sequential Recommendation

• Authors: Dongcheol Lee*, Hye-young Kim*, Jongwuk Lee (* : equal contribution)

• The 49th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2026, short paper)

Introduction

순차 추천 (Sequential Recommendation, SR)은 사용자의 상호작용 이력으로부터 다음에 선호할 아이템을 예측하는 과제입니다. 최근에는 아이템의 텍스트 속성에서 풍부한 의미를 뽑아내는 LLM을 SR에 활용하되, 높은 추론 비용을 피하기 위해 LLM-as-Extractor 패러다임이 주목받고 있습니다. 이는 SR 모델의 무작위 초기화된 아이템 임베딩을 LLM 임베딩으로 대체한 뒤 파인튜닝하는 방식입니다.

기존 방법들 (LLM2X, AlphaRec, LLMEmb, WhitenRec, AlphaFuse)은 LLM 임베딩을 협업 신호에 적응시키는 데 집중했지만, 한 가지 근본적인 요인을 간과했습니다. 바로 파인튜닝 이전 임베딩의 기하학적 구조입니다. LLM 임베딩은 대부분의 벡터가 좁은 원뿔 영역에 집중되는 강한 이방성 (anisotropy) 을 보이며 (그림 1a), 이는 협업 신호로의 적응을 방해합니다. WhitenRec은 화이트닝으로 완전한 등방성을 강제하지만, 의미 위계를 담은 고유값 구조를 붕괴시켜 심각한 의미 왜곡을 낳습니다 (그림 1b).

Proposed Method: ACE

우리는 이방성을 연속적이고 의미론적으로 일관되게 제어하는 Anisotropy-Controllable Embedding (ACE) 을 제안합니다. ACE는 선형 오토인코더 (LAE) 기반으로, 목적 함수의 두 항이 각각 (i) 의미 방향을 보존하고 (재구성 항), (ii) 이방성을 연속적으로 조절합니다 (L2 정규화 항). 

LAE 기반 임베딩 재구성. 먼저,  LLM 임베딩 행렬 E ∈ ℝ^(n×d)를 입력으로, 아이템–아이템 행렬 B_ACE에 대한 다음 목적 함수를 정의합니다:

첫 항은 원본 임베딩을 재구성하고, 둘째 항은 자명한 해를 막는 정규화입니다. 닫힌 해는 다음과 같고, 

E = USVᵀ의 SVD를 적용하면 특이값에 대한 수축 (shrinkage)으로 표현됩니다: 

g_λ(S)는 지배적인 방향은 압축하고 작은 방향의 상대 구조는 보존합니다. 

두 항의 역할. (i) λ = 0이면 g₀ = 1로 모든 성분이 동일 가중치를 받아 의미 방향(좌특이 기저 U)이 그대로 보존됩니다. (ii) λ가 커질수록 지배적 특이값이 점진적으로 하향 조정되어 스펙트럼 불균형이 완만해지며, λ가 매우 크면 원래의 이방성 분포로 수렴합니다. 즉 정규화 항은 의미 위계를 붕괴시키지 않는 일반화된 화이트닝으로 작동하며, 이방성을 연속적으로 조절합니다 (그림 2). 

SR 백본 적용. 상위 k개 특이 방향만 남기고 스케일 인자 γ로 크기를 복원한 아래 임베딩을 SASRec, GRU4Rec, BERT4Rec 등의 아이템 임베딩 초기값으로 사용합니다: 

Experiments

표 1은 SASRec 백본에서 ACE가 모든 데이터셋에서 베이스라인을 일관되게 능가함을 보여줍니. 특히 화이트닝 기반 WhitenRec+는 단순 PCA 기반 LLM2X보다 낮을 때도 있는데, 이는 공격적 화이트닝이 의미 위계를 왜곡한다는 분석과 일치합니다. ACE는 이방성을 줄이면서 의미 위계를 함께 보존해 더 균형 잡힌 기하를 제공합니다. 

추가적으로 SR backbone에 대한 성능 일관성을 관찰하였습니다. GRU4Rec·BERT4Rec에서도 ACE는 최강 베이스라인 대비 Recall@20 최대 12.4%, NDCG@20 최대 11.8% 향상하여, 스펙트럼 재구성 메커니즘이 구조와 무관하게 견고함을 보입니다. 

아래는 λ따른 성능 변화를 보여줍니다. λ가 너무 작으면 스펙트럼이 과도하게 평탄해져 의미 위계가 지워지고, 너무 크면 이방성이 그대로 남습니다. 최고 성능은 중간 λ에서 나타나며, 이는 이방성 감소와 의미 보존의 균형을 보여줍니다.

Conclusion

ACE는 선형 오토인코더의 스펙트럼 거동을 이용해 LLM 임베딩을 재구성하는 방법으로, 재구성 항으로 의미 방향을 보존하고 L2 정규화 항으로 이방성을 연속적으로 제어합니다. 그 결과 의미 무결성을 유지하면서 기하학적으로 균형 잡힌 임베딩을 얻으며, Recall@20 최대 12.4%, NDCG@20 최대 11.8%의 일관된 향상을 달성합니다.