MergeRec: Model Merging for Data-Isolated Cross-Domain Sequential Recommendation

2 Jul 2026 

본 문서에서는 KDD 2026에 게재된 “MergeRec: Model Merging for Data-Isolated Cross-Domain Sequential Recommendation”을 소개합니다. 논문의 상세 정보는 아래와 같습니다.

• Title: MergeRec: Model Merging for Data-Isolated Cross-Domain Sequential Recommendation

• Authors: Hyunsoo Kim*, Jaewan Moon*, Seongmin Park, Jongwuk Lee  (* : equal contribution)

• The 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2026)

Cross-Domain Sequential Recommendation

순차 추천(Sequential Recommendation)은 사용자의 과거 상호작용 이력을 바탕으로 다음에 선호할 아이템을 예측하는 문제입니다. 최근의 신경망 기반 추천 모델들은 아이템 간 순차적 의존성을 효과적으로 포착하지만, 여전히 cold-start와 데이터 희소성(data sparsity) 문제에서 자유롭지 못합니다.

이를 해결하기 위한 유망한 방향이 여러 도메인의 지식을 함께 활용하는 Cross-Domain Sequential Recommendation (CDSR)입니다. 하지만 기존 CDSR 연구들은 다음과 같은 세 가지 근본적인 한계를 가지고 있습니다.

1) User/Item Overlap 의존성: 대부분의 지식 전이는 도메인 간 중복 사용자 혹은 중복 아이템의 존재를 가정합니다. 하지만 현실에서 이러한 중복은 극히 드뭅니다. 실제로 Amazon의 8개 도메인을 분석해보면 공유되는 사용자는 단 16명, 공유 아이템은 0개에 불과합니다.

2) Data Isolation: 사용자 로그는 민감한 개인정보를 포함하므로, 조직 간 경계나 프라이버시 규제로 인해 도메인 간 공유가 불가능한 경우가 많습니다. 즉, 다른 도메인의 학습 데이터에 접근하는 것 자체가 비현실적인 가정입니다.

3) 낮은 확장성: 여러 도메인을 함께 학습하는 joint training은 상당한 계산 비용을 수반합니다. 그 결과 기존 연구 대부분은 2–3개 도메인 통합에 머물러 있으며, 대규모 다중 도메인 통합은 여전히 해결되지 않은 문제입니다.

Motivation

저희는 이 한계를 돌파할 대안으로 모델 병합(Model Merging) 에 주목했습니다. 모델 병합은 여러 도메인(혹은 태스크)별로 파인튜닝된 모델들의 파라미터를 하나의 통합 모델로 합치는 패러다임으로, CDSR의 세 가지 한계에 정확히 대응하는 장점을 갖습니다.

- 도메인 간 중복 사용자/아이템이 전혀 필요하지 않습니다.

- 민감한 상호작용 데이터가 아닌 **모델 파라미터만** 필요하므로 자연스럽게 프라이버시가 보존됩니다.

- 도메인 간 joint training이 필요 없어 확장성이 높습니다.

이러한 관찰을 바탕으로 저희는 data-isolated CDSR이라는 새롭고 현실적인 문제 설정을 정의했습니다. 이 설정에서 각 도메인의 상호작용 데이터는 오직 해당 도메인의 모델 학습에만 사용될 수 있고, 이후에는 접근이 불가능합니다. 즉, 사용할 수 있는 것은 K개의 도메인별 파인튜닝 모델뿐이며, 이들로부터 여러 도메인을 아우르는 하나의 범용(universal) 추천 모델을 만들어야 합니다.

그런데 기존의 모델 병합 기법을 그대로 적용하는 것은 생각보다 간단하지 않습니다.

첫째, 병합 가중치를 최적화하기 위해 기존 모델 병합 방법론에서 흔히 사용되는 test-time adaptation을 적용하기 어렵습니다. 도메인 간 데이터 공유가 금지되어 있기 때문입니다.

둘째, 설령 테스트 데이터에 접근할 수 있더라도 문제가 됩니다. 순차 추천에서 테스트 시퀀스는 학습 시퀀스를 포함하는 상위집합(superset)이기 때문입니다. 사용자의 테스트 이력은 학습 기간의 상호작용에 미래 아이템이 덧붙은 형태이므로, 테스트 시퀀스를 병합에 활용하는 순간 학습 데이터가 노출됩니다. 이는 "학습 데이터를 사용하지 않는다"는 모델 병합의 핵심 가정과 정면으로 충돌합니다.

따라서 저희의 질문은 명확했습니다.

사용자 데이터에 전혀 접근하지 않고도, 추천에 특화된 모델 병합을 수행할 수는 없을까?

Proposed Method: MergeRec

이를 위해 본 연구에서는 추천 시스템을 위한 최초의 태스크 벡터 기반 모델 병합 프레임워크인 MergeRec을 제안합니다. MergeRec은 (1) Merging Initialization, (2) Pseudo-user Data Construction, (3) Collaborative Merging Optimization의 세 가지 핵심 요소로 구성됩니다.

(a) Merging Initialization

• 먼저 태스크 벡터(task vector) 개념을 활용해 초기 병합 모델을 구성합니다. 태스크 벡터는 파인튜닝된 모델과 사전학습 모델의 파라미터 차이로 정의되며, 각 도메인에 특화된 지식의 "방향"을 담고 있습니다. MergeRec은 각 도메인의 태스크 벡터에 도메인별 가중치를 곱해 base 모델에 더하는 방식으로 병합을 초기화합니다.

• 이때 가중치는 도메인 단위(domain-wise)로 하나씩 둘 수도 있고, 층마다 다른 수준의 추상화를 담는다는 점을 고려해 레이어 단위(layer-wise) 로 더 세밀하게 둘 수도 있습니다. MergeRec은 이 가중치들을 데이터 기반으로 학습하되, base 모델과 태스크 벡터 자체는 고정합니다. 최적화 대상이 K개(또는 K×L개)의 스칼라 가중치뿐이므로 매우 효율적입니다.

(b) Pseudo-user Data Construction

• 병합 가중치를 학습하려면 어떤 형태로든 데이터가 필요합니다. 하지만 실제 사용자 데이터는 사용할 수 없습니다. MergeRec의 해법은 놀랍도록 단순합니다. 각 도메인의 아이템 하나하나를 단일 아이템 시퀀스, 즉 가상의 사용자(pseudo-user)로 취급하는 것입니다.

• 이 설계의 핵심 아이디어는, 협업 필터링(CF) 지식이 이미 도메인별 파인튜닝 모델 안에 캡슐화되어 있다는 점입니다. 아이템 하나짜리 시퀀스는 명시적인 순차 정보를 담고 있지 않지만, 이를 도메인 모델에 입력하면 해당 아이템 주변의 co-consumption 구조(다음 아이템 확률 분포)를 이끌어내는 역할을 합니다. 즉, pseudo-user는 각 도메인의 cold-start 사용자를 모사하면서, 실제 사용자 데이터 없이도 CF 신호를 추출할 수 있게 해줍니다.

(c) Collaborative Merging Optimization

• 마지막 단계는 어떤 목적함수로 병합 가중치를 학습할 것인가입니다. 저희는 먼저 대표적인 적응형 병합 기법인 AdaMerging을 추천 관점에서 분석했습니다. AdaMerging은 예측 엔트로피를 최소화하는 방식인데, 실험 결과 엔트로피는 잘 줄어들지만 정작 추천 목적에 해당하는 cross-entropy loss는 함께 줄어들지 않는 현상을 확인했습니다. 엔트로피 최소화는 top-1 예측의 확신만 키울 뿐인데, 실제 사용자는 하나의 지배적 의도가 아닌 다중 의도(multi-intent) 행동 패턴을 보이기 때문입니다. 컴퓨터 비전이나 NLP에서 잘 작동하던 전략이 추천 시스템에서는 근본적으로 실패하는 것입니다.

• 이상적인 병합 추천 모델은 두 가지를 동시에 만족해야 합니다. 첫째, 도메인별 순차 패턴에 반영된 사용자의 다양한 의도를 해석할 수 있어야 하고, 둘째, 각 도메인에서 클릭 확률이 가장 높은 아이템을 정확히 상위에 올리는 랭킹 능력을 갖춰야 합니다. 이를 위해 MergeRec은 두 손실을 결합한 joint objective를 제안합니다.

1) Distillation Loss: 도메인별 파인튜닝 모델을 teacher로 삼아, pseudo-user에 대한 teacher의 예측 분포와 병합 모델의 예측 분포 간 KL divergence를 최소화합니다. → 도메인 모델에 담긴 풍부한 CF 신호를 병합 모델로 전이

2) Recommendation Loss: 각 도메인 모델이 pseudo-user에 대해 예측한 top-1 아이템을 hard label로 활용하여, 병합 모델이 관련 아이템을 정확히 식별하도록 유도합니다. → 랭킹 판별 능력 강화

• 이 두 손실의 조합을 통해 MergeRec은 cross-entropy loss와 prediction entropy를 동시에 낮추며, 추천 목적에 부합하는 방향으로 안정적으로 최적화됩니다.

Experiments

MergeRec은 Amazon의 8개 도메인(Arts, Beauty, Instruments, Office, Pantry, Scientific, Sports, Toys)과 4개 백본(RecFormer-base/large, BLaIR-base/large)에서 Zero-shot, Joint Learning, Weight Averaging, Task Arithmetic, TIES, AdaMerging 등과 비교 평가되었습니다.

주요 결과는 다음과 같습니다.

• MergeRec은 모든 백본에서 평균적으로 가장 높은 성능을 달성했으며, Joint Learning 대비 평균 8.72%, AdaMerging 대비 평균 17.21%의 Recall@10 향상을 보였습니다.

• 흥미롭게도 MergeRec을 포함한 여러 병합 기법이 Joint Learning을 능가했습니다. 이는 도메인 간 학습 데이터 없이도, 파라미터 병합만으로 상호 보완적인 도메인 지식을 효과적으로 통합할 수 있음을 보여줍니다.

• 데이터가 부족한 도메인에서 병합의 효과가 특히 큽니다. 사용자 수가 가장 적은 Scientific 도메인에서 MergeRec은 도메인 전용 파인튜닝 모델의 성능을 오히려 넘어서는 결과(최대 +5.18%)를 보였습니다.]

• 타깃 도메인의 학습 데이터를 1%, 5%, 10%만 사용하는 데이터 희소 시나리오에서도 MergeRec은 파인튜닝 모델과 다른 병합 기법을 일관되게 앞섰습니다.

• 나아가 타깃 도메인의 데이터도, 모델도 전혀 사용하지 않는 unseen domain 평가에서도 가장 높은 성능을 기록하여 강한 일반화 능력을 확인했습니다.

Conclusion

본 연구에서는 도메인 간 사용자 상호작용 데이터를 공유할 수 없는 현실적인 제약을 반영한 새로운 문제 설정, data-isolated CDSR을 정의하고, 이를 해결하기 위한 최초의 추천 특화 모델 병합 프레임워크 MergeRec을 제안했습니다.

MergeRec은 (1) 태스크 벡터 기반의 training-free 병합 초기화, (2) 아이템을 가상 시퀀스로 취급하는 프라이버시 보존형 pseudo-user 데이터 구성, (3) 추천 손실과 지식 증류 손실을 결합한 collaborative merging optimization을 통해, 실제 사용자 데이터에 접근하지 않고도 도메인별 CF 지식을 하나의 범용 모델로 통합합니다.

광범위한 실험을 통해 MergeRec은 기존 병합 기법과 joint learning을 일관되게 능가했으며, 데이터 희소 도메인과 unseen 도메인에서도 강건한 일반화 성능을 보였습니다. 이는 모델 병합이 프라이버시를 보존하면서도 확장 가능한 범용 추천 시스템(universal recommender system) 구축의 유력한 패러다임이 될 수 있음을 보여줍니다. 향후에는 더 긴 pseudo-user 시퀀스 구성 등으로 전이되는 신호를 한층 풍부하게 만드는 방향의 확장이 기대됩니다.

코드는 github에서 확인할 수 있습니다. 전체 논문은 이 곳에서 확인해주세요.