It's Enough: Relaxing Diagonal Constraints in Linear Autoencoders for Recommendation (SIGIR 2023)

09 Jan 2023

Title: It’s Enough: Relaxing Diagonal Constraints in Linear Autoencoders for Recommendation

Authors: Jaewan Moon, Hye-young Kim, and Jongwuk Lee

Conference: The 46th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR) 2023

연구 배경

선형 오토인코더는 볼록 최적화 문제를 통해 항목 간의 가중치 행렬에 대한 폐쇄형 해를 학습합니다.
선형 오토인코더의 볼록 최적화 문제는 일반적으로 L2 정규화 및 0-대각성분 제약조건이라는 두 가지 주요 요소로 구성됩니다.
본 연구에서는 선형 오토인코더의 주요 요소가 추천에 어떤 영향을 미치는 지에 대한 이론적 분석을 수행합니다.

선형 오토인코더(Linear AutoEncoder, LAE) 기반 추천 시스템은 간단한 구조에도 불구하고 다양한 딥 러닝 기반 방법론과 비교하였을 때 주목할만한 성능을 보이고 있습니다. 이러한 선형 오토인코더는 주어진 사용자-항목 상호작용 행렬을 복원할 수 있는 항목 간의 가중치 행렬의 학습을 목표로 합니다. 이는 그림 1과 같이 표현되며, 가중치 행렬은 복원 오차를 최소화하는 볼록 최적화 문제(convex optimization problem)을 통해 구해집니다.

그림 1. 선형 오토인코더 모델을 통한 사용자-항목 상호작용 행렬 복원 과정

볼록 최적화 문제는 복원 과정에서의 제곱 오차 평균(MSE)와 더불어 모델의 과적합(overfitting)을 방지하기 위한 L2 정규화(L2 regularization) 및 0-대각성분 제약조건(zero-diagonal constraints)으로 구성됩니다. 선형 오토인코더의 가중치 행렬을 학습함에 있어 L2 정규화는 가중치의 크기가 작아지도록, 0-대각성분 제약조건은 스스로에 대한 유사도를 고려하지 않도록 강제합니다. 0-대각성분 제약조건은 그림 2와 같이 나타낼 수 있습니다.

그림 2. 선형 오토인코더 모델에서의 0-대각성분 제약조건

하지만, 과적합을 막는 과정이 추천에 어떤 영향을 주는 걸까요? 현재까지 선형 오토인코더 기반 추천 모델에서 정규화 목적 함수와 0-대각성분 제약조건이 추천에 어떤 영향을 주는지 알려지지 않았습니다.

이론적 분석

특이 값 분해를 통해 폐쇄형 해에서 L2 정규화 및 0-대각성분 제약조건의 효과를 항목 그램 행렬과 동일한 고유벡터를 가지는 고유값 분해 형태로 나타낼 수 있습니다.
L2 정규화는 높은 고유값을 가지는 고유벡터를 강조함에 반해, 0-대각성분 제약조건은 낮은 고유값을 가지는 고유벡터의 효과를 추천 과정에서 제외합니다.
주 성분 분석의 관점에서 L2 정규화는 인기도가 높은 항목의 추천을 강화하고, 0-대각제약 조건은 인기도가 낮은 항목의 추천을 억제합니다.

이러한 문제점에 착안하여, 본 연구에서는 엄밀한 이론적 분석을 통해 선형 오토인코더 모델의 두 주요 구성 요소가 추천 과정에서 어떤 영향을 미치는 지를 분석합니다. 본 연구에서는 특이 값 분해 (Singular Value Decomposition, SVD)를 통해 선형 오토인코더 모델의 폐쇄형 해(closed-form solution)를 분석함으로써 선형 오토인코더의 L2 정규화 및 0-대각성분 제약조건이 항목에 대한 그램 행렬(gram matrix) 과 같은 고유벡터를 가지는 고유값 분해(eigendecomposition) 형태로 나타남을 보입니다. 이에 대한 자세한 내용은 논문을 참조해주세요.

그림 3. ML-20M 데이터 셋에서 (a) L2 정규화 및 (b) 0-대각성분 제약조건의 고유값 분포. 가로축의 왼쪽으로 갈수록 항목에 대한 그람 행렬에서 높은 고유값을 가지는 원소를 나타냄.

그림 3는 각각의 고유값 분포를 나타냅니다. 그림 3 (a)로부터 우리는 L2 정규화의 고유값이 상위 순위의 주 성분(principal components, PCs)을 강조하고 있음을 알 수 있습니다. 또한, L2 정규화의 세기가 강해질수록 상위 순위의 주 성분이 더욱 강조됩니다. 또한, 그림 3 (b)는 0-대각성분 제약조건의 고유값이 L2 정규화와 반대로 하위 순위의 주 성분을 강조하고 있음을 나타냅니다. 또한, L2 정규화의 세기가 강해질수록 L2 정규화의 효과가 0-대각성분 제약조건의 효과를 압도할 수 있음을 알 수 있습니다.

더 나아가, 우리는 주 성분 분해(Principal Component Analysis, PCA)를 활용하여 두 주요 구성요소가 추천 과정에서 미치는 영향을 분석합니다. 구체적으로, 고유값의 크기와 포착하고 있는 협업 신호의 상관성을 분석함으로써 그 영향력을 분석합니다. 이러한 관점에서 항목에 대한 그램 행렬 은 항목 간의 공분산에 비례하므로 높은 고유 값을 가지는 주 성분은 인기도가 높은 항목에 대한 강한 협업 신호를, 낮은 고유 값을 가지는 주 성분은 인기도가 낮은 항목에 대한 약한 협업 신호를 포함하게 됩니다.

그림 4. 고유값의 크기에 따라 분리한 고유벡터의 가중치 행렬 구성 요소의 시각화. 왼쪽에서부터 20번째 항목은 인기도가 높은 항목을, 나머지 80개 항목은 인기도가 낮은 항목을 의미함.

그림 4는 고유값과 협업 신호의 상관성을 보여줍니다. 우리는 그림 4 (a)에서 상위 20%의 고유값에 대응하는 고유벡터에 의해 생성된 가중치 행렬을, 그림 4 (b)에서 하위 20%의 고유벡터에 의해 생성된 가중치 행렬을 시각화 합니다. 여기서 우리는 두 가지 사실을 관찰할 수 있습니다. (i) 큰 고유값을 대응하는 고유벡터는 인기도가 높은 항목에 의한 강한 협업 신호를, (ii) 낮은 고유값에 대응하는 고유벡터는 인기도가 낮은 항목에 의한 약한 협업 신호를 나타냅니다.

본 연구에서의 이론적 분석을 요약하자면 다음과 같습니다.

정규화의 세기를 높게 설정하면 인기도가 높은 항목이 강조된 추천이, 정규화를 약하게 설정하면 상대적으로 항목 간의 인기도 편향 정도에 완화된 추천이 제공됩니다.
0-대각성분 제약조건은 인기도가 낮은 항목에 대한 협업 신호를 제거하며, 선형 오토인코더 모델이 인기도 편향을 고려한 추천을 제공하게 강제합니다.

제안 방법

이론적 분석은 (i) L2 정규화는 인기도가 높은 항목의 추천을 강화하고, (ii) 0-대각제약 조건은 인기도가 낮은 항목의 추천을 억제하는 효과가 있음을 확인하였습니다. 따라서, 기존 연구에서 활용되는 선형 오토인코더는 인기도가 낮은 항목의 추천을 지나치게 억제하는 효과가 있다고 볼 수 있습니다. 이러한 한계점에 착안하여, 우리는 Relaxed Linear AutoEncoders (RLAE) 및 Relaxed Denoising Linear AutoEncoders (RDLAE)라고 불리는 대각 부등 제약조건을 활용한 방법론을 제안합니다. RLAE와 RDLAE는 모두 폐쇄형 해를 가지며, 존재하는 선형 오토인코더 추천 모델을 일반화합니다. 이에 대한 자세한 내용은 논문을 참고해주세요.

그림 5. ML-20M 데이터 셋에서 7개 선형 오토인코더 모델에 대한 strong generalization 성능 평가 결과.

실험 결과

본 연구에서는 strong and weak generalization의 두 가지 평가 프로토콜에서 다양한 선형 오토인코더 및 최신 딥 러닝 기반 추천 모델, 그리고 제안 방법 간의 비교를 수행합니다. 제안 방법인 RLAE와 RDLAE는 두 가지 평가 프로토콜 모두에서 기존 선형 오토인코더 모델을 압도하는 성능을 보였으며, 최신 딥 러닝 기반 모델과의 비교에서도 경쟁력 있는 성능을 보였습니다. 특히 제안 방법 RLAE, RDLAE는 strong generalization 평가 프로토콜에서 기존 선형 오토인코더 추천 모델 대비 ML-20M 데이터 셋에서 꼬리(비인기) 항목에 대한 성능 개선 정도가 198.21%, 24.17%로 주목할만한 성능 개선을 보였습니다.

그림 6. (a) ML-20M, (b) Yelp2018 데이터 셋에서 대각성분 제약조건 강도 변화에 따른 RLAE 모델의 성능 변화

또한, 하이퍼파리머터에 따른 성능 평가 결과는 우리의 이론적 분석의 신뢰성을 높여줍니다. 그림 6은 대각성분 제약조건의 강도 변화에 따른 RLAE 모델의 성능 변화를 보입니다. 가로축의 값이 0에 가까울수록 강한 대각성분 제약조건이 선형 오토인코더에 가해집니다. 우리는 대각성분 제약조건이 완화됨에 따라 꼬리 항목의 성능이 개선되고, 머리(인기) 항목의 성능이 하락함을 확인할 수 있습니다.

그림 7. (a) ML-20M, (b) Yelp2018 데이터 셋에서 L2 정규화 강도 변화에 따른 LAE 모델의 성능 변화

그림 7는 L2 정규화 세기 변화에 따른 LAE 모델의 성능을 보입니다. L2 정규화가 강해짐에 따라 머리 항목의 성능은 향상되지만, 꼬리 항목의 성능은 하락하는 것을 확인할 수 있습니다.

결론

SIGIR 2023에서 발표될 “It’s Enough: Relaxing Diagonal Constraints in Linear Autoencoders for Recommendation” 논문을 소개하였습니다. 본 논문에서는 추천 시스템에서 널리 활용되는 선형 오토인코더에 대한 이론적 분석을 기반으로 대각 부등 제약조건을 활용한 간단하지만 효과적인 선형 오토인코더 모델인 Relaxed Linear AutoEncoder (RLAE)와 Relaxed Denoising Linear AutoEncoder (RDLAE)를 제안합니다. 구체적으로 선형 오토인코더는 두 가지 주요 요소인 L2 정규화와 0-대각 제약조건으로 구성된 볼록 최적화 문제를 통해 항목 간의 가중치 행렬을 학습합니다. 두 가지 구성요소는 특이값 분해를 통한 폐쇄형 해의 분석을 통해 항목에 대한 그램 행렬과 동일한 고유벡터를 가지는 고유값 분해 형태로 나타나며, L2 정규화는 높은 고유값에 대응하는 고유벡터를 강조하고, 0-대각 제약조건은 낮은 고유값에 대응하는 고유벡터의 효과를 감소하는 것을 확인하였습니다. 더 나아가, 주 성분 분석을 활용하여 추천 과정에서 L2 정규화는 그 세기가 강해짐에 따라 인기도가 높은 항목에 대한 추천을 강화하고, 0-대각 제약조건은 인기도가 낮은 항목에 대한 추천을 방지하는 효과가 있음을 보였습니다. 이러한 이론적 분석에 기인한 제안 방법은 기존 선형 오토인코더 모델을 일반화하며, 다양한 평가 프로토콜과 6개 벤치마크 데이터 셋에 대하여 존재하는 추천 시스템 모델과 비교하였을 때 우수한 성능을 보였으며, 특히 인기도가 낮은 항목에 대한 성능을 향상합니다.