DIAL 연구실 소속 인공지능학과 박성민(석·박통합과정, 제1저자) 학생, 윤민철(석사과정, 제2저자) 학생, 이재웅(박사 졸업생, 제3저자) 박사, 박호건(제4저자) 교수, 이종욱(교신저자) 교수가 참여한 “Toward a Better Understanding of Loss Functions for Collaborative Filtering” 논문이 데이터마이닝 분야 최우수 국제 학술대회인 ACM International Conference on Information and Knowledge Management (CIKM 2023)에 최종 게재가 승인되었으며 오는 10월에 발표될 예정입니다.
본 연구는 추천 시스템의 한 축인 협업 필터링(Collaborative filtering)에서 사용하는 다양한 손실함수(Loss function) 간의 수식적인 관계를 분석하고, 이 관계를 기반으로 새로운 손실함수를 제안합니다. 협업 필터링은 최신 추천 시스템에서 핵심적인 기술이며, 협업 필터링 모델의 학습 과정은 일반적으로 상호작용 인코더, 손실 함수, 네거티브 샘플링의 세 가지 구성 요소로 이루어집니다. 기존의 많은 연구에서 정교한 상호작용 인코더를 설계하기 위해 다양한 협업 필터링 모델을 제안했지만, 최근 연구에서는 단순히 손실 함수를 교체하는 것만으로도 큰 성능 향상을 달성할 수 있음을 보여주고 있습니다. 이 논문에서는 기존 손실 함수 간의 관계를 분석하여, 기존의 손실 함수들을 정렬(Alignment) 및 균일(Unifomrity)으로 해석할 수 있음을 밝혀냈습니다. (i) 정렬은 사용자와 항목 표현을 일치시키고, (ii) 균일은 사용자와 항목 분포를 분산시키는 역할을 합니다. 이 분석에서 영감을 얻어 데이터셋의 고유한 패턴을 고려하여 정렬과 균일성의 설계를 개선하는 새로운 손실 함수(Margin-aware Alignment and Weighted Uniformity, MAWU)를 제안합니다. (i) Margin-aware Alignment(MA)는 사용자/아이템별 인기도 편향을 완화하고, (ii) Weighted Uniformity(WU)는 데이터셋의 고유한 특성을 반영하기 위해 사용자 및 항목 균일성을 조정합니다. 실험 결과, MAWU를 탑재한 MF와 LightGCN은 세 가지 벤치마크 데이터셋에서 다양한 손실 함수를 사용하는 최신 협업 필터링 모델과 비슷하거나 더 우수한 것으로 나타났습니다.
Collaborative filtering (CF) is a pivotal technique in modern recommender systems. The learning process of CF models typically consists of three components: interaction encoder, loss function, and negative sampling. Although many existing studies have proposed various CF models to design sophisticated interaction encoders, recent work shows that simply reformulating the loss functions can achieve significant performance gains. This paper delves into analyzing the relationship among existing loss functions. Our mathematical analysis reveals that the previous loss functions can be interpreted as alignment and uniformity functions: (i) the alignment matches user and item representations, and (ii) the uniformity disperses user and item distributions. Inspired by this analysis, we propose a novel loss function that improves the design of alignment and uniformity considering the unique patterns of datasets called Margin-aware Alignment and Weighted Uniformity (MAWU). The key novelty of MAWU is two-fold: (i) margin-aware alignment (MA) mitigates user/item-specific popularity biases, and (ii) weighted uniformity (WU) adjusts the significance between user and item uniformities to reflect the inherent characteristics of datasets. Extensive experimental results show that MF and LightGCN equipped with MAWU are comparable or superior to state-of-the-art CF models with various loss functions on three public datasets.