임윤진 석사 졸업생, 최은성 석박통합과정, 국희진 석사과정 CIKM 2023 국제 학술대회 논문 채택

07 Aug 2023

DIAL 연구실 소속 인공지능학과 임윤진(석사 졸업생, 공동 1저자), 최은성(석·박통합과정, 공동 1저자) 학생, 국희진(석사과정, 제3저자) 학생, 이종욱(교신저자) 교수가 참여한 “Forgetting-aware Linear Bias for Attentive Knowledge Tracing” 논문이 데이터마이닝 분야 최우수 국제 학술대회인 ACM International Conference on Information and Knowledge Management (CIKM 2023, shprt paper)에 최종 게재가 승인되었으며 오는 10월에 발표될 예정입니다.

지식 추적은 학습자의 순차적인 과거 문제 풀이 기록을 기반으로 새로운 목표 문제의 정오답을 예측하는 과업을 통해 숙련도를 모델링합니다. 학습자의 숙련도를 정확히 예측하기 위해서는 문제 간의 상관관계와 학습자의 특성(예: 망각 행동)을 학습하는 것이 중요합니다. 따라서 일부 집중 메카니즘(attention mechanism) 기반의 지식 추적 모델들은 절대적 위치 정보(absolute position embeddings) 대신 상대적 시간 간격 편향(relative time interval bias)을 도입하여 학습자의 망각 행동(forgetting behavior)을 모델링했습니다. 이는 현재 시점에서 오래된 문제 풀이 기록일수록 모델의 집중도를 낮춤으로써 망각 행동을 구현합니다.
하지만 기존 방법론들은 문제 풀이 기록이 길어질수록 망각 행동 모델링의 효과가 줄어드는 문제가 나타납니다. 본 연구에서는 일반화된 수식 분석을 통해 기존의 상대적 시간 간격 편향 계산에 문제 간의 상관관계가 불필요하게 개입된다고 판단하고, 이를 해결하기 위해 서로를 분리할 수 있는 선형 편향 기반의 FoLiBi (Forgetting aware Linear Bias for Attentive Knowledge Tracing)를 제안합니다.
제안하는 방법론은 기존의 집중 메카니즘 기반의 지식 추적 모델에 쉽게 적용될 수 있으며, 간단한 방법임에도 불구하고 4개의 벤치마크 데이터 세트에서 최신 지식추적 모델에 비해 최대 2.58%까지 일관되게 AUC를 개선했습니다.

Knowledge Tracing (KT) aims to track proficiency based on a question-solving history, allowing us to offer a streamlined curriculum. Recent studies actively utilize attention-based mechanisms to capture the correlation between questions and combine it with the learner’s characteristics for responses. However, our empirical study shows that existing attention-based KT models neglect the learner’s forgetting behavior, especially as the interaction history becomes longer. This problem arises from the bias that overprioritizes the correlation of questions while inadvertently ignoring the impact of forgetting behavior. This paper proposes a simple-yet-effective solution, namely Forgetting-aware Linear Bias (FoLiBi), to reflect forgetting behavior as a linear bias. Despite its simplicity, FoLiBi is readily equipped with existing attentive KT models by effectively decomposing question correlations with forgetting behavior. FoLiBi plugged with several KT models yields a consistent improvement of up to 2.58% in AUC over state-of-the-art KT models on four benchmark datasets.