Forgetting-aware Linear Bias for Attentive Knowledge Tracing 

24 Aug 2023 

  본 문서에서는 CIKM 2023에 게재된 논문 “Forgetting-aware Linear Bias for Attentive Knowledge Tracing ”을 소개합니다. 논문의 상세 정보는 아래와 같습니다.


Knowledge Tracing

지식 추적(Knowledge tracing)은 학습자의 순차적인 과거 문제 풀이 기록을 기반으로 목표 문제의 정오답을 예측하는 과업을 통해 학습자의 숙련도를 모델링합니다. 이러한 지식 추적은 온라인 및 오프라인 교육 시스템에 적용되어 개인화된 교육을 제공할 수 있도록 합니다. 학습자의 숙련도를 정확하게 모델링하기 위해서는 질문 간의 상관관계와 더불어 망각 행동(forgetting behavior) 등과 같은 학습자의 답변 특성을 학습하는 것이 중요합니다.

최근의 지식 추적 과업에서는 다양한 심층신경망 방법론들이 제안되었습니다. 순차 예측(sequential prediction)을 처리하기에 적합한 순환 신경망 구조(Recurrent Neural Network)를 비롯하여, 메모리 증강 모델, 그래프 기반 모델이 포함됩니다. 특히 최근에는 질문의 장기적인 관계를 반영하기 위해 집중 메커니즘 기반 모델(attention-based models)이 주로 연구되며 가장 높은 성능을 내는 것으로 알려져 있습니다.

Motivation

망각 행동(forgetting behavior)이란 시간이 지남에 따른 학습된 행동의 퇴화를 의미합니다. 망각 행동이 학습자의 숙련도에 큰 영향을 미친다는 기존 연구에 따라, 일부 집중 메커니즘 기반의 지식 추적 모델들은 절대적 위치 정보(absolute position embeddings) 대신 상대적 시간 간격 편향(relative time interval bias)을 도입하여 학습자의 망각 행동을 모델링했습니다. 이는 현재 시점에서 오래된 문제 풀이 기록일수록 모델의 집중도를 낮춤으로써 학습자의 기억력이 점진적으로 감퇴하고 있음을 나타냅니다.

Attentive Knowledge Tracing with Forgetting-behavior

그림은 이전 연구를 바탕으로 일반화된 집중 메커니즘 기반 지식 추적 모델의 구조를 보여줍니다. 일련의 문제 풀이 기록들이 입력으로 주어지면, 문제 인코더(Question encoder), 상호작용 인코더(Interaction encoder), 지식 검색기(Knowledge retriever)를 거쳐 학습자의 지식 숙련도에 대한 최종 예측값을 얻습니다. 본 연구에서는 망각 행동이 구현되는 지식 검색기에 초점을 두어 AKT, RKT 모델의 망각 행동 모델링 방법론을 일반화된 수식으로 설명합니다.

AKT의 Mono와 RKT의 RC는 수식 내의 베타(beta), 감마(gamma) 항을 이용하여 목표 문제와 이전 문제 사이의 거리를 집중 점수(attention score) 계산에 활용하였습니다. 


Proposed Method: FoLiBi

본 연구에서는 기존 방법론(예: Mono, RC)에서 문제 풀이 기록이 길어질수록 망각 행동 모델링의 효과가 줄어드는 문제점을 수식적인 측면에서 지적하였습니다. 기존의 방법론들은 상대적 시간 간격 편향 계산에 문제 간의 상관관계가 불필요하게 개입됩니다. 특히 문제 풀이 기록의 길이가 길어질수록 문제 간의 상관관계가 망각 행동을 압도하는 경향을 확인할 수 있었습니다. 본 연구에서는 이를 완화하기 위해 문제 간의 상관관계와 망각 행동을 분리하는 선형 편향 기반의 FoLiBi (Forgetting aware Linear Bias for Attentive Knowledge Tracing)를 제안합니다. FoLiBi는 상대적 위치 임베딩 방법론을 활용하여 선형 편향(linear bias)을 집중 점수에 결합하는 방식을 제안하였습니다. 결과적으로 긴 학습 기록에서 모델의 예측 성능이 더 좋아지는 것을 확인하였습니다.

Experiments

모든 backbone 모델(SAKT, AKT, CL4KT)이 FoLiBi와 함께 사용되었을 때 모든 4가지 데이터 셋(AL05, BR06, AS09, SLPY)에서 가장 높은 AUC 성능을 보여줍니다. FoLiBi는 기존의 집중 메커니즘 기반의 지식 추적 모델에 쉽게 적용될 수 있으며, 간단한 방법임에도 불구하고 최대 2.58%까지 일관되게 AUC를 개선했습니다.

AKT 모델 위에서 3가지 망각 행동 모듈(Mono, RC, FoLiBi)을 추가했을 때, 기록 길이 1~20까지의 집중 가중치를 헤드별로 시각화한 결과를 분석하였습니다. FoLiBi는 다른 방법론들과 달리 10 이상의 긴 길이에 대해서도 상대적으로 가까운 위치에 대한 집중 가중치를 잘 할당하는 경향이 있는 것을 확인합니다. 또한, 다른 방법론들과 달리 FoLiBi가 헤드별로 기록이 가진 복합적인 관계를 포착하는 데 더 도움이 되는 것을 알 수 있었습니다.

제안 방법이 다양한 길이의 기록에 걸쳐 효과를 유지하는지 확인하기 위해 10~300 길이의 동일한 테스트 셋 데이터 위에서 추가 실험을 수행했습니다. FoLiBi는 각 데이터 세트에 대해 두 번째로 우수한 방법을 크게 능가했습니다. 이 관찰은 기록의 길이가 증가함에 따라 FoLiBi의 효과가 두드러지거나 일관성 있게 유지된다는 것을 강조합니다.


Conclusion

본 연구는 기존의 집중 메커니즘 기반 지식 추적 모델에서 망각 행동의 수식적인 한계를 분석합니다. 누적된 문제 풀이 기록들 중 가장 오래된 기록일수록 문제 간의 상관관계는 망각 행동의 영향에 비해 불균형적으로 강조됩니다. 이 문제를 해결하기 위해 본 연구는 망각 행동을 문제 상관관계 계산과 분리된 선형 편향으로 나타내는 FoLiBi를 제안합니다. 다양한 실험 데이터 위에서 광범위한 실험을 통해 FoLiBi는 단순한 구현 방법으로 이전 지식 추적 모델에 쉽게 연결되어 뛰어난 성능을 보여주었습니다.