EMNLP 2023 후기 by Youngbin, Jiwoo, Sunkyung, and Minjin 

13 Dec 2023 

저희 연구실에서는 올해 EMNLP에서 총 2편의 논문을 발표하게 되어 싱가포르에 다녀오게 되었습니다. 

Jiwoo Kim, Youngbin Kim, Ilwoong Baek, JinYeong Bak, and Jongwuk Lee. 2023. It Ain’t Over: A Multi-aspect Diverse Math Word Problem Dataset. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pages 14984–15011, Singapore. Association for Computational Linguistics. 

Sunkyung Lee, Minjin Choi, and Jongwuk Lee. 2023. GLEN: Generative Retrieval via Lexical Index Learning. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pages 7693–7704, Singapore. Association for Computational Linguistics. 

다양한 연구자들과 얘기하고 서로의 연구를 공유할 수 있었던 좋은 기회였습니다.

Our Papers

우리 연구실에서는 2편 논문을 main conference에 발표했습니다. 

이선경 박사과정은 생성 모델을 활용하여 문서 검색을 수행하는 “GLEN: Generative Retrieval via Lexical Index Learning”을 발표했고, 김지우 박사과정은 대규모 언어 모델의 수학적 추론 능력을 분석하고, 이를 개선할 수 있는 새로운 데이터셋을 제안하는 “It Ain’t Over: A Multi-aspect Diverse Math Word Problem Dataset”을 발표하였습니다.

Papers in EMNLP 2023

학회에서 여러 발표를 들으며,  인상 깊었던 몇몇 연구를 간략히 공유드리려 합니다.

• Ronak Pradeep, Kai Hui, Jai Gupta, Adam Lelkes, Honglei Zhuang, Jimmy Lin, Donald Metzler, and Vinh Tran. 2023. How Does Generative Retrieval Scale to Millions of Passages? 

최근 제안된 많은 생성 문서 검색 (generative document retrieval) 관련 연구는 하나의 모델로 검색의 전 과정을 수행하는 새로운 검색 패러다임을 제시하였지만, 전통적인 검색 모델과의 성능 비교를 작은 모델 사이즈와 작은 데이터 사이즈에 대해서 검증하는 데에 그쳤다는 한계를 가집니다. 이를 해결하기 위해,  880만 개의 대용량 문서 데이터셋과 110억 개의 파라미터를 가진 모델에 대해서 다양한 기존 생성 검색모델의 성능을 실험적으로 분석한 연구입니다. 이 연구는 학계에 생성 검색의 현재 상태를 명확히 하는 데에 도움을 주었다는 것에 큰 의미가 있으며, 향후 생성 검색 모델을 발전시키는 데에 많은 영감을 주었을 것으로 보입니다.

• Konstantin Dobler and Gerard de Melo. 2023. FOCUS: Effective Embedding Initialization for Monolingual Specialization of Multilingual Models. 

많은 언어모델이 리소스가 많은 몇몇 언어에 대해 학습이 되어있는데 리소스가 적은 언어에 언어 모델을 어떻게 효과적으로 적용할지에 대한 연구입니다. 해당 연구는 기존에 학습된 임베딩을 최대한 활용하여 새로운 언어에 대한 임베딩을 초기화하는 FOCUS라는 방법을 제안하며, FOCUS로 임베딩 초기화시, 랜덤 초기화 및 기존 연구 (WECHSEL; NAACL ’22) 대비 높은 성능을 보입니다.

• Shibo Hao, Yi Gu, Haodi Ma, Joshua Hong, Zhen Wang, Daisy Wang, and Zhiting Hu. 2023. Reasoning with Language Model is Planning with World Model.

전략적으로 계획을 세워야 하는 문제를 해결하기 위해서 거대 언어 모델을 세계 모델(World Model)과 추론 agent로 사용하는 연구입니다. 거대 언어 모델은 사고사슬(Chain-of-Thought) 프롬프팅을 사용하면서 추론 성능이 비약적으로 향상되는 모습을 보였습니다. 하지만 이러한 autoregressive decoding 방식은 실제로 사람이 추론하는 방식과는 상이하여, 여러 단계 및 시나리오를 가정하고 상상하여 최종적인 결론을 내리는 것이 불가능하다는 단점이 있습니다. 그러한 한계를 극복하기 위해 이 논문에서는 거대 언어 모델이 문제를 해결하기 위한 전략/계획을 수립하는 세계 모델(World Model)로 기능하게 함과 동시에, 그 계획에 따라 문제를 수립하는 추론 agent로 기능하게 함으로써 전략적인 사고를 요구하는 여러 데이터셋에서 높은 성능을 얻을 수 있다는 점을 보이고 있습니다.

• Almog Gueta, Elad Venezian, Colin Raffel, Noam Slonim, Yoav Katz, and Leshem Choshen. 2023. Knowledge is a Region in Weight Space for Fine-tuned Language Models

지금까지 주로 신경망에 대한 연구는 단일 데이터셋(single dataset)에서 훈련된 단일 모델(single model)을 이해하는 데 집중하였습니다. 그 결과 서로 다른 모델, 특히 서로 다른 데이터셋에서 훈련되거나 평가된 모델 간의 관계에 대해서는 상대적으로 알려진 바가 거의 없습니다. 이 논문은 미세 조정된 모델(fine-tuned model)의 weight space에 대해 분석하여 모델 간 관계에 대해 설명하고 있습니다. 가장 주목할만한 부분은 weight space 상에서 태스크(task) 별로 클러스터(cluster)를 구분지을 수 있다는 것입니다. 또한, 이 클러스터 안 어느 곳에 weight가 위치되어 있어도 높은 성능을 발휘하기 때문에, 학습 없이도 새로운 성능의 모델에 도달할 수 있다는 점입니다.

Enjoy EMNLP & Singapore