✍🏼 요약
🔒 Problem
- 일반적으로 Continual-pretraining을 한다면 새로운 Document에 대해서 Pretraining을 하고 QA Pair를 학습시킨다.
- 그러나 새로운 Doc에 대해서 굉장히 낮은 Perplexity를 갖고 있더라도 실제 QA는 잘 못하는 경우도 있다.(Perplexity curse)
🔑 Main Ideas
📈 Results
-
[Paper Review] (작성중) 2402 Instruction-tuned Language Models are Better Knowledge Learners
Zhengbao Jiang et al, Meta