[논문 읽기] RoBERTa: A Robustly Optimized BERT Pretraining Approach
RoBERTa: A Robustly Optimized BERT Pretraining Approach 0. Abstract언어 모델의 pre-training은 성능 향상을 가져왔지만, 서로 다른 언어 모델의 pre-training 방법을 직접적으로 비교하는 것은 어려움. (각 모델의 성능을 평가하거나 비교할 때 데이터셋의 규모나 품질이 다르기 때문)이 논문에서는 BERT pre-training의 효과를 확인하고 핵심 하이퍼파라미터 및 학습 데이터셋 크기의 영향을 측정하는 복제 연구를 진행한다. (replication study : 특정 연구의 결과를 확인하거나 재현하기 위해 이전 연구를 다시 수행하는 과정을 말함.)이 연구에서는 BERT가 실제로 충분히 훈련되지 않았으며, 이를 개선한 모델이 RoBERTa..
부스트캠프
2023. 12. 18. 11:28