BERT 논문 정리(리뷰)- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding paper review

* 관련 기술 스택이 없습니다

• BERT는 자연어 처리 분야의 논문으로, Deep Bidirectional Transformer 구조를 가지고 있으며, Pre-trained 후 fine-tuning하는 구조입니다.

• 주요 기술인 Masked Language Model(MLM)은 입력 토큰을 무작위로 마스킹 처리한 후 원본 단어를 예측하며, 이를 통해 양방향 표현을 학습합니다.

• BERT는 양방향 사전 훈련 언어 모델의 중요성을 강조하며, 다층 양방향 Transformer 인코더를 사용하여 다양한 자연어 처리 작업에 통일된 아키텍처를 제공한다.

• BERT는 사전 훈련과 정교화 두 단계로 구성되며, 사전 훈련에서는 무레이블 데이터를 사용하고, 정교화 단계에서는 하류 작업의 레이블 데이터를 사용하여 파라미터를 미세 조정한다.

지금 바로 읽기