![logo](https://static.codenary.co.kr/company-logo/1376.png)
BERT보다 10배 빠른 BERT 모델 구축
코드너리 | 2021. 11. 17
ML 파이프라인
머신러닝
사용된 기술:
![tensorflow-image](https://image.wanted.co.kr/optimize?src=https://static.codenary.co.kr/framework_logo/tensorflow.png&w=100&q=90)
![pytorch-image](https://image.wanted.co.kr/optimize?src=https://static.codenary.co.kr/framework_logo/pytorch.png&w=100&q=90)
내용:
BERT는 NLP 분야에서 SOTA 모델이지만 학습하는데 많은 시간과 컴퓨팅 리소스가 필요합니다. 기존 BERT 대비 10배 더 빠르게 학습시키고 성능도 더 좋은 모델을 구축할 수 있었던 이유와 실제 서빙까지의 경험을 공유하고자 합니다.
BERT는 NLP 분야에서 SOTA 모델이지만 학습하는데 많은 시간과 컴퓨팅 리소스가 필요합니다. 기존 BERT 대비 10배 더 빠르게 학습시키고 성능도 더 좋은 모델을 구축할 수 있었던 이유와 실제 서빙까지의 경험을 공유하고자 합니다.