[논문리뷰] 'MLP-Mixer: An all-MLP Architecture for Vision' 리뷰 + 구현(PyTorch)

• MLP-Mixer는 MLP만을 사용해 이미지 분류를 수행하는 논문으로, 간단한 구조와 적은 파라미터 수로 인해 낮은 진입장벽을 가지고 있다.

• MLP-Mixer의 장점은 데이터 압축이 없어 정보 손실이 적고, 메모리 점유율이 낮으며, 주류 네트워크와 비슷한 성능을 보여준다.

• MLP-Mixer의 구조는 간단하여 구현이 쉽다. 입력 이미지를 S개의 Image Patch로 나눈 후, 크기가 C인 토큰으로 만들어 Mixer Layer에 넣는다.

• 구현 과정에서 입력 데이터의 형태를 고려하고, 적절한 C 값을 설정하여 모델의 성능을 최적화한다.