아이폰14에서 GPT 3.5 수준 가능... Microsoft 발표 Phi-3가 On-Device AI 를 가속화하는 기술적인 이유!

• 마이크로소프트는 소형 언어 모델인 파이 3를 발표했으며, 이는 온디바이스 AI 구동이 가능하다. 이 모델은 3.8 빌리언(38억) 개의 모델로 이루어져 있지만, GPT 3.5와 비슷한 성능을 보여준다.

• 파이 3는 4비트 양자화를 통해 메모리 사용량을 줄이고 레이턴시를 감소시키는 기술을 사용한다. 이를 통해 아이폰의 A16 바이오닉 칩에서 초당 12개의 토큰을 생성할 수 있다.

• 파이 3는 작은 모델임에도 불구하고 높은 성능을 보여주며, 이는 온디바이스 AI의 발전을 보여준다. 또한, 이 모델은 개인 정보 보호와 같은 이슈를 해결할 수 있어 주목받고 있다.