구글 딥마인드가 텍스트•이미지 생성 인공지능(AI) 모델의 성능을 평가하는 벤치마크 '젝코(Gecko)'를 공개했다. 이 벤치마크는 텍스트에서 이미지로 생성하는 모델이 주어진 프롬프트와 일치하는 이미지를 생성하는지 평가하며, 2000개의 텍스트 프롬프트를 제공해 모델의 이미지 생성 퀄리티를 떨어뜨리는 정확한 약점을 찾아낸다.

젝코 프레임워크는 포괄적인 기술 중심의 벤치마크 데이터셋, 다양한 템플릿에 걸친 폭넓은 인간 주석, 개선된 자동 평가 메트릭, 다양한 기준에서 모델 성능에 대한 통찰력을 제공한다. 또한, 10만건 이상의 인간 평가를 수집해 모델의 한계, 모호한 프롬프트, 일관되지 않은 평가 방법으로 인해 성능 차이가 나타나는지를 구분해 낼 수 있다.