Anthropic는 개발자들이 AI 프롬프트를 생성, 테스트 및 평가할 수 있는 새로운 기능을 개발자 콘솔에 추가했습니다. Claude 3.5 Sonnet은 사용자가 작업을 설명하면 이를 고품질 프롬프트로 변환해주는 내장 프롬프트 생성기를 도입했습니다. 예를 들어, 고객 지원 요청을 분류하거나 온콜 엔지니어를 호출하는 작업을 설명하면 Claude가 이를 위한 프롬프트를 생성합니다.

새로운 테스트 케이스 생성 기능은 프롬프트에 대한 입력 변수를 생성할 수 있으며, 사용자는 이를 통해 Claude의 응답을 확인할 수 있습니다. 또한, 새로운 평가 기능을 통해 여러 입력을 사용하여 프롬프트를 테스트할 수 있습니다. 테스트 케이스는 수동으로 추가하거나 CSV 파일에서 가져오거나 Claude가 생성할 수 있으며, 콘솔 내에서 수정할 수 있습니다. 모든 테스트 케이스는 한 번의 클릭으로 실행할 수 있습니다.

테스트가 완료되면 사용자는 프롬프트의 새로운 버전을 생성하고 테스트를 반복할 수 있습니다. 또한, 두 개 이상의 프롬프트를 나란히 비교하고, 전문가가 응답 품질을 1•5 점으로 평가하여 변경 사항이 응답 품질을 개선했는지 확인할 수 있습니다. Anthropic는 블로그 게시물에서 "AI 기반 애플리케이션을 구축할 때 프롬프트 품질이 결과에 큰 영향을 미친다"며, "개발 속도를 높이고 결과를 개선하기 위해 이 과정을 간소화했다"고 밝혔습니다.