[WWDC26] Evaluations를 사용한 점진적 개선 방식으로 프롬프트 향상하기

짧은인사, 하루의 사건, 나의 행동

ToDo
✅ Evaluations로 프롬프트 개선하기
✅ 감으로 수정하지 않기

이번 세션은 Evaluations를 사용해서 프롬프트를 점진적으로 개선하는 방법입니다.

AI 기능 만들 때 제일 위험한게 뭔지 아십니까.

“오 이번엔 답변 괜찮은데?” 하고 넘어가는 것입니다 ㅋㅋ

한두개 예제에서는 좋아보이는데, 다른 입력에서는 갑자기 이상해지는 경우가 많습니다. 프롬프트 한 줄 바꿨을 뿐인데 어느 부분이 좋아지고 어느 부분이 망가졌는지 알기 어렵습니다.

그래서 Evaluations가 필요하다고 합니다.

배운점

프롬프트도 테스트 대상이다

세션에서 제일 크게 느낀건 프롬프트도 코드처럼 다뤄야 한다는 점입니다.

앱 로직을 바꾸면 테스트를 돌리듯이, 프롬프트를 바꾸면 평가를 돌려야 합니다.

왜냐하면 프롬프트는 사실상 AI 기능의 로직이기 때문입니다.

“조금 더 친절하게 답해줘” 같은 문장 하나만 바꿔도 결과의 길이, 어투, 정확도, 도구 호출 방식이 달라질 수 있습니다.

Progressive Improvement

세션 제목에 있는 점진적 개선이라는 말이 좋았습니다.

AI 기능은 한 번에 완성하기 어렵습니다. 실제 사용자가 어떤 말을 할지도 모르고, 모델이 어떤 부분에서 실수할지도 처음엔 잘 모릅니다.

그래서 평가 데이터를 준비하고, 프롬프트를 조금씩 바꾸면서 결과가 실제로 좋아지는지 확인해야 합니다.

감으로 수정하지 말자.. 라는 느낌입니다.

평가 기준

평가를 하려면 기준이 필요합니다.

예를 들어 요약 기능이라면 핵심 정보를 빠뜨리지 않아야 하고, 추천 기능이라면 사용자의 조건을 어기면 안됩니다.

도구 호출이 들어가는 기능이라면 올바른 도구를 호출했는지도 봐야 합니다.

즉 “답변이 자연스럽다”만으로는 부족합니다.

생각과 감정

이 세션을 보면서 AI 기능도 결국 테스트 코드가 필요하구나 싶었습니다.

처음엔 모델이 알아서 잘해주겠지? 라고 생각할 수 있는데, 제품에 넣으려면 그렇게 못합니다.

특히 사용자가 많아질수록 엣지 케이스가 늘어나고, 그때마다 프롬프트를 감으로 만지면 언젠가 터질 것 같습니다.

Evaluations는 아직 낯설지만, AI 기능을 진지하게 넣으려면 꼭 봐야하는 흐름인 것 같습니다.

원문 세션
https://developer.apple.com/kr/videos/play/wwdc2026/335