답변 평가

1. 도구 정의

답변 평가는 LLM이 생성한 응답의 품질에 대하여 평가할 때 사용합니다. 해당 평가는 특정 평가(높고 낮음)의 구분되는 정량적 평가와 텍스트 기입을 통한 정성적 평가를 할 수 있습니다.

2. 도구 사용 방법

2-1. 프로젝트 생성 시 라벨링 유형 설정

1. 클래스 유형의 '답변'을 선택한다.
2. 클래스의 '코드'와 '이름'을 설정한다.
3. 속성에 '답변 정확도' 입력, 위젯은 '단일 선택'을 선택한다.
4. 적절한 코드명을 입력하고 이름에 '평가 수준'을 입력한다.

📘

답변 평가 예시

• “한국의 수도는 부산입니다” → 정확도 낮음
• “서울은 한국의 수도입니다” → 정확도 높음

2-2. 프롬프트 어노테이터 내 라벨링 방법

1. 질문-답변(Turn) 선택 후, OUT PUT 영역의 특정 답변의 우측 상단 라벨 버튼을 클릭합니다.

2. 라벨링 영역의 답변 평가에 대한 적절한 클래스 및 속성을 선택한다.