답변 평가

📘

답변 평가

답변 평가는 LLM이 생성한 응답의 품질에 대하여 평가할 때 사용합니다. 해당 평가는 특정 평가(높고 낮음)의 구분되는 정량적 평가와 텍스트 기입을 통한 정성적 평가를 할 수 있습니다.

도구 사용 방법

프로젝트 생성 시 라벨링 유형 설정

① 클래스 유형의 '답변'을 선택합니다.

② 클래스의 '코드'와 '이름'을 설정합니다.

③ 속성에 '답변 정확도' 입력, 위젯은 '단일 선택'을 선택합니다.

④ 적절한 코드명을 입력하고 이름에 '평가 수준'을 입력합니다.

👍

답변 평가 예시

• “한국의 수도는 부산입니다” → 정확도 낮음
• “서울은 한국의 수도입니다” → 정확도 높음

프롬프트 어노테이터 내 라벨링 방법

① 질문-답변(Turn) 선택 후, OUT PUT 영역의 특정 답변의 우측 상단 라벨 버튼을 클릭합니다.

② 라벨링 영역의 답변 평가에 대한 적절한 클래스 및 속성을 선택합니다.