프롬프트 도구는 LLM(대규모 언어 모델)의 응답에 대해 라벨링을 수행하는 도구로, 대화 턴(turn) 단위로 라벨링할 수 있습니다.
input-output 한 쌍으로 구성된 대화 묶음인 ‘턴(turn)’ 단위로 라벨링을 수행하며, 주고받은 대화 자체를 평가하거나 분류할 때 사용됩니다. 또한, 여러 모델의 응답을 비교하거나, 각 모델의 응답을 조합해 새로운 답변을 직접 작성할 때도 활용할 수 있습니다.
예를 들어 여러 모델이 생성한 답변 중 가장 선호하는 답변을 선택하거나, output을 조합하여 하나의 새로운 답변을 직접 작성할 때 활용합니다.
프롬프트 어노테이터에서 지원하는 주요 도구의 기능은 다음과 같이 분류됩니다.
라벨링 도구
프롬프트 라벨링 도구는 사용자와 LLM 대화 간 어노테이션을 생성하는데에 직접적으로 기여하는 도구입니다. 프롬프트 어노테이터에서 활용할 수 있는 라벨링 방식(도구)은 5가지가 있습니다.
질문/답변 유형 분류
사용자와 LLM 간의 대화에서 질문과 답변의 유형을 분류할 때 사용합니다.
답변 평가
LLM이 생성한 응답의 품질을 평가할 때 사용합니다.
대화 요약
여러 턴으로 이루어진 사용자와 LLM 간의 대화를 간결하게 요약할 때 사용합니다.
대화 유형 분류
사용자와 LLM 간의 대화의 유형을 분류할 때 사용합니다.
다중 응답 비교
동일한 질문에 대해 여러 LLM이 생성한 응답을 비교하고, 그 중 가장 적절한 응답을 선택하거나 우선순위를 매길 때 사용합니다.
질문-답변 수정 도구
질문-답변 수정 도구는 생성 결과(질문-답변)에 대한 편집 기능입니다. 별도의 라벨링 설정없이 어노테이터 자체에서 바로 사용가능한 내장 기능입니다.
질문-답변 수정 도구
LLM의 응답을 사용자가 직접 수정하거나 보정하여 재작성할 때 사용합니다.
프롬프트 리라이팅(재작성)
사용자의 입력 문장을 더 명확하고 효과적인 질문이나 명령문으로 재작성할 때 사용합니다. 특정 키워드 삽입, 어투 수정 등이 필요한 경우 활용됩니다. 질문 재작성 후에 해당 질문에 대한 답변을 새로 받거나 기존 답변을 그대로 유지할 수 있습니다.
답변 재생성
LLM의 응답이 오답이거나 질문의 의도와 동떨어진 경우, 해당 응답이 생성되기까지의 대화 턴 일부/전부를 삭제하고 수정된 맥락을 기준으로 새로운 답변을 생성하는 기능입니다.
👍
프롬프트 도구별 기능 활용 Tip
기존 어노테이터는 각 라벨링 유형에 맞춰 정해진 기능만 사용하는 구조인 반면, 프롬프트 어노테이터는하나의 라벨링 틀 안에서 여러 기능을 조합해 사용할 수 있도록 설계되었습니다. 매뉴얼에서는 이러한 구조적 차이를 이해하고, 프롬프트 기능을 보다 효과적으로 활용할 수 있도록 각 라벨링 유형에 따른 설정 방법과 함께, 사용 가능한 주요 기능들을 설명합니다.
