7-4. 프롬프트 도구

프롬프트 도구

프롬프트 도구는 LLM(대규모 언어 모델)의 응답에 대해 라벨링을 수행하는 도구로, 대화 턴(turn) 단위로 라벨링할 수 있습니다.

input-output 한 쌍으로 구성된 대화 묶음인 ‘턴(turn)’ 단위로 라벨링을 수행하며, 주고받은 대화 자체를 평가하거나 분류할 때 사용됩니다. 또한, 여러 모델의 응답을 비교하거나, 각 모델의 응답을 조합해 새로운 답변을 직접 작성할 때도 활용할 수 있습니다.

예를 들어 여러 모델이 생성한 답변 중 가장 선호하는 답변을 선택하거나, output을 조합하여 하나의 새로운 답변을 직접 작성할 때 활용합니다.

프롬프트 어노테이터에서 지원하는 주요 도구의 기능은 다음과 같이 분류됩니다.

라벨링 도구

• 질문/답변 유형 분류 : 사용자와 LLM 간의 대화에서 질문과 답변의 유형을 분류할 때 사용합니다.
• 답변 평가 : LLM이 생성한 응답의 품질을 평가할 때 사용합니다.
• 대화 요약 : 여러 턴으로 이루어진 사용자와 LLM 간의 대화를 간결하게 요약할 때 사용합니다.
• 대화 유형 분류 : 사용자와 LLM 간의 대화의 유형을 분류할 때 사용합니다.
• 다중 응답 비교 : 동일한 질문에 대해 여러 LLM이 생성한 응답을 비교하고, 그 중 가장 적절한 응답을 선택하거나 우선순위를 매길 때 사용합니다.

질문-답변 수정 도구

• 답변 수정/보정 : LLM의 응답을 사람이 직접 수정하거나 보정하여 재작성할 때 사용합니다.
• 프롬프트 리라이팅(재작성) : 사용자의 입력 문장을 더 명확하고 효과적인 질문이나 명령문으로 재작성할 때 사용합니다. 특정 키워드 삽입, 어투 수정 등이 필요한 경우 활용됩니다. 질문 재작성 후에 해당 질문에 대한 답변을 새로 받거나 기존 답변을 그대로 유지할 수 있습니다.
• 답변 재생성 : LLM의 응답이 오답이거나 질문의 의도와 동떨어진 경우, 해당 응답이 생성되기까지의 대화 턴 일부/전부를 삭제하고 수정된 맥락을 기준으로 새로운 답변을 생성하는 기능입니다.

📘

프롬프트 도구별 기능 활용 Tip

기존 어노테이터는 각 라벨링 유형에 맞춰 정해진 기능만 사용하는 구조인 반면, 프롬프트 어노테이터는하나의 라벨링 틀 안에서 여러 기능을 조합해 사용할 수 있도록 설계되었습니다. 매뉴얼에서는 이러한 구조적 차이를 이해하고, 프롬프트 기능을 보다 효과적으로 활용할 수 있도록 각 라벨링 유형에 따른 설정 방법과 함께, 사용 가능한 주요 기능들을 설명합니다.