7-4. 프롬프트 도구
프롬프트 라벨링 도구의 종류
프롬프트 도구로 LLM(대규모 언어 모델)의 응답을 대화 턴(turn) 단위로 라벨링, 평가, 수정하는 방법을 확인합니다.
프롬프트 도구 정의프롬프트 도구는 input-output 한 쌍으로 구성된 대화 묶음인 턴(turn) 단위로 라벨링을 수행합니다.
주고받은 대화 자체를 평가하거나 분류할 때 사용하며, 여러 모델의 응답을 비교하거나 각 모델의 응답을 조합해 새로운 답변을 직접 작성할 때도 활용할 수 있습니다.
라벨링 도구
사용자와 LLM 대화 간 어노테이션을 생성할 때 아래 5가지 라벨링 방식을 사용합니다.
사용자와 LLM 간 대화에서 질문과 답변의 유형을 분류합니다.
LLM이 생성한 응답의 품질을 평가합니다.
여러 턴으로 이루어진 사용자와 LLM 간의 대화를 간결하게 요약합니다.
사용자와 LLM 간 대화의 유형을 분류합니다.
동일한 질문에 대해 여러 LLM이 생성한 응답을 비교하고, 가장 적절한 응답을 선택하거나 우선순위를 매깁니다.
질문-답변 수정 도구
생성 결과(질문-답변)를 편집할 때 사용하는 내장 기능입니다. 별도의 라벨링 설정 없이 어노테이터에서 바로 사용할 수 있습니다.
LLM의 응답을 직접 수정하거나 보정하여 재작성합니다.
사용자의 입력 문장을 더 명확하고 효과적인 질문이나 명령문으로 재작성합니다. 특정 키워드를 삽입하거나 어투를 수정해야 할 때 활용합니다.
질문을 재작성한 뒤에는 해당 질문에 대한 답변을 새로 받거나 기존 답변을 유지할 수 있습니다.
LLM 응답이 오답이거나 질문 의도와 동떨어진 경우에 사용합니다. 해당 응답이 생성되기까지의 대화 턴 일부 또는 전부를 삭제하고, 수정된 맥락을 기준으로 새 답변을 생성합니다.
이미지 입력
텍스트뿐 아니라 이미지를 함께 LLM에 전달하는 대화를 구성할 수 있습니다. 프롬프트 입력 시 이미지를 추가하며, 이미지는 최대 10장까지 추가할 수 있습니다.
프롬프트 도구별 기능 활용 Tip기존 어노테이터는 각 라벨링 유형에 맞춰 정해진 기능만 사용하는 구조인 반면, 프롬프트 어노테이터는 하나의 라벨링 틀 안에서 여러 기능을 조합해 사용할 수 있도록 설계되었습니다.
매뉴얼에서는 이러한 구조적 차이를 이해하고, 프롬프트 기능을 보다 효과적으로 활용할 수 있도록 각 라벨링 유형에 따른 설정 방법과 사용 가능한 주요 기능을 설명합니다.
Updated 28 days ago