프롬프트 어노테이터

어노테이터의 정의 및 기능

프롬프트 어노테이터는 LLM(대형 언어 모델)기반 데이터셋을 구축하는 어노테이터입니다.

프롬프트 어노테이터에서는 사용자 정의 프롬프트를 활용해 LLM 모델이 생성한 응답 결과를 확인하고, 이에 대한 평가나 수정, 라벨링을 수행할 수 있도록 지원합니다. 프롬프트 기반의 데이터 수집 및 품질 검증, 인공지능 모델 성능 향상에 필요한 학습 데이터를 구축하는 데 활용됩니다.

시냅스 - 프롬프트 어노테이터에서 지원하는 주요 기능은 대화 분류, 질문-답변 분류, 대화 요약, 답변 평가가 있습니다.

프롬프트 어노테이터의 구조

프롬프트 어노테이터는 헤더, 툴바, 에디터, 패널, 단축키 및 설정으로 구성되어 있습니다.

헤더

현재 어노테이터 작동 모드, 라벨(작업) 정보, 사용자 및 워커 정보, 저장/제출 버튼 등이 표시됩니다. 프로젝트에 설정에 따라 작업 보류, 불량 상태를 허용하는 경우에는 헤더 우측에 보류, 불량 버튼이 추가 생성됩니다.

어노테이터의 작동 모드

어노테이터의 작동 모드는 작업 데이터 모드 / 관리자 모드 / 라벨러 모드 / 검수자 모드 가 있습니다.

• : 사용자(관리자 측) 프로젝트에서 작업을 불러온 경우에 해당
• : 사용자(관리자 측) 프로젝트에서 할당 작업을 직접 불러온 경우에 해당
• : 작업자가 할당 작업을 불러온 경우에 해당
• : 검수자가 할당 작업을 불러온 경우에 해당

프로젝트 정보 및 할당 번호

• 프로젝트 명 : 현재 작업하는 할당 작업이 포함된 프로젝트의 이름을 의미합니다.
• 할당 번호 : 현재 작업하는 할당 작업 번호(ID)를 의미합니다.

작업 및 검수 상태 정보

• 작업 상태 : 대기/진행중/보류/완료
• 검수 상태 : 대기/반려

사용자/워커 정보

• 사용자 및 워커(작업자/검수자)의 정보 : 사용자 및 작업자/검수자의 이름과 계정이 보여집니다.
  (※ 검수자 화면에서는 해당 할당 작업을 진행한 작업자도 확인 가능함)
• 작업 시간 : 현재 작업하는 할당작업에 할애하고 있는 작업 시간이 카운팅됩니다.

작업 수행 관련 버튼

• : 현재까지 진행한 어노테이션 대상 데이터의 작업을 임시 저장할 수 있습니다. Ctrl+S단축키로도 임시 저장할 수 있습니다.
• : 현재 어노테이션 대상 데이터의 작업을 완료하고 제출할 수 있습니다.
• : 검수자가 작업자가 진행한 할당 작업에 대해 반려 처리를 할 수 있는 기능입니다. 할당 작업 방식이 묶음인 경우, 마우스 호버(마우스를 버튼 위에 올려놓는 액션)시 '묶음 반려'가 가능합니다.
• : 할당 작업의 데이터에 이상이 있거나 해당 프로젝트와 관련이 없는 데이터인 경우 불량 처리를 할 수 있습니다. 프로젝트 설정에서 '불량' 기능을 허용한 경우에만 해당 기능을 활용할 수 있습니다.
• : 검수자가 작업자가 진행한 할당 작업에 대한 승인 처리를 할 수 있는 기능입니다.
• : 제출 후 수정을 원하는 경우 해당 기능을 활용할 수 있습니다. 버튼을 누르면 불량 처리 혹은 새로운 제출, 반려 처리 등을 할 수 있습니다.
• : 작업 데이터 모드에서 사용자(관리자)가 라벨링 한 작업 결과를 적용할 수 있는 기능입니다.
• : 작업/검수 중 해당 할당 작업에서 코너 케이스 혹은 기타 이유로 수행이 어려운 경우 보류 기능을 통해 다음 할당 작업물로 넘어갈 수 있는 기능입니다. 보류 횟수는 프로젝트 설정에서 지정한 횟수만큼 수행할 수 있습니다.

❗️

제출 시 어노테이션 검증

제출 시 어노테이션이 없거나, 속성 설정이 안 된 어노테이션이 있는 경우 경고 메시지를 어노테이터 우측 하단에 보여줍니다.

에디터

에디터는 데이터가 표시되어 어노테이션을 추가하는 공간입니다.
상단에 클래스 설정 창, 우측에 질문-답변의 턴 창과 좌측의 어노테이션 턴 창이 보이며, 하단 프롬프트 창으로 구성되어 있습니다.

1️⃣ 토픽 영역

설정된 토픽이 있는 경우 토픽을 보여주게 되며 설정된 것이 없을 땐 해당 영역이 닫혀 있게 됩니다.
답변생성에 토픽 내용 활용이 체크 되어 있는 경우 모델에 프롬프트를 입력할 때 토픽을 함께 전달합니다.

2️⃣ 채팅(chat) 전체에 대한 라벨링 영역

multi-turn 대화에서 전체 대화에 대한 라벨링을 하거나 요약을 하는데 활용합니다.

3️⃣ 턴(turn)내 input 영역

사용자가 입력한 프롬프트 input을 보여줍니다.

4️⃣턴(turn)내 output 영역

모델이 답변한 데이터를 보여줍니다. 설정한 모델이 많은 경우 다수의 output이 보일 수 있습니다.

5️⃣ 프롬프트 입력 영역

모델을 활용하는 경우 사용자가 프롬프트를 텍스트로 입력할 수 있게 해당 영역이 활성화 됩니다.

1️⃣input 영역

하나의 턴(turn) 내에서 input한 프롬프트 내용에 해당합니다. 주로 사용자가 직접 입력한 값을 보여주나 미리 생성된 Input 값을 넣는 것도 가능합니다.

2️⃣ output 영역

하나의 턴(turn) 내에서 output된 모델의 내용에 해당합니다. 사용자가 input 한 값에 대하여 모델이 생성한 결과를 보여주나 외부에서 미리 생성된 결과값을 넣는 것도 가능합니다.

3️⃣ 라벨링 영역

라벨링만을 진행하는 어노테이션을 생성하는 영역입니다. 기본으로 닫혀있는 영역이어서 대화 자체에 집중할 수 있도록되어 있으나 라벨링 하고자 하는 영역의 라벨[Q] 를 선택하면 해당 영역이 열립니다.

4️⃣ 프롬프트 입력 영역

모델 연동을 하는 경우 모델에 input하는 프롬프트를 작성하는 영역입니다. 모델 연동을 하지 않는 경우 해당 영역은 어노테이터에서 보이지 않습니다.

툴바

프롬프트 어노테이터 좌측의 툴바 도구는 프롬프트 프로젝트에 활성화된 라벨링 도구인 프롬프트 도구가 있으며, 보조 도구는 마크다운 모드, LaTeX모드로 구성되어 있습니다.

툴바의 도구 사용법은 👉 7-4. 프롬프트 도구에서 확인해주세요.

패널

패널은 라벨링 작업을 지원하기 위해 편의를 제공하는 다양한 보조 창을 말합니다. 패널은 하단 가로 패널로 구성되어 있으며, 각 패널들의 보이기/숨기기, 자리 배치는 사용자가 편의에 따라 언제 이동시켜 활용할 수 있습니다.

• 프롬프트 어노테이터의 주요 패널 및 기능

• 패널 보이기/숨기기 기능

하단 가로 패널의 맨 아래에 위치한 패널 이름 탭을 누르면 해당 패널을 숨기거나 보이게 만들 수 있습니다.

패널 탭 버튼 가장 아래쪽의 겹 화살표 표시(>>) 를 누르면 가로 패널 전체를 숨기고 보이게 할 수 있습니다.

설정

• 저작도구를 설정하는 곳으로 어노테이션, 전역, 패널 등의 기능들을 설정할 수 있음

단축키

• 라벨링 작업에 필요한 각종 기능의 단축키 정보를 확인할 수 있는 곳으로, 단축키는 특정 기능을 빠르게 실행하기 위한 키보드 상의 키 조합을 의미합니다.
• 툴바 하단에 명령(Command, ⌘) 모양의 단축키 버튼이 위치해 있으며, 작업 중 언제든지 단축키를 확인할 수 있습니다.