3-5. 데이터 익스포트

GT 데이터 익스포트 및 익스포트 현황 확인

📘

데이터 익스포트(Data export) 의 개념

데이터를 특정 형식으로 변환하여 외부 시스템이나 저장소로 내보내는 과정으로, 시냅스에서는 사용자가 원하는 형식을 선택하여 내보낼 수 있습니다.

용어 및 기능정의
익스포트GT(Ground Truth) 데이터를 특정 형식으로 변환하여 외부 시스템이나 저장소로 내보내는 과정
GT 데이터셋GT 데이터셋(GT Dataset)은 모델이 학습할 때 정답(참값)으로 사용하는 데이터들의 모음

데이터 익스포트


데이터 익스포트에서는 GT/작업/할당 작업 데이터셋을 선택하여 내보낼 수 있으며, 익스포트 진행 현황 및 목록을 확인할 수 있는 페이지입니다.

데이터 포맷에 맞춰 결과를 추출하고, 각 익스포트 작업의 상태를 모니터링할 수 있습니다.

용어 및 기능정의
익스포트 플러그인시냅스 내부에 있는 데이터를 내보내는 과정에서 데이터 변환, 정리 등을 도와주는 플러그인
익스포트 스토리지시냅스와 연동된 외부 스토리지 중 데이터를 익스포트할 때 저장할 저장소
에이전트시냅스 내에서 구동되는 플러그인을 실행하는 주체로서 에이전트는 여러 개의 노드로 구성될 수 있으며, 각 노드는 CPU, 메모리, 디스크, GPU 등 임

① 상단 메뉴에서 프로젝트 탭을 클릭한 후, 데이터 익스포트가 필요한 프로젝트 카드를 선택합니다.


② 좌측 메뉴의 데이터셋 탭에서 데이터 익스포트 탭을 선택하고 , 우측 상단의 익스포트 버튼을 클릭합니다.


익스포트 플러그인 등록창에 플러그인 선택버튼을 클릭하면, 팝업창이 열리며 워크스페이스에 설치된 익스포트 플러그인 목록이 표시됩니다.


④ 사용하려는 플러그인을 선택한 후 선택 완료 버튼을 클릭하면 등록이 완료됩니다.

선택한 플러그인을 변경하고 싶을 경우, 플러그인 변경버튼을 클릭하면 이전과 동일한 플러그인 목록이 다시 표시되어 다른 플러그인을 선택할 수 있습니다.

익스포트 플러그인 기본 6종

🚧

익스포트 플러그인 안내

플랫폼 초기 납품 시, 기본 이미지 익스포트 플러그인 6종이 워크스페이스에 탑재되어 제공합니다.

프로젝트에 맞는 별도의 익스포트 플러그인이 필요한 경우, 커스텀 요청이 가능합니다.

자세한 사항은 데이터메이커 테크서포트에 문의해주세요.


⑤ 익스포트 생성창에서 익스포트 기본 정보를 입력하고 우측 상단의 다음단계버튼을 클릭합니다.


  • 익스포트 이름 : 익스포트의 이름을 기입합니다. (최대 50자 입력 가능)

    (* 익스포트 이름은 익스포트되는 파일의 폴더 이름으로 사용됩니다.)

  • 설명 : 익스포트에 대한 설명을 기입합니다. (최대 200자 입력 가능)

  • 에이전트 : 익스포트를 실행할 에이전트를 선택합니다.

    더보기 버튼을 클릭하면 선택한 에이전트의 상세 정보를 확인할 수 있습니다.

    (※ 워크스페이스에 설치된 에이전트 목록만 표시됩니다.)

❗️

연동하고자 하는 에이전트가 안보여요!

에이전트는 인프라 > 에이전트 > 에이전트 연동을 통해 가능합니다.

👉🏻 5-1. 에이전트 연동을 참고해주세요.

  • 익스포트 스토리지 : 현재 활성화된 스토리지 목록이 표시되며, 사용자는 원하는 스토리지를 선택한 후, 익스포트할 폴더를 선택합니다.
📘

스토리지(저장소)를 연동하고 싶어요 !

스토리지 연동이 필요한 경우, 데이터메이커 담당자를 통해 연동을 요청해주세요.

저장소 설정은 내부 확인 후 순차적으로 지원해드립니다.


⑥ 익스포트를 진행할 대상 데이터를 선택하고, 우측 상단의 생성버튼을 클릭합니다.

대상 데이터는 GT 데이터셋, 작업 데이터, 할당작업 데이터 3가지입니다.


a. GT 데이터셋

GT 데이터셋으로 생성된 버전을 선택할 수 있으며, 선택한 버전에 해당하는 작업 목록이 함께 표시됩니다. 이 때, 개별 작업 선택은 불가능하며 버전 전체 단위로만 익스포트가 가능합니다.


b. 작업 데이터

해당 프로젝트 내에 있는 전체 작업 목록이 노출되며, 개별 작업 단위로 선택하여 익스포트할 수 있습니다.


c. 할당작업 데이터

해당 프로젝트 내에 있는 전체 할당작업 목록이 노출되며, 개별 할당 작업 단위로 선택하여 익스포트할 수 있습니다.

'원본데이터 포함 옵션' 안내

익스포트 시 원본 데이터를 함께 포함할지 여부를 설정하는 항목입니다. 원본 데이터를 포함하여 익스포트를 진행할 경우, 처리 시간 이 더 오래 걸릴 수 있습니다.

❗️

익스포트할 데이터셋이 없어요 !

현재 워크스페이스에는 아래 항목 중 하나라도 존재하지 않으면 익스포트를 진행할 수 없습니다. 데이터 익스포트를 위해서는 다음 중 하나 이상의 데이터셋이 반드시 필요합니다.

  • GT 데이터셋
  • 작업 데이터
  • 할당작업 데이터

데이터 익스포트 현황


익스포트한 데이터들의 진행 상태 및 관련 메타정보를 한눈에 파악할 수 있는 페이지입니다.


① 상단 메뉴에서 프로젝트 탭을 클릭한 후, 익스포트 현황 확인이 필요한 프로젝트 카드를 선택합니다.


② 좌측 메뉴의 데이터셋 탭에서 데이터 익스포트 탭을 클릭하면, 해당 프로젝트에서 진행된 익스포트현황 정보 목록을 확인할 수 있습니다.

🧐

익스포트 현황 살펴보기

  • 대기/성공/실패 : 임포트 과정에서의 처리 상태별 수량을 의미합니다.

    대기 : 익스포트 처리가 아직 진행 중인 데이터의 수

    성공 : 정상적으로 익스포트가 완료된 데이터의 수

    실패 : 조건 미충족 등으로 인해 익스포트되지 않은 데이터의 수

  • 상태 : '상태'는 데이터 수량이 아닌, 익스포트의 '진행 과정'을 기준으로 표시됩니다.

✅완료
익스포트 과정이 정상적으로 종료되었음을 의미합니다. 단, 일부 데이터는 조건 미충족 등의 사유로 익스포트되지 않았을 수 있습니다.

⛔실패
익스포트 도중에 오류 또는 에이전트 문제 등으로 인해 중단된 상태를 의미합니다. 이 경우에도 일부 데이터는 익스포트에 성공했을 수 있습니다.

🕛대기 아직 데이터 등록 작업이 시작되지 않았거나, 처리 대기 상태를 의미합니다.

▶️진행중 현재 데이터 등록 과정이 실행되고 있으며, 순차적으로 처리되고 있는 상태를 의미합니다.

👍

필터링 기능을 활용하세요 !

  • 상태 : 익스포트 작업의 상태별 필터링할 수 있으며 대기, 진행중, 완료, 중지, 실패 상태로 구분됩니다.
  • 담당자 : 데이터 익스포트를 수행한 담당자 기준으로 현황을 확인할 수 있습니다.
  • 시작일시 : 익스포트가 시작된 날짜를 기준으로 작업 현황을 확인할 수 있습니다.

원하는 익스포트 ‘이름’을 클릭하면, 해당 익스포트의 현황 상세보기 페이지로 이동합니다.

해당 페이지에서는 다음 정보를 확인할 수 있습니다.

🧐

익스포트 대시보드 살펴보기

  • 진행률 : 익스포트 과정 진행률(%)

  • 소요시간 : 익스포트 과정 소요시간

  • 대기/성공/실패 : 임포트 과정에서의 처리 상태별 수량을 의미합니다.

    대기 : 익스포트 처리가 아직 진행 중인 데이터의 수

    성공 : 정상적으로 익스포트가 완료된 데이터의 수

    실패 : 조건 미충족 등으로 인해 익스포트되지 않은 데이터의 수

  • 익스포트 기본 정보 : 익스포트 이름, 익스포트 설명, 익스포트 ID, 익스포트 담당자, 익스포트 일시, 익스포트 상태, 플러그인 정보, 총 익스포트 파일 수, 익스포트 위치 등의 정보를 확인할 수 있습니다.
  • 익스포트 진행률 : 전체 진행률과 소요 시간을 확인할 수 있습니다.
  • 메세지 로그(Message Log) : 우측 패널에서 익스포트 실행 과정 및 오류 내용을 확인할 수 있습니다.