how to manage dataset ?

[Sujinkim-625]

이번 프로젝트에서는 데이터셋이 많이 생성될 것같아요.
데이터셋의 저장 방법과 네이밍 컨벤션
에 대해서 의논해보아요!

[Sujinkim-625]

저번 프로젝트와 마찬가지로, 예서의 메타데이터생성기를 사용하면 좋을 것같아요!

[Sujinkim-625]

시놀로지 vs 구글 드라이브 vs huggingface

[Sujinkim-625]

huggingface 단점: arrow로 다운로드 됨.

[Sujinkim-625]

시놀로지: 더 빠르고 비용도 안든다. 용량 제한도 없음. 따로 토큰이랑 인증키를 보관안해도 됨. 아이디-패스워드 방식으로 API 호출 가능.

[Sujinkim-625]

학습할 때 결과파일이 자동으로 저장되도록 하기

[yeseoLee]

1,2번째 프로젝트 보단 데이터셋이 많을 것 같지만 직전 프로젝트 보다는 적을 것 같습니다.
그래서 따로 업로드 툴을 사용하지 않고 학습 코드에 추가하는 것이 좋을 것 같습니다.

1. 데이터셋 로드 & 사용한 데이터셋 자동 업로드
2. 추론 & output.csv(추론 결과) 자동 업로드

[Sujinkim-625]

데이터셋 명은
" username_번호_데이터에 대한 설명_데이터셋 길이 "가 좋을 것같아요.
데이터셋에 대한 설명은
k_aug(국어영역 증강) / s_aug(사회영역 증강)
으로 구분하면 되지 않을까 싶어요!