국어 영역에 대한 데이터와 사회 영역에 대한 데이터는 어떻게 구분할 수 있을까???

[koreannn]

아이디어를 제시해주세요~

[yeseoLee]

데이터셋 눈으로 한번씩 훑어보고 아이디어나 특이사항 덧글로 남겨주기!!

[Sujinkim-625]

휴리스틱하게 봤을 때 generation-for-nlp-1380
({'question': '조세심판원 상임심판관으로 임명된 J과장은 어떤 부서의 과장직을 맡고 있었던가?', 'choices': ['지방세분석과', '국세청', '행정자치부', '재정경제부', '세무서'], 'answer': 1})
부터 국어문제같아요!

[Effyee]

동의합니다~

[Sujinkim-625]

Jay는 기억상실증에 시달리고 개인 정체성 상실도 자주 경험합니다.
{'question': 'Jay는 다음으로 진단 받을 가능성이 높습니다.', 'choices': ['조현병', '해리성 장애', '반사회적 인격장애', '해리성 장애'], 'answer': 4}

수능,,,문제,,,???

[Effyee]

1. tfidf
2. kmeans clustering
3. cleanlab
4. 다수결로 투표
   1,2,3 후에 이상하면 4번도 추가하는 방식은 어떤가요?

https://colab.research.google.com/drive/1sUC5L05qFV_LP7deIJjAyZhXgc3sng0R?usp=sharing

[Effyee]

수진 언니 말처럼 generation-for-nlp-1380 부터 주제가 변경되는 것이 맞는거 같습니다. 👈 이게 사실이라면 위의 방법보다 휴리스틱하게 본 것이 더 확실할지도?

[Sujinkim-625]

inference하는 과정에서 전처리단계(?)로 위의 세가지 방법을 사용해서 국어영역과 사회탐구영역을 구분한 뒤에, 각 영역에 맞게 문제를 풀도록 하면 될거같아요!! test 데이터셋에는 휴리스틱한 방법을 사용할 수 없으니까 ^^!!

[Sujinkim-625]

여기서 cleanlab 사용할 생각을 하다니 가연 찢었다 뿌뿌뿌뿌 🎉

[Sujinkim-625]

더더더 휴리스틱한 방법은,
국어영역 paragraph는 길고, 사회탐구영역 paragraph는 짧습니다.
사회탐구영역이라도 paragraph의 길이가 길다면, paragraph 안에서 답을 찾을 수 있을 것이다.

국어영역
조선 왕들의 평균 수명은 47세에 불과했다. 대부분의 왕이 과로와 스트레스에 시달리면서도 운동할 시간조차 내지 못하다 단명했다. 개국공신 정도전이 주장했던 것처럼 신하들이 국가의 주요 현안을 결정했더라면 왕들은 편한 삶을 살았을 것이다. 왕들이 권한을 나누지 못한 이유는 권력이 약해질 것을 두려워했기 때문이다. 하지만 권한 위임은 권한 분배가 아니라 권한 확장이다. 조직에서 일정한 가치에 따라 권한을 위임하면 더 큰 성과로 돌아온다.포드는 20세기 초 T모델 자동차를 개발해 미국인의 삶을 혁명적으로 변화시켰다. 하지만 20년간 직원들이 그 모델을 개량하는 것을 허락하지 않았다. 결국 월등했던 경쟁력이 후퇴하면서 시장점유율 1위 자리를 다른 회사에 내줬다. 듀폰은 ‘안전’을 업무 처리의 최우선 순위로 정하고 권한을 나눠 굴지의 화학기업으로 성장했다.일상의 경영학은 일상의 관찰을 비즈니스 현장에 효과적으로 적용하기 위한 구체적인 방법을 제시한 책이다. 사소한 현상이나 사물을 새로운 관점에 본다면 누구나 혁신 리더가 될 수 있음을 보여준다. 저자는 역사와 예술 등 인문학의 다양한 프레임으로 경영의 이면을 들춰낸다.

사회탐구영역
(가)는/은 북학의를 저술하여 청의 선진기술을 적극적으로 수용할 것과 상공업 육성 등을 역설하였다. 한편, (나)는/은 중국 및 일본의 방대한 자료를 참고하여 해동역사를 편찬함으로써, 한 ․중․일간의 문화교류를 잘 보여주었다.

[Sujinkim-625]

https://github.com/boostcampaitech7/level2-nlp-generationfornlp-nlp-02-lv3/issues/7에서 진행