train 데이터의 오류를 수정할 필요가 있을까요?

[Sujinkim-625]

데이터셋을 보면 오류가 많습니다.

1. 보기가 중복된 경우
   Jay는 기억상실증에 시달리고 개인 정체성 상실도 자주 경험합니다.
   {'question': 'Jay는 다음으로 진단 받을 가능성이 높습니다.', 'choices': ['조현병', '해리성 장애', '반사회적 인격장애', '해리성 장애'], 'answer': 4}

2. 밑줄이 없는 경우
   개성의 현릉 부근에서 발견된 청동제인물상은 온화한 얼굴에다가 두 손을 맞잡고 있으며, 자비로운 미소를 띠고 있다. 이상은 황제가 착용한다는 통천관을 쓰고 있어 고려가 황제국가로 자부하였음을 알 수 있다.
   {'question': '밑줄 친 ‘인물상’에 해당하는 왕의 업적으로 옳은 것은?', 'choices': ['유학교육기관으로 국자감을 설치하였다.', '거란에 대비하여 30만 광군을 조직하였다.', '개경을 황도로, 서경을 서도로 격상하였다.', '역분전이라는 토지제도를 처음으로 시행하였다.'], 'answer': 4}

이러한 경우의 데이터는 어떻게 처리하는게 좋을까요?

[yeseoLee]

저는 찾아서 수정하되 반드시 테스트 데이터셋과 벗어나지 않도록 수정한다는 전제가 꼭 필요할 것 같습니다.
예를 들어

1. 실제 테스트 데이터셋에서도 밑줄이 없는데 '밑줄 친' 같은 표현을 사용한다면 훈련 데이터셋에서도 수정하면 안된다고 생각합니다.
2. 보기가 중복되는 경우는 반드시 수정해야 한다고 생각합니다.

[Sujinkim-625]

https://github.com/boostcampaitech7/level2-nlp-generationfornlp-nlp-02-lv3/issues/28에서 진행