학부 인턴 6주차 정리

일본에 있을 때 교수님께서 카톡을 주셨다.

학과에서 학부 인턴을 모집하고 있는데 혹시 해보고 싶으면 추천서를 써주신다고 하셨다. 

사실 내 입장에서는 안할 이유가 없었다. 

인턴십이라는 이름으로 교수님을 매주 본지 6주차 ... 

그걸 학과에서 인정해주고 약간의 돈도 주는데 안할 이유가 ?!?!

아마 7주차? 8주차부터는 정식 학부 인턴으로 활동을 할 수 있을 것 같다 !!! 😁

 

 

어쨋든 6주차에 일본 여행이 껴있어서 목-일 이렇게 밖에 못했다. 

 

---

지난주에 D-Fire 데이터셋으로 yolov5를 학습시켜서 최적의 모델을 찾아보는 활동을 했다. 

이번에는 전이학습을 진행했다. 

 

전이학습을 위한 데이터셋을 찾는 것도 너무 힘들었다.

내가 참고했던 논문에 D-Fire 데이터셋 주소는 나와있어서 참고했지만, 전이학습에 사용한 AFSE에 대한 정보는 찾을 수 없었다 ..

그래서 구글에 검색해보니 유료 회원에게만 공개하는 것 같았다. 

약 40달러정도라서 너무 부담이 ... 

 

그래서 다른 데이터셋을 찾아보기로 했다. 

roboflow에서 산불 데이터셋을 찾아서 그 데이터셋을 사용해 전이학습을 진행해보았다. 

 

전이학습을 하는 이유는 기존 DFire 데이터셋은 그냥 화재 데이터셋이라 산불에 적용하기에는 무리가 있을 것 같다고 생각했기 때문이다. 

실제로 산불 데이터를 수집하는게 힘들어서, 전이학습으로 산불에 대한 특징을 학습시켜준다고 한다. 

 

 

---

Baseline 모델 성능 

아래는 기존 5주차에 진행했던 최적의 모델 성능이다! 

물론 내가 하고자하는게 UAV 와 관련된 거라 학습 시간이나 추론 속도 등도 다 측정 해야될테지만 일단 기본적인 성능을 보고 나머지는 나중에 해보기로 했다. 

저번주에 말했듯 성능이 꽤 좋았다 ! 

 

 

---

1. 전이학습 - Freeze 

위의 모델에 전이학습을 시켰다. 

D-Fire와 새 데이터셋 사이의 차이가 있어서 일단 전이학습 초기에는 백본 가중치를 Freeze하고, Detection Head 부분만 새 데이터셋에 맞게 학습 시켜주었다. 

 

학습을 시키고 나서 결과를 봤는데 너무나 처참했다. 

마치 내 첫 학습을 보는 것 같았다 ... 

 

일단 Precision/Recall, mAP까지 기존에 DFire만 학습시킨 모델보다도 못한 성능을 보였다. 

추론까지 했는데 뭐 너무 엉망이라 보여주기도 부끄러울 정도이다.. 

Train Loss는 안정적으로 감소하고 있어서 학습할 때는 잘못된걸 몰랐는데 막상 까보니 Val mAP가 너무 낮고, Loss가 진동하는 모습을 보였다. 

 

성능이 기존 모델보다 크게 감소한 모습을 볼 수 있다. 

 

 

---

2. 전이학습 1차 - Freeze (데이터셋 점검) 

Train loss는 잘 줄어드는게 보여서 검증셋에 문제가 있다고 생각이 되어 검증셋을 조금 점검해주었다. 

그 후 학습률을 재조정해서 (기존보다 조금 더 낮게 잡음) 다시 전이학습을 진행했다. 

 

사실 성능이 향상되거나 떨어지는걸 따지기도 민망할 결과가 나왔다. 

Val Loss는 진동하다 못해 상승하는 모습을 보이고, Precision/Recall은 학습을 하면 할수록 감소하는 모습을 보였다. 

과적합이 의심되는 상황이였다. 

 

 

---

3. 전이학습 2차 - unfreeze 

1차니까 그럴 수 있다고 생각했던 걸까 ...? 

unfreeze로 이번엔 전체적으로 학습을 진행했다. 

2번 실험에 비해 전체적으로 성능이 좋아지긴 했지만, 좋아졌다고 말하기 부끄러울 정도로 효과가 미미했다. 

여전히 Val Loss, Precision/Recall 문제를 해결하지 못하였다. 

 

 

---

4. 전체 unfreeze 전이학습 

unfreeze로 전체 전이학습 시켰더니 성능이 조금은 좋아지는 것을 보고 그럼 freeze 없이 처음부터 unfreeze로 학습을 시켜야겠다고 생각했나보다.

결과는 3번과 비슷한 결과가 나왔다. 

4번 연속으로 이런 실험결과가 나오고 나서야 데이터셋 품질에 관한 의문이 들었다. 

 

---

5. 전이학습 데이터셋 검증 

실험 결과가 계속 안좋게 나오고나서야 데이터셋 검증을 진행했다. 

Baseline 모델과 동일하게 설정해놓고 처음부터 해당 데이터셋으로 학습을 진행해보았다. 

그렇다 애초에 데이터셋 품질이 안좋았던 것이다. 

roboflow에서 검증되지 않은 데이터셋을 사용해서 이런일이 벌어진 것 같았다... 

 

이 일을 계기로 앞으로 데이터셋 검증 후에 사용해야겠다는 생각을 했다... 😭

 

 

---

결국 난 이번주에 데이터셋을 사용하기 전 검증을 해야겠다는 교훈을 제외하고는 얻은 것이 없었다 ... 

 

내가 이번주 실험에 다 실패한 이유를 생각해보았다. 

일단 데이터셋의 품질이 너무 낮았고, 마음이 급하다보니 실험을 너무 대충 했던 것 같다. 

 

그래서 일단 데이터셋을 좀 더 찾아보고 논문도 여러개 찾아본 후 괜찮은 데이터셋을 찾고 좀 더 체계적으로 실험을 진행해야겠다는 생각이 들었다. 

 

다음주에는 새로운 데이터셋 검증 및 전이학습 재 진행을 할 예정이다!! 

 

---

교수님께서도 앞으로 실험 결과만 보여주지 말고, 내가 참고한 기존 논문과 내 실험을 비교해보고 목표를 확실히 정해서 실험을 하는 것이 좋을 것 같다고 해주셨다. 

그래야 교수님께서도 피드백을 조금 더 구체적으로 해주실 수 있다고 하셨다.

 

앞으로는 좀 더 체계적으로 ... 꼼꼼하게 해보려고 한다 ... 아자아자 화이팅 ㅠㅠ