-
개발/테스트 데이터셋을 고를때에, 원하는 상황 에서 실제로 잘 동작하길 원하는 데이터를 반영 하도록 하자. 트레이닝용으로 선정된 데이터와도 다를 수 있다.
-
개발/테스트 데이터셋가 가능한한 동일한 데이터 분포 로 부터 구성되도록 하자.
-
단일-숫자의 평가 지표 를 선택해서 팀이 이를 최적화 하도록 장려하자. 만약 고려해야 하는 여러개의 목표 가 있는 경우, 여러개의 목표를 결합하여 하나의 수식(평균 처럼) 으로 표현하거나 만족화 평가지표 와 최적화 평가지표 등을 설정하자.
-
머신러닝은 개발 사이클 을 상당히 자주 돌려야 하는 작업이다. 이에 대해서 당신 스스로 만족하기 까지 수 많은 아이디어를 시도 해 봐야 할 것이다.
-
개발/테스트 데이터셋과 단일-숫자 평가지표가 현재 알고리즘을 빠르게 평가하는데 도움을 줄 것이고, 개발 사이클을 더 빠르게 돌 수 있도록 도와줄 것이다.
-
완전히 새로운 어플리케이션 개발 프로젝트를 시작할때, 개발/테스트 데이터셋과 평가 지표를 1주 이내로 최대한 빠르게 설정 하자. 하지만, 이미 성숙한 어플리케이션 이 대상인 경우에는, 그 이상의 시간이 걸려도 괜찮다.
-
전체 데이터를 트레이닝/테스트 데이터셋으로 70%/30% 비율 로 나누는 오래된 방식은 엄청나게 많은 데이터가 있는 경우에는 고려될 필요 없는 방식 이다. 개발/테스트 데이터셋은 전체 데이터의 30%보다 훨씬 적은 양으로 설정 되어도 괜찮다.
-
개발 데이터셋 은 알고리즘의 정확도와 같은 부분에서 의미있는 변화를 체감할 수 있기 충분할 정도로 커야 한다. 하지만 그 이상으로 엄청나게 클 필요는 없다. 테스트 데이터셋 은 시스템의 최종 성능을 측정할때, 만족할만한 신뢰를 줄 수 있는 정도의 크기 면 된다.
-
만약 개발 데이터셋과 평가지표가 더이상 팀을 올바른 방향으로 이끌지 못한다면, 빨리 이를 바꿀 필요가 있다. (i) 만약 개발 데이터셋에 대해서 과적합 된 경우, 더 많은 개발 데이터 셋을 구하자. (ii) 만약 실제 환경의 데이터 분포 가 개발/테스트 데이터셋의 분포 와 다른 경우, 새로운 개발/테스트 데이터셋을 구하자. (iii) 만약 평가지표 가 더이상 당신이 중요 하게 생각하는 것을 측정하지 못한다면, 평가지표를 변경해보자.