많은 머신러닝 시스템은 사람들이 잘 해내는 일들을 자동화 하는 것을 목표로 한다. 이미지 인식, 음성 인식, 스팸 메일 분류등을 예로 들 수 있겠다. 학습 알고리즘에 많은 성능향상이 이루어 졌는데, 이제는 이러한 일들을 처리하는데 있어서 사람-수준의 성능을 뛰어넘게 되었다.
더욱이, 사람이들이 잘 해내는 작업에 대하여 머신러닝 시스템을 구축하는것이 더 쉬운일임을 설명해주는 몇가지 이유를 들 수 있다:
-
레이블링을 수행하는 사람들로 부터 데이터를 얻는것의 용이함. 예를 들어서, 사람이 고양이 이미지를 꽤나 잘 인식할 수 있기 때문에, 사람들이 높은 정확도의 레이블을 학습 알고리즘에게 제공하는 것이 복잡하지 않을 것이다.
-
에러 분석은 사람의 직관력에 의지할 수 있다. 음성 인식 알고리즘이 사람-수준의 인식률보다 나쁜 결과를 보인다고 가정해 보자. 알고리즘이 "This recipe calls for a pear of apples," 라는 오디오 클립에 대하여 실수로 "pair"를 "pear"로 부정확한 음성 기록을 남겼다고 가정해 보자. 사람의 직관력에 의지해서 어떤 정보를 통하여 사람이 올바른 음성 기록을 얻는지를 이해할 수 있고, 이 지식을 통하여 학습 알고리즘을 수정/개선 할 수 있을 것이다.
-
사람-수준의 성능치를 사용해서 최적의 에러율을 추정해보고, "희망하는 에러율"을 설정할 수 있다. 알고리즘이 특정 작업에 대해서 10%의 에러율을 보이지만, 사람은 동일한 작업에 대해서 2%의 에러율을 보인다고 가정해 보자. 이 경우에 최적의 에러율이 2%나 그 이하라는 것을 알 수 있고, 최소한 8%의 피할 수 있는 편향치가 있다는 것을 알 수 있다. 따라서 편향치를 줄이기 위한 기법을 시도해 봐야 할 것이다.
3번째 내용이 그다지 중요하게 들리지 않을 지라도, 성취 가능한 타당한 목표 에러율을 가지는 것은 당신의 팀의 성과를 가속화 하는데 도움을 줄 것이다. 당신의 알고리즘이 피할 수 있는 높은 편향치를 가짐을 아는 것은 아주 귀한 정보이고, 시도하기 위한 여러개의 옵션 선택지를 펼쳐줄 것이다.
사람들 조차도 잘 못하는 몇몇 작업이 존재한다. 그 예로, 추천하고자 하는 책을 고르는 작업; 웹사이트에서 사용자들에게 보여주기 위한 광고를 선정하는 작업; 또는 주식 시장을 예측하는 작업등이 있다. 컴퓨터들은 이미 이러한 작업들에 대해서 대부분의 사람보다 더 나은 성능을 보여준다. 이러한 어플리케이션에 대해서, 다음과 같은 문제점들을 만날 수 있게 된다:
-
레이블을 얻기가 더 어렵다. 예를 들어서, 레이블을 기입하는 사람이 사용자에게 "최선으로" 추천하는 책의 데이터베이스에 대한 주석을 다는 작업은 어렵다고 볼 수 있다. 책을 판매하는 웹사이트 또는 어플을 운용하는 경우, 책들을 사용자에게 보여주고 사용자가 어떤 책을 구매하는지에 대한 데이터를 얻을 수 있다. 이러한 사이트를 운영하지 않는다면, 데이터를 얻기 위해서 어떤 더 창조적인 방법을 찾을 필요가 있을 것이다.
-
사람의 직관력에 의존하기가 더 어렵다. 예를 들어서 그 누구라도 주식 시장을 예측하는 것은 불가능 하다. 그렇기 때문에 주식을 예측하는 알고리즘이 무작위 추측보다도 못한 결과를 보인다면, 이것을 어떻게 개선해야할지 생각해 내는 것이 매우 어렵다.
-
최적의 에러율과 타당한 희망하는 에러율이 무엇인지 아는 것이 어렵다. 이미 책을 추천하기 위한 시스템을 구축했고, 꽤나 잘 동작한다고 가정해 보자. 사람이라는 기준치없이 이를 얼마나 더 향상시킬 수 있는지 어떻게 알 수 있겠는가?