신경망

신경망의 능력은 토폴로지(topology)나 서로 연결된 뉴런의 구조와 패턴에 바탕을 둔다.

망형태의 3가지 특성

 - 층(layer)의 개수
 - 망에서 정보가 뒨단(backward)으로 전파될 수 있는지
 - 망의 각 층 내에 있는 노드 개수

토폴로지는 망이 학습해야 할 태스크의 복잡성에 좌우됌 

각 층의 노드 수

  - 층의 개수와 정보 진행 방향과 더불어, 각 층의 노드 개수에 따라 복잡성이 다양해진다.
  - 입력노드의 수는 입력데이터의 속성 개수로 결정
  - 출력 노드의 수는 결과의 분류 개수나 모델의 결과 수로 결정
  - 모델을 시작하기 전 은닉층의 노드 개수를 결정하지만, 적당한 은닉층의 노드 개수를 결정하는 규칙은 없다.




역전파로 신경망 훈련

역전파 알고리즘
 -전방향 단계에서 뉴런은 입력 층에서 출력 층으로 순서대로 활성화되고, 각 뉴런의 가중치와 활성함수는 적용된다. 마지막층에 도달할 때까지 출력 신호는 생성된다.
 - 역방향 단계에서 망의 전방향 단계에서 생성된 결과 신호를 훈련 데이터의 실제 목표 값과 비교한다. 망의 출력 신호와 실제 값 사이의 차이는 망에서 뉴런 간의 연결 가중치를 변경하고 미래의 오차를 줄이기 위해 역방향으로 전파되는 오차를만든다.

  장점 

    - 분류나 수치 예측 문제에 적용할 수 있다.
    - 가장 정확한 모델링 접근법 중 하나이다.
    - 데이터에 있는 주요 관계에 대한 몇 개의 가정을 만든다.


  단점

    - 특히 망이 복잡할 경우 계산 집중적이며 훈련이 느리다.
    - 훈련데이터에 과적합나 과소적합화가 되기 쉽다.
    - 해석하기가 불가능하지는 않지만 어렵고 복잡한 블랙박스가 된다.

 

서포트 벡터 머신 이해

서포트 벡터 머신(SVM, Support Vector Machine) 은 속성 값에 따라 다차원 공간의 예제를 여러 가지 점 간의 경계를 정의하는 평면을 생성

이러한 평면을 초평면(hyperplane)이라 함

ex)
-암이나 다른 유전자적 질병을 인식하는 바이오인포메틱스의 마이크로 유전자 표현 데이터의 분류

-주제별로 정의된 문서나 문서에 사용되는 언어의 식별 같은 텍스트 분류

-엔진 연소 문제,보안상 결함, 지진 같은 드문 주요 사건 감식

 

최근 데이터 마이닝 대회에서 신경망제치고 서포트 벡터 머신이 1등을 해서 유명해짐

 

 

선형적으로 구별 가능한 데이터의 경우

  -컨벡스 홀 사이의 가장 짧은 거리를 직각 이등분선으로 초평면 구함

  -2차원 공간에서는 기울기와 절편과 같은 직선 방정식이 초평면임


비선형적으로 구별 가능한 데이터의 경우

  -최대 마진을 구하지 않고 총 비용 값을 최소화하는 최적화 공식을사용

  -유클리드 정규값을 최소화      소속이 잘못 구분된 벡터의 거리의 합에 비용 매개 변수 C의 곱

 

SVM 장단점

  장점 

-범주나 수치 예측 문제에 대해 사용할 수 있다.
-노이즈 데이터에 영향을 크게 받지 않고 잘과적합화되지 않는다.
-특히 잘 지원되는 일부 SVM알고리즘 때문에 신경망보다 사용하기 쉽다.
-높은 정확도와 높은 프로필로 데이터마이닝경쟁에서 우승해 인기를 얻었다.


   단점

-최적의 모델을 찾기 위해 커널과 모델에서 매개변수의 여러 가지 조합 테스트가 필요하다.
- 특히 입력 데이터셋이 예제 개수와 속성의 수가 많다면 훈련이 느릴 수 있다.
- 해석하기 불가능하지 않지만, 어렵고 복잡한 블랙박스를 만든다.