기술나눔

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

서포트 벡터 머신

1 지원 벡터 머신 소개:

SVM(Support Vector Machine)은 1995년 Corinna Cortes와 Vapnik에 의해 처음 제안되었습니다. 이는 작은 샘플, 비선형 및 고차원 패턴 인식을 해결하는 데 많은 고유한 이점을 보여줍니다.

2 지원 벡터 머신 원리:

n차원 공간에서 분류 초평면을 찾아 공간 안의 점들을 분류하는데, 점선 위의 점들을 서포트 벡터 머신(support Vector Machines)이라고 하며, 가운데 빨간 선을 슈퍼 평면(Super Plane)이라고 합니다. 모든 점과 슈퍼 평면 사이의 거리를 늘립니다.



선형적으로 분리할 수 없는 상황의 경우 일반적인 접근 방식은 샘플 특징을 고차원 공간에 매핑하는 것입니다.
그러나 고차원 공간에 매핑하면 차원이 너무 커지고 계산이 복잡해질 수 있습니다. 여기서 다시 커널 기능이 도입되었습니다.

커널 기능: 비선형 매핑이라고도 하며 샘플 특징을 고차원 공간에 매핑하고 이 공간에 최적의 초평면을 구성합니다.
커널 함수 유형: 선형 커널, 다항식 커널, 가우스 커널(rbf) 등

정규 상수 C: SVM에서 라그랑주 승수의 제약 정도를 나타냅니다.


정규 상수의 값이 클수록 페널티가 커지고, 오류에 대한 관용이 낮아지고, 서포트 벡터가 많아져 과적합이 쉽게 발생할 수 있습니다.
반대로, 정규 상수가 작을수록 과소적합이 발생하기 쉽습니다.

3가지 SVM 모드

일대다(one-versus-all) 방법: 훈련 중에 특정 범주의 샘플을 차례로 하나의 범주로 분류하고, 나머지 샘플은 다른 범주로 분류하는 방식으로 n개의 SVM을 구성합니다. 샘플 카테고리.

일대일(일대일 방법): 훈련 중에 SVM은 두 가지 유형의 샘플 간에 설계되므로 n개의 샘플 범주에 대해 n(n-1)/2개의 SVM을 설계해야 합니다.

4가지 특징 벡터 전처리 유형:

canonical_variates: 정규 상관 분석에서는 직선을 사용하여 샘플 포인트를 맞추고 n차원 특징 벡터 X와 출력 결과 Y 사이의 선형 관계를 찾습니다.

주성분 분석: 주성분 분석(PCA)은 직교 변환을 사용하여 가능한 상관 변수의 관측 값 세트를 주성분이라고 하는 선형 비상관 변수 값 세트로 변환하는 통계 프로세스입니다.