서포트 벡터 머신의 개념, 사용 시 이점, 응용 분야

서포트 벡터 머신의 개념

서포트 벡터 머신(SVM)은 최대 마진 분류기로 최적화 문제를 공식화하는 방법에 따라 분류 또는 회귀 분석을 수행할 수 있는 알고리즘입니다. 즉, 데이터가 두 클래스로 분리되면 SVM은 데이터를 최대로 분리하는 하이퍼플레인(즉, 하이퍼플레인이 두 클래스에서 가장 멀리 떨어져 있음)을 찾으려고 시도합니다. 또한 하드 마진과 소프트 마진 SVM의 개념도 있는데, 근본적인 차이는 하드 마진 SVM은 선형으로 분리 가능한 데이터에 대해서만 작동하고 소프트 마진 SVM은 일부 오분류가 발생할 수 있는 여지가 있으며, 이는 모델에서 매개 변수 C로 정량화됩니다. 소프트 마진 SVM은 일반적으로 우리가 실제로 SVM에 대해 말할 때 의미하는 바입니다. 커널(kernel)은 SVM 이론의 하나의 핵심 개념입니다. 커널은 분리 초평면을 찾기 전에 데이터가 어떻게 변환되는지를 정의하는 함수입니다. 일반적인 커널 함수는 선형 함수(변환 없음), 다항식, RBF(가우시안)입니다. 비선형 커널 함수는 SVM이 비선형 의사결정 경계를 학습할 수 있도록 하며, 이는 SVM의 적용 가능성과 능력을 확장합니다.

 

SVM의 이점

SVM(Support Vector Machine)은 선형 회귀 및 로지스틱 회귀와 같은 분류기 비해 몇 가지 이점을 제공합니다. 첫째, 비선형성(non-linearity)입니다. SVM은 변수들 간의 비선형 관계를 효과적으로 처리할 수 있습니다. 선형 회귀 및 로지스틱 회귀와 달리 SVM은 다양한 커널 함수(다항식 또는 방사상 기저 함수 등)를 사용하여 데이터를 고차원 공간으로 변환하여 비선형 의사결정 경계를 허용할 수 있습니다. 둘째, 이상치에 대한 강건성입니다. SVM은 선형 회귀 분석 및 로지스틱 회귀 분석에 비해 데이터 집합의 이상치에 덜 민감합니다. SVM의 목적은 마진을 최대화하는 것입니다. 즉, 의사결정 경계와 가장 가까운 데이터 포인트 사이의 거리입니다. 이 속성은 SVM이 의사결정 경계 근처의 데이터 포인트에 주로 초점을 맞추기 때문에 이상치에 대해 더 강건할 수 있도록 도와줍니다. 셋째, 과적합을 제어합니다. SVM은 마진(margin) 개념을 사용하여 보이지 않는 데이터에 잘 일반화합니다. 마진을 최대화함으로써 SVM은 과적합을 제어하는 메커니즘을 내장하고 있습니다. 이를 통해 SVM은 고차원 데이터나 제한된 표본 크기를 다룰 때 선형 회귀 분석이나 로지스틱 회귀 분석보다 더 나은 성능을 발휘할 수 있습니다. 넷째, 범용성입니다. SVM은 분류와 회귀 작업을 모두 처리할 수 있습니다. 선형 회귀와 로지스틱 회귀가 각각 회귀와 분류에 주로 사용되는 반면, SVM은 서로 다른 공식을 사용하여 두 문제에 모두 적용할 수 있습니다. 회귀 작업의 경우 SVM 회귀 모델이 연속 함수를 추정하고, 분류 작업의 경우 SVM이 서로 다른 클래스를 구분하는 최적의 초평면을 찾습니다. 다섯째, 고차원 공간에서 효과적입니다. SVM은 차원(특징)의 수가 샘플 수보다 큰 경우에도 성능이 우수합니다. 이 속성을 "차원성의 저주"라고 하며, 이는 전통적인 회귀 방법에 문제를 일으킬 수 있습니다. SVM은 의사결정 경계를 결정하는 데 중요한 훈련 데이터 포인트의 하위 집합인 지원 벡터에 의존하여 이 문제를 극복합니다. 여섯째, 로컬 옵티마를 피할 수 있습니다. 다른 일부 최적화 기반 접근법과 달리 SVM은 교육 중 로컬 옵티마에 갇힐 가능성이 적으며, SVM의 목표는 볼록하여 최적화 프로세스가 글로벌 최적을 찾을 수 있도록 보장합니다. 일곱째, 중소규모 데이터셋에서 효과적입니다. SVM은 중소규모 데이터셋에서 잘 작동할 수 있습니다. 많은 양의 훈련 데이터가 필요하지 않으므로 데이터셋이 제한된 상황에 적합합니다.

 

응용 분야

SVM을 위한 중요한 응용 분야 중 하나는 이미지 분류입니다. 이 분류의 아이디어는 다양한 카테고리의 이미지를 단순화된 형태로 분류할 수 있도록 다른 클래스의 객체 사이에서 최상의 분리 초평면을 찾는 것입니다. 이러한 분류의 예로는 얼굴 탐지가 있습니다. 이는 SVM이 주목을 받는 중요한 응용 분야이며 가까운 미래에 유용한 서비스를 수행할 수 있습니다. 이 기술에서 감지할 수 있는 여러 종류의 얼굴에 대해 7개의 클래스(A~G)가 있습니다. 이는 고유 공간 분류 방법이라고도 합니다. 영상 분류를 위한 SVM의 응용은 매우 다양한데, 가장 중요한 것은 Yang 등의 CT, MRI 등의 의료 영상에서 종양이 검출된 것입니다. 이는 실제로 발생하는 문제이며, SVM의 응용을 이용하여 그 해결 방법에 대한 다양한 연구가 진행되고 있습니다. SVM의 또 다른 매우 유용한 응용 프로그램은 음성 인식이며, SVM의 과제는 말하는 다른 단어를 구별(분류)하는 것입니다. 이 응용 프로그램에서는 같은 단어 또는 다른 단어로의 변환과 함께 소리가 포함된 학습 데이터 세트가 SVM의 입력으로 제공됩니다. 여기서 SVM을 사용하는 기본 아이디어는 비선형 분류 문제의 관점에서 단어의 입력 순서와 동일/다른 단어로의 변환 사이의 매핑을 모델링하는 것입니다.