머신러닝(Machine learning)의 유형

유형

이 세 가지 분류에 잘 맞지 않는 다른 접근법이 개발되어 있으며, 같은 기계 학습 시스템에서 여러 접근법이 사용될 수 있습니다. 예를 들어 토픽 모델링, 메타러닝 등입니다.

2022년 현재 딥 러닝은 기계 학습 분야에서 진행 중인 많은 작업에서 지배적인 접근 방식입니다.

 

 

자가학습

기계 학습 패러다임으로서의 자기 학습은, Crossbar Adaptive Array(CAA)라고 불리는 자기 학습이 가능한 신경망과 함께 1982년에 도입되었습니다. 그것은 외부로부터의 보수도 없고 외부의 교사로부터의 조언도 없는 학습입니다. CAA 자기학습 알고리즘은 크로스바 방식으로 결과 상황에 관한 행동과 감정(감정)에 관한 결정을 모두 계산합니다. 시스템은 인지와 감정의 상호작용에 의해 움직입니다. 자기 학습 알고리즘은 메모리 매트릭스 W = | w (a,s) | 를 업데이트하고 각 반복에서 다음 머신 러닝 루틴을 실행합니다:

 1. 상황에 따라 액션을 수행합니다.

 2. 결과적인 상황을 받아들이겠습니다.

 3. 결과적인 상황에 있는 것의 감정을 계산합니다.

 4. 크로스바 메모리 w'(a,s) = w(a,s) + v(s')를 업데이트합니다.

 

이것은 입력, 상황 및 출력, 액션(또는 동작)이 하나뿐인 시스템입니다. 개별 강화 입력도, 환경으로부터의 조언 입력도 없습니다. 역전파치(2차 강화치)는 결과 상황에 대한 감정입니다. CAA는 두 가지 환경에 존재합니다.하나는 작동하는 동작 환경이고 다른 하나는 유전적 환경입니다.CAA는 동작 환경에서 마주치는 상황에 관한 초기 감정을 처음부터 한 번만 받습니다. 유전환경으로부터 게놈(종) 벡터를 수신한 후 CAA는 바람직한 상황과 바람직하지 않은 상황을 모두 포함하는 환경에서 목표를 추구하는 동작을 학습합니다.

기능 학습

몇몇 학습 알고리즘은 훈련 중에 제공되는 입력의 더 나은 표현을 찾는 것을 목적으로 합니다. 전형적인 예로는 주요 컴포넌트 분석과 클러스터 분석이 포함됩니다. 표현학습 알고리즘이라고도 불리는 기능학습 알고리즘은 종종 정보를 입력에 저장하려고 하지만 분류 또는 예측을 실행하기 전 전처리 단계로 유용한 방식으로 변환합니다. 이 기법을 사용하면 미지의 데이터 생성 배포에서 입력을 재구성할 수 있지만 반드시 해당 배포에서는 신뢰할 수 없는 설정에 충실할 필요는 없습니다. 이를 통해 수동 기능 엔지니어링이 대체되고 머신은 기능을 학습하고 그것들을 사용하여 특정 작업을 수행할 수 있습니다.

 

기능 학습은 감시할 수도, 감시하지 않을 수도 있습니다. 모니터링 기능 학습에서는 레이블이 지정된 입력 데이터를 사용하여 기능을 학습합니다. 예로는 인공 신경망, 다층 퍼셉트론, 감독 사전 학습 등이 있습니다. 비감시 기능 학습에서는 라벨이 없는 입력 데이터를 사용하여 기능을 학습합니다. 예를 들어 사전 학습, 독립적인 컴포넌트 분석, 자동 인코더, 매트릭스 인수 분해  및 다양한 형태의 클러스터링이 포함됩니다.

 

다양체 학습 알고리즘은 학습된 표현이 저차원이라는 제약 하에 그렇게 하려고 합니다. 희소 부호화 알고리즘은 학습된 표현이 희소하다는 제약 하에 그렇게 하려고 합니다.즉, 수학 모델에는 많은 제로가 있습니다. 멀티라인 서브스페이스 학습 알고리즘은 저차원 표현을 다차원 데이터의 텐서 표현에서 직접 학습하여 고차원 벡터로 재성형하는 것을 목적으로 하지 않습니다.딥러닝 알고리즘은 여러 수준의 표현 또는 기능 계층을 검출하고 상위 수준의 추상적인 기능을 하위 수준의 기능으로 정의합니다. 인텔리전트 머신은 관찰된 데이터를 설명하는 변동의 기본적인 요인을 분리하는 표현을 학습하는 머신이라고 주장되고 있습니다.

 

기능 학습은 분류와 같은 기계 학습 작업이 수학적으로나 계산적으로 처리에 편리한 입력을 필요로 하는 경우가 많기 때문에 동기 부여됩니다. 그러나 이미지, 비디오, 감각 데이터와 같은 실제 데이터에서는 특정 기능을 알고리즘적으로 정의하려는 시도가 이루어지지 않았습니다. 또 다른 방법은 명시적인 알고리즘에 의존하지 않고 검사를 통해 그러한 기능 또는 표현을 검출하는 것입니다.

희소 사전 학습

희소 사전 학습은 훈련 예시를 기초 함수의 선형 결합으로 표현하는 기능 학습 방법으로 희소 매트릭스라고 가정합니다. 이 방법은 NP-hard가 강해 대략적인 해결이 어렵습니다.희귀 사전 학습을 위한 일반적인 휴리스틱 방법은 K-SVD 알고리즘입니다. 희소 사전 학습은 몇 가지 컨텍스트에서 적용됩니다. 분류에서 문제는 이전에 볼 수 없었던 훈련 예가 속한 클래스를 결정하는 것입니다. 각 클래스가 이미 구축되어 있는 사전의 경우 해당 사전에 의해 가장 드물게 표현되는 클래스와 새로운 훈련 예가 연관됩니다. 희소 사전 학습은 이미지 노이즈 제거에도 적용됩니다. 중요한 아이디어는 깨끗한 이미지 패치는 이미지 사전에서 드문드문 표현할 수 있지만 노이즈는 표현할 수 없다는 것입니다.

이상 감지

데이터 마이닝에서 이상 검출은 이상 검출이라고도 불리며 대부분의 데이터와 크게 달라 의심을 제기하는 희귀 항목, 이벤트 또는 관찰을 식별하는 것입니다. 보통 비정상적인 항목은 은행 사기, 구조적 결함, 의료상의 문제 또는 텍스트 오류 등의 문제를 나타냅니다. 이상은 특이치, 신규성, 노이즈, 편차 및 예외라고 불립니다.

 

특히 악용 및 네트워크 침입 탐지 컨텍스트에서 대상 개체는 드문 개체가 아니라 예기치 않은 비활성 버스트인 경우가 종종 있습니다. 이 패턴은 희귀한 개체로서의 특이치의 일반적인 통계적 정의를 준수하지 않습니다. 많은 이상 검출 방법(특히 비감시 알고리즘)은 적절하게 집계되지 않는 한 이러한 데이터로는 실패합니다. 대신 클러스터 분석 알고리즘은 이러한 패턴에 의해 형성되는 마이크로 클러스터를 검출할 수 있는 경우가 있습니다.

 

이상 검출 기술에는 크게 세 가지 카테고리가 있습니다. 감독되지 않은 이상 검출 기술은 데이터 세트의 대부분의 인스턴스가 정상이라는 가정 하에 라벨이 없는 테스트 데이터 세트의 이상을 검출하고 데이터 세트의 나머지 부분에 가장 적합하다고 생각되는 인스턴스를 찾습니다. 감독된 이상 검출 기법에는 '정상' 및 '이상'으로 라벨이 붙여져 분류자 훈련을 수반하는 데이터 세트가 필요합니다(다른 많은 통계 분류 문제의 주된 차이점은 본질적으로 이상 검출의 불균형한 성질입니다). 반감시 이상 검출 기술은 특정 정상 훈련 데이터 세트에서 정상 동작을 나타내는 모델을 구축하고 해당 모델에 의해 생성되는 테스트 인스턴스의 가능성을 테스트합니다.

로봇 학습

로봇 학습은 지도 학습, 강화 학습으로 시작하여 마지막으로 메타 학습(예를 들어 MAML)으로 시작하는 많은 기계 학습 방법에서 영감을 얻고 있습니다.

연관 규칙

연관 규칙 학습은 대규모 데이터베이스 내 변수 간의 관계를 검출하기 위한 규칙 기반 머신 러닝 방법입니다.

이것은 데이터베이스에서 발견된 강력한 규칙을 특정하는 것을 목적으로 하며, 어떤 "흥미로운" 척도를 사용합니다.

 

규칙 기반 기계 학습은 지식을 저장, 조작 또는 적용하기 위해 "규칙"을 식별, 학습 또는 진화시키는 기계 학습 방법의 총칭입니다. 규칙 기반 머신러닝 알고리즘의 정의상 특징은 시스템에 의해 캡처된 지식을 정리하여 나타내는 관계형 규칙 세트를 식별하고 이용하는 것입니다. 이는 예측을 수행하기 위해 모든 인스턴스에 보편적으로 적용할 수 있는 단일 모델을 일반적으로 식별하는 다른 기계 학습 알고리즘과는 대조적입니다. 규칙 기반 기계 학습 접근법에는 학습 분류 시스템, 관련 규칙 학습 및 인공 면역 시스템이 포함됩니다.

 

강력한 규칙 개념을 바탕으로 Rakesh Agrawal, Tomasz Imieliáski, Arun Swami는 슈퍼마켓의 POS 시스템에 의해 기록된 대규모 거래 데이터에서 제품 간 규칙을 발견하기 위한 관련 규칙을 도입했습니다. 예를 들어 규칙입니다 { o n i o n s , p o t a t o e s } ⇒ { b u r g e r } 슈퍼마켓 매출 데이터에 있는 오른쪽 화살표는 고객이 양파와 감자를 함께 구입할 경우 햄버거 고기도 구입할 가능성이 높다는 것을 보여줍니다. 이러한 정보는 판촉 가격이나 제품 배치 등 마케팅 활동에 관한 결정의 기초로 사용할 수 있습니다. 시장 바스켓 분석 외에도 어소시에이션 규칙은 오늘날 Web 이용 마이닝, 침입 탐지, 지속적인 생산, 바이오 인포매틱스 등의 애플리케이션 영역에서 채택되고 있습니다. 시퀀스 마이닝과는 대조적으로 어소시에이션 규칙 학습에서는 보통 트랜잭션 내 또는 트랜잭션 간 항목 순서는 고려되지 않습니다

 

학습 분류 시스템(LCS; Learning Classifier System)은 검출 컴포넌트(보통 유전자 알고리즘)를 학습 컴포넌트와 조합하여 감시학습, 강화학습 또는 비감시학습 중 하나를 실행하는 규칙 기반 머신러닝 알고리즘 패밀리입니다. 그들은 예측을 하기 위해 지식을 단편적으로 정리하여 저장하고 적용하는 일련의 문맥 의존 규칙을 특정하려고 합니다.

 

귀납적 논리 프로그래밍(ILP)은 논리 프로그래밍을 입력 예, 배경 지식 및 가설의 균일한 표현으로 사용하는 규칙 학습 접근 방식입니다. 알려진 배경 지식의 부호화와 사실 논리 데이터베이스로 표현되는 일련의 예를 고려할 때, ILP 시스템은 모든 긍정적인 예와 부정적인 예를 수반하지 않는 가설 논리 프로그램을 도출합니다. 귀납적 프로그래밍은 함수형 프로그램과 같은 가설을 표현하기 위한 모든 종류의 프로그래밍 언어를 고려하는 관련 분야입니다(논리 프로그래밍뿐만 아니라).

 

귀납적 논리 프로그래밍은 생물 정보학과 자연어 처리에서 특히 유용합니다. Gordon Plotkin과 Ehud Shapiro는 논리적 설정으로 유도 기계 학습을 위한 최초의 이론적 기초를 마련했습니다.샤피로는 1981년에 최초의 구현(모델 추론 시스템)을 구축했습니다: 긍정적인 예와 부정적인 예로부터 논리 프로그램을 유도적으로 추론하는 Prolog 프로그램입니다.여기서 귀납적이라는 용어는 철학적 귀납법을 가리키며 수학적 귀납법이 아닌 관찰된 사실을 설명하는 이론을 시사하고 질서정연한 집합의 모든 구성원을 위한 성질을 증명하고 있습니다.

 

모델

기계 학습을 실행하려면 모델을 작성해야 합니다.모델은 일부 교육 데이터에서 훈련되며 추가 데이터를 처리하여 예측을 작성할 수 있습니다. 기계 학습 시스템에는 다양한 유형의 모델이 사용되고 연구되고 있습니다.

인공신경망

인공 신경망은 뇌 내 뉴런의 광대한 네트워크와 비슷한 노드 상호 연결 그룹입니다. 여기서 각 원형 노드는 인공 뉴런을 나타내고 화살표는 한 인공 뉴런의 출력에서 다른 인공 뉴런의 입력에 대한 연결을 나타냅니다. 인공신경망(ANN)은 동물의 뇌를 구성하는 생물학적 신경망에서 막연하게 영감을 받은 컴퓨팅 시스템입니다. 이러한 시스템은 일반적으로 작업 고유 규칙을 프로그램하지 않고 예를 고려하여 작업을 수행하는 것을 "학습"합니다.

 

ANN은 생물학적 뇌 내 뉴런을 완만하게 모델링하는 '인공 뉴런'이라고 불리는 연결된 유닛 또는 노드 집합에 기반한 모델입니다. 생물학적 뇌의 시냅스와 같이 각 접속은 한 인공 뉴런에서 다른 인공 뉴런으로 정보 '신호'를 전송할 수 있습니다. 신호를 수신한 인공 뉴런은 신호를 처리하고 그에 연결된 추가 인공 뉴런으로 신호를 보낼 수 있습니다. 일반적인 ANN 구현에서 인공 뉴런 간의 연결 신호는 실수이며, 각 인공 뉴런의 출력은 입력 합계 비선형 함수에 의해 계산됩니다.

 

인공 뉴런 간의 연결은 '엣지'라고 불립니다. 인공 뉴런과 에지는 보통 학습이 진행됨에 따라 조정되는 무게를 가지고 있습니다. 이 무게로 인해 연결 시 신호 강도가 증가하거나 감소합니다. 인공 뉴런에는 임계값이 있으며 집약 신호가 그 임계값을 초과할 경우에만 신호가 전송될 수 있습니다. 일반적으로 인공 뉴런은 층에 집약됩니다. 다른 레이어는 입력에 대해 다른 종류의 변환을 수행할 수 있습니다만. 신호는 첫 번째 레이어(입력 레이어)에서 마지막 레이어(출력 레이어)로 이동합니다.아마 레이어를 여러 번 통과한 후일 겁니다.

 

ANN 접근법의 당초 목표는 인간의 뇌와 마찬가지로 문제를 해결하는 것이었습니다. 그러나 시간이 지남에 따라 주의는 특정 작업을 수행하는 것으로 이동하여 생물학으로부터의 일탈로 이어졌습니다. 인공 신경망은 컴퓨터 비전, 음성 인식, 기계 번역, 소셜 네트워크 필터링, 보드와 비디오 게임, 의료 진단 등 다양한 작업에 사용되어 왔습니다.

 

딥 러닝은 인공 신경망의 여러 숨겨진 층으로 구성되어 있습니다. 이 접근법은 인간의 뇌가 빛과 소리를 시각과 청각으로 처리하는 방법을 모델링하려고 합니다. 딥러닝의 몇 가지 성공적인 애플리케이션은 컴퓨터 비전과 음성 인식입니다.

Decision Tree

Decision Tree 학습에서는 Decision Tree를 예측 모델로 사용하여 항목(분기에 표시)에 대한 관찰에서 항목의 목표치(리프에 표시)에 대한 결론으로 이동합니다. 이것은 통계, 데이터 마이닝 및 기계 학습에 사용되는 예측 모델링 접근법 중 하나입니다. 대상 변수가 개별 값 세트를 취할 수 있는 트리 모델을 분류 트리라고 합니다.이러한 트리 구조에서 리프는 클래스 라벨을 나타내고 브랜치는 클래스 레이블로 이어지는 기능의 연결을 나타냅니다. 대상 변수가 연속된 값(보통 실수)을 취할 수 있는 결정 트리를 회귀 트리라고 합니다. 의사결정 분석에서는 의사결정 트리를 사용하여 의사결정 및 의사결정을 시각적으로 명시적으로 표현할 수 있습니다. 데이터 마이닝에서는 의사결정 트리가 데이터를 기술하지만 결과적으로 생성되는 분류 트리는 의사결정을 위한 입력이 될 수 있습니다.

서포트 벡터 머신

Support-Vector Machine(SVM)은 분류 및 회귀에 사용되는 일련의 관련 감시 학습 방식입니다. 각각이 두 범주 중 하나에 속한다고 표시된 일련의 훈련 예제가 있는 경우, SVM 트레이닝 알고리즘은 새로운 예가 하나의 범주로 분류될지 예측하는 모델을 구축합니다. SVM 트레이닝 알고리즘은 확률적 분류 설정에서 SVM을 사용하는 Platt 스케일링과 같은 방법이 있지만 비확률적인 이진 선형 분류기입니다. SVM은 선형 분류를 실행할 뿐만 아니라 커널 트릭이라고 불리는 것을 사용하여 효율적으로 비선형 분류를 실행하고 그 입력을 암묵적으로 고차원 피쳐 공간에 매핑할 수 있습니다.

회귀분석

회귀 분석에는 입력 변수와 관련된 특징 사이의 관계를 추정하기 위한 다양한 통계적 기법이 포함되어 있습니다. 그것의 가장 일반적인 형태는 선형 회귀이며, 보통 최소 제곱과 같은 수학적 기준에 따라 주어진 데이터에 가장 적합한 선이 그려집니다. 후자는 리지 회귀와 같이 과적합과 바이어스를 줄이기 위해 정규화 방법에 의해 확장되는 경우가 종종 있습니다. 비선형 문제를 다룰 경우 go-to 모델에는 다항식 회귀(예를 들어 Microsoft Excel에서 트렌드 라인 피팅에 사용됨), 로지스틱 회귀(종 통계적 분류에서 사용됨) 또는 커널 회귀가 포함됩니다, 이는 커널 트릭을 이용하여 입력 변수를 보다 고차원 공간에 암묵적으로 매핑함으로써 비선형성을 도입합니다.

베이지안 네트워크

심플한 베이지안 네트워크입니다. 비는 스프링클러의 활성화에 영향을 미치고, 비도 스프링클러도 풀이 젖어 있는지 여부에 영향을 미칩니다. 베이지안 네트워크, 신념 네트워크 또는 유향 비순환 그래프(DAG)는 무작위 변수 세트와 조건 독립성을 나타내는 확률론적 그래픽 모델입니다. 예를 들어 베이지안 네트워크는 질병과 증상의 확률적 관계를 나타낼 수 있습니다. 증상에 따라 네트워크를 사용하여 다양한 질병의 발생 확률을 계산할 수 있습니다. 추론과 학습을 실행하는 효율적인 알고리즘이 존재합니다. 음성 신호나 단백질 시퀀스와 같은 변수의 시퀀스를 모델링하는 베이지안 네트워크는 다이내믹 베이지안 네트워크라고 불립니다. 불확실성 하에서 의사결정 문제를 표현하고 해결할 수 있는 베이지안 네트워크의 일반화를 영향도라고 부릅니다.

가우스 프로세스

다른 회귀 모델과 비교한 가우스 프로세스 회귀(예측)의 예입니다. 가우스 프로세스는 프로세스 내 랜덤 변수의 모든 유한 집합이 다변량 정규 분포를 갖는 확률적 프로세스이며 위치에 따라 점 쌍이 서로 어떻게 관계하는지 모델링하는 사전 정의된 공분산 함수 또는 커널에 의존합니다.

 

관측된 포인트 세트 또는 입출력의 예를 지정하면, 그 입력 데이터의 함수로서의 새로운 포인트의 (관측되지 않은) 출력 분포는, 관측된 포인트와 관측되지 않은 새로운 포인트 사이의 코밸런스와 같이 직접 계산할 수 있습니다.

가우스 프로세스는 하이퍼파라미터 최적화를 수행하는 데 사용되는 베이지안 최적화의 일반적인 대리 모델입니다.

유전적 알고리즘

유전자 알고리즘(GA)은 자연선택 과정을 모방한 검색 알고리즘과 휴리스틱 기술로 돌연변이나 크로스오버 등의 방법을 사용하여 주어진 문제에 대한 좋은 해결책을 찾을 것으로 기대하여 새로운 유전자형을 생성합니다. 기계 학습에서는 유전자 알고리즘이 1980년대와 1990년대에 사용되었습니다.반대로 기계 학습 기술은 유전적 및 진화적 알고리즘의 성능을 향상시키기 위해 사용되고 있습니다.

 

학습 모델

일반적으로 기계 학습 모델은 모델이 정확한 예측을 하기 위해 대량의 신뢰성 높은 데이터를 필요로 합니다. 머신러닝 모델을 훈련할 경우 머신러닝 엔지니어는 대량의 대표적인 데이터 샘플을 타겟으로 수집해야 합니다. 트레이닝 세트의 데이터는 텍스트 코퍼스, 이미지 컬렉션, 센서 데이터 및 서비스의 개별 사용자로부터 수집된 데이터만큼 다양합니다. 오버핏은 기계 학습 모델을 훈련할 때 주의해야 합니다.

 

편향되거나 평가되지 않은 데이터에서 파생된 훈련된 모델은 예측이 왜곡되거나 바람직하지 않은 결과를 초래할 수 있습니다. 바이어스 모델은 유해한 결과를 초래하고 사회나 목표에 악영향을 미칠 수 있습니다. 알고리즘 바이어스는 데이터가 훈련을 위해 완전히 준비되어 있지 않을 수 있는 결과입니다. 기계 학습 윤리는 연구 분야가 되어가고 있으며, 특히 기계 학습 엔지니어링 팀에 통합되어 있습니다.

연합학습

연합 학습은 분산형 인공지능을 트레이닝 머신러닝 모델에 적응한 형태로 트레이닝 프로세스를 분산화하고 집중형 서버로 데이터를 전송할 필요가 없기 때문에 사용자의 프라이버시를 유지할 수 있습니다. 이를 통해 교육 프로세스를 많은 장치에 분산시킴으로써 효율이 향상됩니다. 예를 들어, Gboard는 페더레이션 머신러닝을 사용하여 개별 검색을 Google로 돌려보내지 않고 사용자의 휴대전화로 검색 쿼리 예측 모델을 교육합니다.