인공지능

분기점(branch point)

임계점(critical point)

전환점(turning point)

특이점(singularity)

랜덤 포레스트(random forest)

서포트 벡터 머신(support vector machine)

의사결정 트리(decision tree)

주성분 분석(principle component analysis)

퍼셉트론의 하이퍼 매개 변수(hyper parameter)를 정하는 것은 사람이 해야 한다.

단층 퍼셉트론이 해결할 수 있는 문제는 비선형 영역을 포함한다.

퍼셉트론은 다수의 신호를 입력으로 받아 하나의 신호를 출력한다.

단층 퍼셉트론의 구성 요소 중 임곗값은 바이어스(bias)로 대체할 수 있다.

ResNet

DenseNet

MobileNet

RCNN

시그모이드(sigmoid)

계단 함수(step function)

지수 선형 유닛(exponential linear unit)

하이퍼볼릭 탄젠트(hyperbolic tangent)

Diffusion Model

DQN(Deep Q-Network)

GANs(Generative Adversarial Networks)

VAEs(Variational Autoencoders)

학습 데이터의 부족

비선형적인 데이터 처리

추상적 특징의 학습

모델의 복잡성

인공지능 개발의 목적, 윤리, 가치 등에 대해 23가지 원칙을 제시했다.

인공지능 시스템은 반드시 인간의 직접적인 통제 없이 자율적으로 작동해야 한다.

연구 목표는 방향성이 없는 지능이 아니라 인간에게 유용한 지능 개발이어야 한다.

인공지능 시스템의 실패 원인을 이해할 수 있도록 투명성과 설명 가능성이 확보되어야 한다.

6.0

8.6

11.1

17.2

$c\times k$

$p^2\times k$

$p^2\times c+k$

$p^2\times c\times k$

기호주의 AI는 이미지, 음성 인식을 위한 딥러닝 모델을 개발하기 위해 고안되었고, 연결주의 AI는 전문가 시스템과 같은 지식 기반 시스템을 주로 구축한다.

기호주의 AI는 해석 가능성이 크다는 장점이 있으나 환경 노이즈에 약하며, 연결주의 AI는 해석 가능성은 작지만 노이즈 강인성과 범용 근사 능력이 높다.

기호주의 AI는 논리 연산에 기반해 이산적(discrete) 문제를 해결하며, 연결주의 AI는 주로 미분 가능 함수를 이용한 학습을 통해 문제를 해결한다.

기호주의 AI는 지식을 명시적인 생성 규칙, 논리식 등 규칙으로 표현하고, 연결주의 AI는 분산된 가중치로 지식을 암묵적으로 저장한다.

서열 데이터(sequence data)를 순차적으로 처리하는 RNN 모델과는 다르게 병렬처리가 가능하다.

위치 임베딩(positional embedding)은 입력 토큰들의 위치 정보를 모델에 제공하기 위해 사용된다.

자기 주목(self-attention) 메커니즘은 특정 위치가 입력의 어떤 위치에 주목해야 하는지를 가중치 형태로 수치화하여 표현한다.

주목 점수(attention score)는 query 벡터와 value 벡터의 내적을 계산한 후 소프트맥스(softmax) 함수를 적용하여 계산된다.

(가) → (다) → (라) → (나)

(가) → (라) → (다) → (나)

(다) → (가) → (라) → (나)

(다) → (라) → (가) → (나)

0.25

0.33

0.67

0.89

학습 데이터를 추가하여 검증 손실값을 학습 손실값에 근접시킬 수 있다.

신경망 학습 모델이 학습 데이터 세트의 패턴을 적절히 학습하지 못했다는 의미이다.

신경망의 은닉층 개수, 뉴런의 개수 등 학습 매개 변수가 과도하게 많으면 발생할 수 있다.

신경망에서 검증 손실값이 다시 상승하는 현상을 완화하기 위하여 가중치 규제 방법이 사용될 수 있다.

활성화 함수는 인공신경망에서 각 뉴런이 입력을 받아 출력을 계산하는 함수이다.

시그모이드 함수는 S자형 함수로 로지스틱(logistic) 함수가 해당된다.

소프트맥스 함수는 입력받은 값이 0 ～ 1 사이의 값으로 출력되도록 정규화하여 출력의 총합이 1이 되는 특성을 갖는다.

리키렐루(Leaky ReLU) 함수는 입력값이 음수일 경우에 0을 출력하고, 그 외의 경우는 입력값을 그대로 출력한다.

약 0.01

약 0.05

약 0.95

약 0.99

P(간다)

P(간다 | 나는)

P(간다 | 학교에)

P(간다 | 나는, 학교에)

인코더를 통해 입력 데이터의 특징을 추출하고 디코더를 통해 원본 데이터를 재구성하는 학습을 한다.

잡음제거 오토인코더는 입력데이터와 동일한 데이터가 출력되도록 학습한다.

오토인코더는 출력의 결과가 입력값과 동일하도록 비지도 학습을 수행한다.

희소 오토인코더는 코딩층에서 출력값이 0이 아닌 노드의 개수를 최소화하는 오토인코더이다.

사전훈련을 통해 텍스트 데이터를 학습해 놓은 모델인 트랜스포머 언어 모델을 기반으로 한다.

이미지와 텍스트를 각각 임베딩 공간에 표현하고, 서로 대응하는 이미지와 텍스트의 유사도가 높아지도록 대조 학습(contrastive learning)을 수행한다.

제로 샷(zero-shot) 예측과는 달리, 클래스를 추가하고 모델을 재학습하여 새로운 입력 이미지를 분류할 수 있다.

시각 정보와 언어 정보 사이의 대응 관계를 학습한 멀티 모달 모델로 이미지 검색, 이미지 설명 생성, 시각 질의응답 등 다양한 작업으로 확장할 수 있다.

사전 학습된 백본(backbone)을 고정하고, 새롭게 초기화한 분류기 레이어만 학습한다.

모든 레이어를 동일 학습률로 한 번에 동시 미세조정(fine-tune) 한다.

사전학습 가중치를 전부 고정한 채 드롭아웃(dropout) 비율만 조정한다.

모든 레이어를 랜덤값으로 초기화하고 네트워크 전체를 새로 훈련한다.