w = 타겟단어 c = context 단어(주변 단어) 목표 는 단어 w를 임베딩 하는 것 = softmax regression 하는 Vw = 이게 주요 학습 대상. ~ 주변 단어의 벡터 Uc 는 softmax regression 잘 만들기 위한 부가적인 파라미터 (weight니까) Input = 하나의 값만 1인 어떤 한 단어의 벡터 주변 단어들의 확률을 계산 Loss function을 softmax cross entropy 문제로 풀어내기 위해 Vw 를 히든 레이어로 사용하여, 가중치 W와 C를 업데이트 하는 과정 원래 스킵그램 모델은 multi-class classification 문제인데 NC estimation 으로 단순화 NCE의 핵심아이디어 1. 고차원 multi-class classific..

임베딩의 종류 1. Tf-idf 위의 방법은 문서의 개수가 제한되어 있다는 한계점 -> 단어-문서 를 단어-단어로 바꾼다 주변의 n개의 단어를 같이 본다 단어의 길이보다 “방향”이 중요 = 각도 theta 가 중요 두 단어의 벡터간의 각도 theta가 작을 수록 두 단어는 비슷하다 로그를 취함으로써 좀 더 smooth 하게 증가하도록 함 Td-idf 는 단어의 개수(= v) 만큼 연산이 커지지만 임베딩은 d 가 몇백개 수준 파이토치나 텐서플로우에서 두 가지를 동시에 사용할 것 -> wide 한 표현과 deep한(보통 임베딩은 여러 레이어를 쌓아서 씀) 표현의 특징을 결합

P ( data | theta) = Likelihood란? = 모수가 theta 일때, 해당 데이터가 나타날 확률 Wi는 하나의 문장

[목차] 1. 선형분류의 목표와 방법들 2. 판별함수 3. 분류를 위한 최소제곱법 4. 퍼셉트론 알고리즘(The Perceptron algorithm) 5. 확률적 생성 모델 (Probabilistic generative models) 6. 확률별 식별 모델 (probabilistic discriminative models) =============================================== 1. 선형분류의 목표와 방법들 2. 판별함수 Discriminant Functions - 확률을 직접 계산하진 않고, 바로 클래스 할당 - ex) binary class 결정경계 : y=0으로 두었을 때의 2개의 벡터로 만들어짐 그림의 이해 빨간선 = y=0일 때, decision boundary ..

[목차] 1. 선형 기저 함수 모형 2. 최대우도와 최소제곱법 -> 편향 파라미터 w0 와 b의 최적의 우도 구하기 3. Maximum Likelihood의 기하학적 의미 4. 온라인 학습(Sequential Learning) - Large linear regression 5. 규제화된 최소제곱법 (Regularized Least Squares) 6. 편향 분산 분해(Bias-Variance Decomposition) 7. 베이지안 선형회귀 (Bayesian Linear Regression) ======================================= 1. 선형 기저 함수 모델 x는 비선형이라도 w는 선형!!!! 선형 기저 함수의 예시 ex) 다항식 기저함수 = j에 따라서 얼마나 x를 제곱해..

[목차] 1. 가우시안 분포의 기대값 2. 가우시안 분포의 공분산 3. 조건부 가우시안 분포 4. 주변 가우시안 분포(Marginal Gaussian Distributions) 5. 가우시안 분포를 위한 베이즈 정리(Bayes’ Theorem for Gaussian Variables) ============================================= 1. 가우시안 분포의 기대값 X는 벡터이고 X 의 기대값도 벡터이다 X1에 대한 기대값은 모든 x와 그 확률에 대해 적분한 값 가우시안 분포에서 x의 기대 값은 보기 쉽게 z로 변환하여 z에 대한 적분 으로 변형 아래의 식은 모든 Y 에 대한 적분 다시 한번 강조 하자면 결과 값은 벡터이다 이를 풀면 오른쪽 상단에 있는 하드 function으..

뮤k도 각각 k개의 벡터임 K는 파라미터 뮤k의 합은 1 x는 확률분포. 기대값도 각각의 값을 가짐

베이지언 방법 이런 식으로 들어오는 데이터 값으로 사전 확률을 업데이트 해 나가면 극단적인 데이터가 들어올때도 (만약 빈도 주의적 방법이 라면 극단적인 기대 값으로 예측 했겠지만 이와는 달리 베이지언은) 어느 정도 불확실성을 남겨둔 채로 기대 확률을 예측할 수 있다

판별모길 - 확률값 계산 없이 입력값을 할당하기만 함 함