모북의 코딩블로그

All materials are copyrighted and licensed under MIT license. © Alexander Amini and Ava Amini MIT Introduction to Deep Learning IntroToDeepLearning.com MIT Deep Learning 6.S191 MIT's introductory course on deep learning methods and applications. introtodeeplearning.com 이 강의 자료에 대한 모든 저작권은 MIT 에 있으며, 관련 자료가 필요하신 분은 위 사이트로 들어가면 누구나 자료를 다운받을 수 있으니 참고하길 바란다. 시험기간 제외하고 일주일에 한 강좌씩 보는게 목표였는데 종프랑 여러 과제때..

All materials are copyrighted and licensed under MIT license. © Alexander Amini and Ava Amini MIT Introduction to Deep Learning IntroToDeepLearning.com MIT Deep Learning 6.S191 MIT's introductory course on deep learning methods and applications. introtodeeplearning.com MIT에서 2023년 3월 10일부터 5월 12일까지 매주 아침 10시에 진행된 Introduction to Deep learning 강좌가 진행되었다. 이 강의는 매년 진행되는 것으로 보이고, 학교 교수님께서 혼자 인공지능을 더..

다양한 DCNN 구조에 대해 간단하게 살펴보겠다. 아래에서 살펴볼 4개의 모델들은 ILSVRC(ImageNet Large Scale Visual Recognition Challenge)라는 대회에서 만들어진 모델이다. 2010년부터 2017년까지 진행되었으며 이 대회는 DCNN에 큰 혁신을 일으켰다. AlexNet (2012) 최초로 DCNN 구조를 사용한 방식이다. 이 방식이 기존의 ML 방식을 크게 뛰어넘게 되고, 이후의 방법에도 큰 영향을 주었다. 구조 5개의 convolution 층과 3개의 FC 층이 있다. 커널을 11*11,5*5,3*3 형태를 사용하였다. 특징 활성화 함수롤 ReLU 처음 사용 FC layer 사이에 dropout 사용 데이터 증강 기법 사용 Batch size 는 128 V..

생성 모델 주어진 학습 데이터를 기반으로 해당 분포에서 새로운 샘플을 생성한다. 우리는 P_model(x)를 얻어서 새로운 x를 샘플링하는 것이 목적이다. 명시적(explicit) 밀도 추정 : P_model(x) 를 명시적으로 정의하고 찾아내는 방법 암시적(implicit) 밀도 추정 : P_model(x)를 명시적으로 정의하지 않고도 샘플링 할 수 있는 모델을 학습하는 방법 화소를 독립적으로 생각하여 이미지를 생성하는 모델 확률적 생성모델 화소 별로 확률을 파악해 랜덤으로 생성한다. 화소별로 학습해 생성한 결과는 그리 좋지 않게 보인다. 그래서 뒤쪽에 나오는 오토인코더나 GAN 등이 만들어졌다. 화소가 서로 독립적이지 않다고 생각하는 모델 PixelRNN 순환 신경망을 이용하여 생성하는 방법 새롭게 ..

강화 학습 보상 또는 페널티와 같은 피드백으로 에이전트의 학습 과정을 돕는 방법 강화학습과 지도학습의 비교 지도 학습 (신경망) 강화 학습 문제(데이터) 훈련 집합 X와 Y 환경 또는 환경에서 수집한 데이터 최적화 목표 o 과 y의 오차인 |o-y| 최소화 누적 보상 최대화 학습 알고리즘이 알아내야 하는 것 오차 최소화하는 신경망의 가중치 누적 보상을 최대화하는 최적 정책 품질을 평가하는 함수 손실함수 가치함수 학습 알고리즘 SGD 동적 프로그래밍, Salsa, Q러닝, DQN 등 탐사형 정책과 탐험형 정책 에이전트가 주어진 state에서 어떤 action을 선택할지 결정하는 규칙이나 전략 탐사형 정책 (exploitation policy) 이미 알려진 영역이나 분야를 더 자세히 조사하고 연구하는 과정 ..

시계열 데이터 시계열 데이터란? 시간 축을 따라 신호가 변하는 동적 데이터 심전도, 주식, 음성인식 등이 있다. 시계열 데이터 특성 요소의 순서가 중요하다. (time dependency) 샘플의 길이가 다르다. 문맥 의존성 (context dependency) 를 가진다. 계절성(seasonality)을 가지는 데이터가 있다. 시계열 데이터 표현 (가변길이, 벡터의 벡터로 구성) 시계열 데이터 구조 윈도우 크기 (w) : 문제의 이전 요소를 얼마나 볼 것인가? 수평선 계수 (h) : 얼마나 먼 미래를 예측 할 것인가? 데이터가 다중 품목을 표현하고 있을 수도 있다. 다중 채널의 데이터는 벡터의 벡터 구조로 표현하면 된다. X1 = ((34,12), (35,10), (36,8)) Y1 = (35, 15)..