fbpx
machine 2019-06-16T20:07:52+00:00

딥러닝 과정

강의 일정

[7차] 토요일 10시~ 15시 || 7/6 개강 (잔여 3석 / 10석)

강의 개요

프로그래밍의 패러다임을 바꾸고 있는 딥러닝, 그러나 복잡한 수식과 생소한 전문 용어들 때문에 진입 장벽이 높게만 느껴집니다. 연구자들의 최신 논문들과 세계 유수 대학들의 강의를 비롯해 스스로 학습할 수 있는 모든 자료가 온라인으로 모두 공개되어 있지만 선뜻 시작하기 어려운 이유이기도 합니다. 시중에도 딥러닝을 다루는 강의들은 많지만, 딥러닝이라는 분야의 철학까지 제대로 전달하는 강의는 매우 드문 것이 현실입니다. CNN이네, RNN이네 하는 모델들을 배운 후 Tensorflow로 코드도 짜보고, 예측 성능도 올려보고 하지만 본질적인 부분은 이해가 잘 되지 않죠. 강의를 들어도 그런 모델들을 학습시킨다는게 무슨 의미인지, 왜 하필 저런 형태로 생긴 모델을 사용하는건지 와닿지 않습니다.

본 과정에서는 딥러닝을 Representation Learning이라는 큰 틀에서 바라보고 Representation Learning이 왜 중요한지, 각 딥러닝 알고리즘들이 어떤 방식으로 Representation을 학습하는지 이해하게 됩니다. 2019년 현재는 컴퓨터 비전 분야에 이어 자연어 처리 분야에서 딥러닝 혁명이 일어나고 있는 시기입니다. 이렇게 자연어 처리 분야에서 혁명을 주도하고 있는 OpenAI의 GPT-2, Google의 BERT와 같은 모델들도 결국 같은 맥락으로 자연어의 Representation을 ‘똑똑하게’ 학습했기에 강력한 성능을 보여주는 것이죠. 이런 맥락을 모른채로 딥러닝을 그저 무언가를 분류하고 예측하는 예측 모델의 일종 정도로만 배운다면 딥러닝이 왜 그렇게 좋다는 것인지, 그래서 딥러닝을 현실적으로 내 문제에 어떻게 적용시킬 수 있다는 것인지 영 와닿지 않는 것이 당연합니다. 겨우 손글씨나 개, 고양이를 분류하려고 딥러닝을 배우는건 아닐텐데 말이죠.

수강생들은 8주간 딥러닝을 ‘현실적으로’ 활용하는 방법에 대해 배우게 됩니다. 온라인에서 쉽게 얻을 수 있는 개론 수준의 지식보다는 실제 적용시의 작업 파이프라인에 대해 배우거나 핵심 논문들을 읽는 등 독학으로 접근하기 어려운 부분에 더 집중하게 됩니다. 본 강의를 통해 딥러닝이라는 분야가 본질적으로 어떤 것을 추구하며 어떤 의미를 가지고 있는지, 도대체 왜 이렇게 뜨거운 분야이고 내 문제에 적용하기 위해서는 어떤 과정을 거쳐야 하는지 이해하실 수 있게 될거에요. 배경 지식보다는 딥러닝을 통해 어떤 문제를 풀고 싶은지 뚜렷한 목표를 가지고 수강하시는 것을 추천드립니다. 길다면 길고, 짧다면 짧은 8주간의 수업을 통해 가치있는 영감을 얻어가실 수 있을거에요. 🙂

* 본 강의는 실습 위주의 강의가 아니므로 프로그래밍 경험은 없어도 괜찮습니다.

커리큘럼

Week 1 : INTRO TO MACHINE LEARNING

기계의 학습이 어떻게 이루어지는지 배우는 시간입니다.

머신러닝이라는 분야가 본질적으로 가지고 있는 한계에 대해 생각해보게 됩니다.

머신러닝에서 문제를 정의하는 방식에 대해 배웁니다.

최적화와 경사 하강법에 대해 배우고, 기계는 어떻게 학습하는지 이해합니다.

간단한 회귀 모델을 코드로 바닥부터 구현해봅니다.

통계적 학습 이론에 대해 배우고, 머신러닝에서 발생할 수 있는 문제들에 대해 이해합니다.

Week 2 : GENERALIZATION & MODEL SELECTION

모델의 학습에 사용되는 데이터는 현실의 데이터에 비하면 티끌에 불과합니다. 그런데 왜 머신러닝 모델이 현실에서도 잘 작동할까요?

머신러닝은 본질적으로 귀납 논증이고, 귀납 논증에서 발생할 수 있는 모든 한계와 문제점을 그대로 안고 있습니다. 따라서 머신러닝을 안전하고 정확하게 사용하기 위해서는 ‘일반화’의 성질에 대해 확실히 이해하고 있어야 합니다. 뿐만 아니라 연구자는 도메인, 데이터, 모델에 대해서도 누구보다 잘 이해하고 있어야만 합니다. 이런 부분에 대한 고민이 없는 머신러닝 프로젝트는 실패하기 마련입니다.

두 번째 수업은 머신러닝 프로젝트를 진행할 때 연구자가 각별히 신경써야 하는 부분들에 대해 이해하는 시간입니다.

일반화 (Generalization)와 과적합 (Overfitting)에 대해 배웁니다.

모델 선택 (Model Selection)과 평가 (Model Assessment)에 대해 배웁니다.

Evaluation Metric과 Validation Strategy에 대해 대해 배웁니다

여러 Regularization 방법론들에 대해 배웁니다.

EDA와 Feature Engineering의 개념에 대해 배웁니다.

 머신러닝을 현실 서비스에 적용하기 위해 고려해야 할 사항들에 대해 배웁니다.

Week 3 : CLASSIFICATION & NEURAL NETWORK

분류 문제를 푸는 방법에 대해 배우고 신경망 모델에 대해 처음 배우는 시간입니다.

Logistic Regression과 Softmax Regression에 대해 배웁니다.

Cross-Entropy에 대해 배웁니다.

Maximum Likelihood  / Maximum A Posteriori Estimation에 대해 배웁니다..

Multi-layer Perceptron에 대해 배웁니다.

Week 4 : DEEP NEURAL NETWORK

데이터의 Representation의 개념에 대해 배우고, 딥러닝이 다른 머신러닝 기법과 차별화되는 이유가 무엇인지 이해하는 시간입니다.

또한 심층 신경망의 학습 시 발생할 수 있는 문제들을 따져봅니다.

신경망의 내부의 정보 처리 매커니즘에 대해 이해하며 딥러닝에 대한 직관을 기릅니다.

역전파 알고리즘과 Tensorflow, Pytorch 등 딥러닝 프레임워크의 역할에 대해 이해합니다.

신경망이 깊어지면서 발생할 수 있는 문제들과 가능한 해결 방법들에 대해 배웁니다.

Batch Normalization, Layer Normalization 등 여러 Normalization 테크닉들에 대해 배웁니다.

심층 신경망의 Regularization에 대해 배웁니다.

[arXiv:1806.05236] Manifold Mixup: Better Representations by Interpolating Hidden States

Week 5 : COMPUTER VISION

딥러닝의 가장 대표적인 응용 분야인 컴퓨터 비전에 대해 배우는 시간입니다.

1998년부터 2019년 현재까지 CNN이 구조적으로 어떻게 변해왔는지 대표적인 모형들을 배우며 이해합니다.

전이 학습이라 부르는 간단한 Fine-Tuning을 통해 문제를 해결하는 관점에 익숙해지는 것이 목표입니다.

CNN 내부의 정보 처리 방식에 대해 이해합니다.

ResNet, Inception, DenseNet 등 Backbone 구조들에 대해 배웁니다.

CNN의 Scaling이 주는 효과에 대해 이해하고, Google의 EfficientNet (2019.05) 에 대해 배웁니다,

전이 학습 (Transfer Leraning)의 개념에 대해 배우고, 데이터의 Representation의 개념에 대해 다시 한번 배웁니다.

[arXiv:1905.11946] EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks

Week 6 : GENERATIVE ADVERSARIAL NETWORK

사실처럼 보이는 가짜 이미지를 생성해내는 딥러닝 알고리즘, GAN에 대해 배우는 시간입니다.

GAN은 2014년 첫 등장 이후 환상적인 결과들을 보여주며 예술 등 창의성이 필요한 많은 분야들에 영감을 가져다 주었습니다

또한 지도학습이라는 패러다임을 확장하고, 특히 강화학습과 같은 분야에서 새로운 프레임워크를 제시하는 등 많은 반향을 불러일으켰습니다.

이런 GAN이 어떤 매커니즘으로 사실적인 이미지를 생성해 내는지 이해하게 됩니다.

GAN 학습 과정의 불안정성과 여러 우회 방법들에 대해 배웁니다.

이미지를 다른 스타일의 이미지로 변환해주는 Pix2Pix, CycleGAN 등에 대해 배웁니다.

 심화된 Normalization 기법들과 StyleGAN, GauGAN 등의 최신 GAN 구조에 대해 배웁니다.

[arXiv:1905.08233] Few-Shot Adversarial Learning of Realistic Neural Talking Head Models

Week 7 : NATURAL LANGUAGE PROCESSING

전통적인 순환 신경망 (RNN)을 통한 자연어 처리가 아닌 Transformer 기반 모델을 응용한 현실적인 자연어 처리에 대해 다룹니다.

전이 학습을 통해 상대적으로 적은 데이터로 대화형 챗봇, 질의 응답, 감정 분석 등 여러 자연어 문제들을 해결하는 방법론에 대해 배웁니다.

Word Embedding과 Language Modeling에 대해 배웁니다.

Self-Attention과 Transformer, Contextualized Word Embedding에 대해 배웁니다.

Google의 BERT나 OpenAI의 GPT-2, Microsoft의 MT-DNN와 같은 최신 자연어 모델에 대해 배웁니다

자연어 처리 문제의 전이 학습에 대해 배웁니다.

[arXiv:1706.03762] Attention Is All You Need

[arXiv:1810.04805] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

Week 8 : GRAPH NEURAL NETWORK & RECOMMENDER SYSTEM

분자 구조에서부터 사회 관계망까지, 그래프 형태로 존재하는 많은 데이터들에 딥러닝을 적용하는 방법에 대해 배우는 시간입니다.

또한 앞서 배웠던 내용들을 응용해 딥러닝 기반의 추천 알고리즘을 만드는 방법에 대해서도 배우게 됩니다.

앞서 배웠던 Convolution과 Attention, GAN을 Graph에 적용하는 방법론들에 대해 배웁니다.

협업 필터링, 행렬 분해 등 기존의 추천 알고리즘에 대해 배우고, 이를 딥러닝 모델로 일반화하는 방법에 대해 배웁니다.

Google Playstore의 App 추천 알고리즘, Youtube의 동영상 추천 알고리즘 등 여러 기업들의 추천 알고리즘에 대해 배웁니다.

자연어 처리, Graph NN를 응용한 최신 추천 알고리즘에 대해 배웁니다.

수강생 후기

  • Jinwoo Kim Avatar
    Jinwoo Kim

    무조건 따라쓰는 코드가 아니라 머신러닝에 쓰인 코드가 왜, 어떻게 동작하는지를 배울 수 있습니다!
    tensorflow 등의 머신러닝 함수를 그냥 불러다 사용하는게 아니라
    사람의 튜닝이 필요한 작업으로써 어떤 고민이 필요한지도 알게 될겁니다!
    이 수업을 듣기 전 Andrew ng의 강의도 듣고 유명한 ISLR...
    [더 읽기]

  • Eunjung Lee Avatar
    Eunjung Lee

    머신러닝의 처음 시작이 너무 어렵게만 느껴지는 분들께 Gradient 강의를 적극 추천합니다!
    사회 과학 분야 연구자로서 머신러닝을 연구에 적용하는 것을 꿈꾸면서도 과연 가능할지 의문으로 남아있었습니다. 이전에도 빅데이터 관련 강의를 들어봤지만, 코딩에서부터 좌절감을 느껴 비 전공자인 제 자신이...
    [더 읽기]

  • Wonho Song Avatar
    Wonho Song

    만약 본인이 머신러닝 본질에 대해 알고 싶다면 이 수업을 꼭 추천합니다.
    저는 모두의 딥러닝, 케글 엔드류 교수님의 머신러닝 강의를 수강한 학생이었습니다. 본 저서로는 핸즈온 머신러닝 등 데이터 사이언스 분야의 책을 여러 읽었습니다.
    하지만 공부를 하면서 점점더 스킬적인것만 배우는 공부를...
    [더 읽기]

  • Hye-yoon Eom Avatar
    Hye-yoon Eom

    머신러닝 공부에 있어 가장 큰 어려움은 온오프라인에 넘쳐나는 자료와 매일 같이 정신없이 쏟아지는 논문과 연구들로 인해 이제 막 그 세계에 발을 들여 놓은 사람은 시작도 전에 그 양에 압도되고 만다는 점이 아닐까요?
    작은 실행부터 해보자는 생각으로 유명하다는 동영상...
    [더 읽기]

강의 정보

/** 강의 장소는 강남 토즈 토즈타워점이고, 40시간 (5시간 * 8주) 동안 진행됩니다. **/

/** 강사는 수학 전공자이고, 머신러닝 컨테스트 수상 경력과 국내 여러 기업들과의 머신러닝 관련 협업 경력이 있습니다.

현재는 ssg.com과 딥러닝을 활용한 개인화 추천 알고리즘 개발 프로젝트를 진행중입니다. **/

950,000원

강의 자료
수강 신청
홈으로

사업자등록번호 : 263-41-00360    |    대표 : 유준형    |    GRADIENT 2019