[DL] 0. Deep Learning이란?

in Study on AI

Deep Learning 수업 정리하겠다.

Deep Learning Techs

Object Recognition on images

  • ImageNet
  • AlexNet(2012)

Automatic Speech Recognition

Real-time Object Detecion becomes real.

  • You Only Look Once(YOLO, 2016)

Neural Machine Translation (NMT)

Machine translation(MT) as encoding/decoding has a sentence representation(bottleneck) layer.

Text Generation (deep writing)

Image Caption Generation

USe exactly same decoder with NMT

Question, Art, videio editing,

Neuroscience

우리는 뉴런이 전기화학적으로 어떻게 동작하는지 거의 정확하게 알고 있다. 문제는 뉴런이 뇌를 구성하기 위해 엄청나게 많은 수가 필요하다는 것이다. 1cm의 뉴런 집합이 1초 동안 동작한 결과를 시뮬레이션하려면 슈퍼컴퓨터를 1시간은 돌려야했다(2005년 기준). The scale of computation이 문제였다.

ANN

ANNs are computational models inspired by brain

  • processing units : nodes vs neurons
  • connections : weight vs synapses

‘What’ and ‘Where’ in brain

  • What : ventral stream to inferotemporal cortex

  • Where : dorsal stream to posterior parietal

As long as data and explanation is enough, DL can do anything.

Deep Learning

Which approach is more efficient?

Backpropagation

Pretraining

  • Optimization

  • Regularization

Representation (manifold)

Questions

Q1. 여전히 Deep Learning은 Blackbox 형태로 동작하나요? 그렇다면, Explainable AI는 존재하지 않는 개념인가요? A1. We can open the deep learning network, but we can not understand. 중간 과정에서 어떤 값들이 오고가는지 알아도, 그것의 의미를 알 수 없기 때문이다. Explainable AI는 중간 과정을 해석해주는 것이 아니라 근거를 설명하는 것을 목적으로 하고 있다.