[DL] 1. Deep Feedforward Networks

in Study on AI

Deep Learning을 정리하겠다.

Deep feedforward networks, 다른 말로는 feedforward neural networks(순방향 신경망) 혹은 multilayer perceptrons(MLPs)(다층 퍼셉트론)는 deep learning model의 본질과 다름 없다. 순방향신경망의 목적은 어떤 함수 f를 근사화하는 것이다. 예를 들어, \(y=f(x)\) 인 분류기가 입력값 x를 y로 분류한다고 하자. 순방향 신경망(feedforward network)는 \(y=f(x;\seta)\) 를 정의하고, 가장 잘 근사화한 파리미터 \(\seta\) 를 학습한다. 입력값 x로부터 함수 f를 정의하고, 결과 y를 계산하기까지 feedforward로 정보가 흐른다. 모델의 결과 y로부터 다시 feedback을 받지는 않는다. 결과값 y가 입력값 x가 되지는 않는다는 뜻이다. 만약 그렇다면, 그 모델은 recurrent neural networks라고 불릴 것이다. 이는 자연어 처리에 유용하다. 한편, 객체 인지에 사용되는 convolutional networks는 사진에 특화된 순방향신경망이다. 그만큼 순방향 신경망은 다양한 학습모델의 기반이 된다.

[OODP] 4. Branching Statements and Logical Operators

in Study on OODP

POSTECH OODP Lecture at 24SS

Branch Statements

if Statement

Syntax: if (test_expression) statement

if else Statement

Syntax: if (test_expression) statement1 else statement2

[mul_dim_array.cpp]: [cctype.cpp]: [출처:C++예약어(Keyword)목록]: https://blog.naver.com/ydk928/60109312145 [출처:예약어]: https://www.devkuma.com/docs/c/%EC%98%88%EC%95%BD%EC%96%B4-keyword/

[Circuit] 0. 회로이론 목차

in Study on HW

2024SS HGU 회로이론 강의, 뽕교수의 회로이론 강의

1. 정의 정리

물리량

전하

전류

  • 전류의 방향은?

    전압

  • 오류 4가지
    • 전압은 전기의 압력이다
    • 전압은 전류를 흐르게 하는 힘이다
    • 전류의 세기는 전압에 비례한다
    • 전류는 높은 전위에서 낮은 전위로 흐른다

      전력과 전력량

[OODP] 2. Compound Types(4)

in Study on OODP

POSTECH OODP Lecture at 24SS

Allocating Memory with new

short months[12];   // creates array of 12 short

할당하는 크기는 반드시 정수형 상수여야 한다(변수여서는 안된다). 물론, compile time에는 실제로 얼마나 메모리가 필요할지 모를 수도 있다. 그 경우에는 dynamic memory allocation을 활용한다.

int num_students;
cin >> num students;
int student_scores[num_students];   // invalid

int *student_score = new int[num_sutdents];
student_score[0] = 100;
student_score[1] = 50;
// ...
  • new operator : dynamically allocates a memory space and returns its address

[DL] 0. Deep Learning이란?

in Study on AI

Deep Learning 수업 정리하겠다.

Deep Learning Techs

Object Recognition on images

  • ImageNet
  • AlexNet(2012)

Automatic Speech Recognition

Real-time Object Detecion becomes real.

  • You Only Look Once(YOLO, 2016)

Neural Machine Translation (NMT)

Machine translation(MT) as encoding/decoding has a sentence representation(bottleneck) layer.

Text Generation (deep writing)

Image Caption Generation

USe exactly same decoder with NMT

Question, Art, videio editing,

Neuroscience

우리는 뉴런이 전기화학적으로 어떻게 동작하는지 거의 정확하게 알고 있다. 문제는 뉴런이 뇌를 구성하기 위해 엄청나게 많은 수가 필요하다는 것이다. 1cm의 뉴런 집합이 1초 동안 동작한 결과를 시뮬레이션하려면 슈퍼컴퓨터를 1시간은 돌려야했다(2005년 기준). The scale of computation이 문제였다.

ANN

ANNs are computational models inspired by brain

  • processing units : nodes vs neurons
  • connections : weight vs synapses

‘What’ and ‘Where’ in brain

  • What : ventral stream to inferotemporal cortex

  • Where : dorsal stream to posterior parietal

As long as data and explanation is enough, DL can do anything.

Deep Learning

Which approach is more efficient?

Backpropagation

Pretraining

  • Optimization

  • Regularization

Representation (manifold)

Questions

Q1. 여전히 Deep Learning은 Blackbox 형태로 동작하나요? 그렇다면, Explainable AI는 존재하지 않는 개념인가요? A1. We can open the deep learning network, but we can not understand. 중간 과정에서 어떤 값들이 오고가는지 알아도, 그것의 의미를 알 수 없기 때문이다. Explainable AI는 중간 과정을 해석해주는 것이 아니라 근거를 설명하는 것을 목적으로 하고 있다.

[OODP] 2. Compound Types(3)

in Study on OODP

POSTECH OODP Lecture at 24SS

Compound Types

  • Built on basic types.
  • Arrays, strings, pointers, structures

Pointers

Variable that holds the address of a value in Linear memory model

Linear memory model은 flat memory model이라고 불리기도 한다.

프로그램 기준에서 memory는 continuous memory addresses를 가진 것처럼 보이기 때문이다. 이것은 실제 physical addresses와는 다르다.

Pagination