나만의 인공지능 · 2강

참고 논문

2강 실습에서 손으로 바꿔 본 것들이 어디서 나온 이야기인지 정리했습니다. 실습 코랩의 단계 번호와 순서를 맞췄습니다.

다 읽으실 필요 없습니다. 강의에서 말씀드렸듯이 이걸 전부 공부하려면 너무 오래 걸립니다. 실습을 하다가 “이건 왜 이렇게 하지?” 싶은 대목이 생겼을 때, 그 단계만 찾아서 열어 보시면 됩니다.
0준비 — 숫자 크기 맞추기, 상자

데이터를 넣기 전에 손보는 단계. 학습이 잘 되게 만드는 밑작업입니다.

Efficient BackProp
Y. LeCun, L. Bottou, G. Orr, K.-R. Müller · 1998 · Neural Networks: Tricks of the Trade
숫자 크기를 왜 맞춰야 하는지. 범위가 제각각이면 학습이 한쪽으로 끌려갑니다.
Adam: A Method for Stochastic Optimization
D. Kingma, J. Ba · 2015 · ICLR
강의에서 말씀드린 보폭을 알아서 조절해 주는 방법이 이 논문입니다.
1층 하나

가장 단순한 형태. 층 하나짜리 두뇌가 사실 무엇인지.

The Regression Analysis of Binary Sequences
D. R. Cox · 1958 · Journal of the Royal Statistical Society B
살았나 죽었나처럼 둘 중 하나를 맞히는 문제의 원형. 딥러닝보다 40년 앞섰습니다.
2·3층을 하나 더, 그리고 셋

층을 쌓으면 왜 더 잘하게 되는지. 3번 단계에도 같은 논문이 그대로 적용됩니다.

Learning representations by back-propagating errors
D. Rumelhart, G. Hinton, R. Williams · 1986 · Nature 323
강의에서 오차의 산맥을 내려간다고 한 그 백프로퍼게이션의 원논문입니다.
Multilayer feedforward networks are universal approximators
K. Hornik, M. Stinchcombe, H. White · 1989 · Neural Networks 2
층을 충분히 쌓으면 어떤 함수든 흉내 낼 수 있다는 증명. 1강의 “함수를 거꾸로 만든다”가 여기 근거입니다.
Deep Sparse Rectifier Neural Networks
X. Glorot, A. Bordes, Y. Bengio · 2011 · AISTATS
시그모이드가 중간에 멈춰 버리는 자리에서 렐루는 왜 계속 가는지.
4외우지 못하게 막는다

연습 문제만 잘 푸는 두뇌가 되지 않게 하는 방법.

Dropout: A Simple Way to Prevent Neural Networks from Overfitting
N. Srivastava, G. Hinton, A. Krizhevsky, I. Sutskever, R. Salakhutdinov · 2014 · JMLR 15
훈련할 때 일부러 몇 개를 꺼 버리는 그 방법. 과적합을 막습니다.
Early Stopping — But When?
L. Prechelt · 1998 · Neural Networks: Tricks of the Trade
많이 훈련한다고 좋아지지 않는 이유와, 언제 멈춰야 하는지.
5구조는 그대로, 데이터를 손본다

좋은 요리사에게도 좋은 재료가 필요합니다. 모델을 안 건드리고 점수를 올리는 단계.

Titanic: Machine Learning from Disaster
캐글 대회 페이지
우리가 쓰는 데이터의 원래 출처입니다.
Titanic Data Science Solutions
M. Sehgal · 캐글 노트북
실습에서 쓴 호칭으로 빈 나이를 채우는 방법이 여기서 나왔습니다.
“Everyone wants to do the model work, not the data work”: Data Cascades in High-Stakes AI
N. Sambasivan 외 · 2021 · CHI (Google Research)
강의에서 데이터 사업이 커질 거라고 말씀드린 근거. 다들 모델만 하려 하고 데이터는 안 합니다.
6CNN

이미지에 쓰는 구조를 표 데이터에 가져오면 어떻게 되는지.

Gradient-based learning applied to document recognition (LeNet)
Y. LeCun, L. Bottou, Y. Bengio, P. Haffner · 1998 · Proceedings of the IEEE
1강에서 손글씨 숫자를 맞힌 그 구조의 원논문입니다.
DeepInsight: A methodology to transform a non-image data to an image for CNN
A. Sharma 외 · 2019 · Scientific Reports 9
표를 그림으로 바꿔서 CNN에 넣는 법. 우리가 실습에서 해 본 것이 이겁니다.
Why do tree-based models still outperform deep learning on typical tabular data?
L. Grinsztajn, E. Oyallon, G. Varoquaux · 2022 · NeurIPS Datasets & Benchmarks
왜 딥러닝을 써도 점수가 확 안 오르는지. 표 데이터에서는 원래 그렇습니다.
7트랜스포머

챗GPT를 만든 그 구조를 표 데이터에 써 보는 단계.

Attention Is All You Need
A. Vaswani 외 · 2017 · NeurIPS (Google)
지금 쓰는 모든 큰 모델의 출발점. 딱 한 편만 읽으신다면 이겁니다.
Revisiting Deep Learning Models for Tabular Data
Y. Gorishniy, I. Rubachev, V. Khrulkov, A. Babenko · 2021 · NeurIPS
트랜스포머를 표에 쓰면 실제로 어떤지 정직하게 비교한 논문입니다.
비교세 번 돌려 평균 내는 이유

한 번 돌린 점수만 보고 “이게 더 좋다”고 하면 안 되는 이유.

Accounting for Variance in Machine Learning Benchmarks
X. Bouthillier 외 · 2021 · MLSys
같은 코드를 두 번 돌려도 점수가 다릅니다. 그 차이보다 작은 차이는 의미가 없습니다.

← 2강으로 돌아가기  ·  대회 순위표