본문 바로가기

ML & DL (Machine Learning&Deep Learning)13

[Deep Learning] Transformer - Attention is All You Need (NIPS 2017) ⊙ 개요 현 자연어 처리 모델 중 State of the Art로 활용되는 GPT, BERT 등의 모델의 기반이 되는 Transformer 아키텍처 논문(Attention is All You Need)에 대해 알아보겠습니다. ⊙ NMT (Neaural Machine Translation) NMT는 자동화된 언어 번역을 위한 End-to-End Learning 접근 방식입니다. NMT는 기존의 구문 기반 통계(Counting) 기계 번역 시스템의 여러 가지 약점을 극복할 수 있습니다. 기계 번역은 지난 몇 년간 큰 성공을 거뒀지만 여전히 어려운 작업으로 남아 있습니다. NMT와 언어 이해 모델의 최근 역사를 살펴보겠습니다. 2017년에 소개된 Transformer 아키텍처는 NMT에 중대한 이정표를 제공했.. 2022. 2. 26.
[Deep Learning] ResNet - Deep Residual Learning for Image Recognition (CVPR 2016) ResNet¶ Original Paper Link: https://arxiv.org/abs/1512.03385 개요¶ 깊은 네트워크에서 학습시키기 위한 방법으로 잔여 학습(residual learning)을 제안합니다. 기본적으로 네트워크가 깊어지면 깊어질수록 더욱 더 풍부한 특징들을 데이터로부터 추출해낼 수 있게 되고, 이로 인해 더욱 더 높은 성능을 뽑아 낼 수 있는것이 일반적으로 보여주는 양상이다. 다만, layer가 너무 깊어지면 오히려 성능이 위 그림처럼 떨어지는 것을 확인할 수 있다. 일반적으로 layer를 계속 쌓아 어느 일정 수준부터는 성능이 떨어지는것을 보완하기 위해 잔여 학습을 적용한 CNN(ResNet)을 통해 이러한 문제를 해결할 수 있음을 알 수 있다. 즉, 더 깊은 layer가 .. 2021. 11. 11.
[Machine Learning] MulipleRegression & Regularization 다중회귀 - MultipleRegression¶ 선형회귀(Linear Regression)를 통해 하나의 특성(feature)을 사용하여 모델을 훈련시켰다. 여러 개의 특성을 사용한 선형회귀인 다중회귀에 대해 알아보자. Dataset¶ In [1]: import pandas as pd df = pd.read_csv("http://bit.ly/perch_csv_data") perch_full = df.to_numpy() print(perch_full) [[ 8.4 2.11 1.41] [13.7 3.53 2. ] [15. 3.82 2.43] [16.2 4.59 2.63] [17.4 4.59 2.94] [18. 5.22 3.32] [18.7 5.2 3.12] [19. 5.64 3.05] [19.6 5.14 3.. 2021. 10. 13.
[Machine Learning] LinearRegression k-최근접 이웃의 문제점¶ k-최근접 이웃을 사용해 예측을 진행할 때 발생하는 큰 문제는 훈련 세트 범위 밖의 샘플을 예측을 못한다는 것이다. 아무리 멀리 떨어진 샘플이라 할지라도 가장 가까운 k개의 샘플로 매칭되기 때문이다. LinearRegression¶ 이 문제점을 해결하기 LinearRegression을 이용하여 훈련 세트에 잘 맞는 직선의 방정식을 찾아 회귀문제를 해결한다. Dataset¶ In [2]: import numpy as np In [3]: perch_length = np.array([8.4, 13.7, 15.0, 16.2, 17.4, 18.0, 18.7, 19.0, 19.6, 20.0, 21.0, 21.0, 21.0, 21.3, 22.0, 22.0, 22.0, 22.0, 22.0, .. 2021. 10. 13.
[Machine Learning] KNeighborsRegressor 회귀문제 다루기¶ 농어의 높이, 길이 등을 수치로 무게를 예측해 달라 요청할 때, 회귀(임의의 수치 예측) 문제이다. 농어의 길이를 사용하여 무게를 예측하는 k-최근접 이웃 모델을 생성한다. k-최근접 이웃 회귀 모델은 가까운 k개의 이웃을 찾고, 이웃 샘플의 타깃값을 평균으로 샘플의 예측값을 사용한다. 사이킷런은 회귀모델의 점수로 R^2, 즉 결정계수 값을 반환한다. 이 값을 1에 가까울수록 좋다. 정량적인 평가를 하고 싶다면 사이킷런에서 제공하는 다른 평가 도구를 이용할 수 있다. 모델 훈련 후, 훈련 세트와 테스트 세트에 대해 모두 평가 점수를 구할 수 있는데, 두 점수 차이가 크면 좋지 않다. 과대/과소 적합에 유의해 모델을 적절히 바꿔야한다. k-최근접 이웃의 경우는 과대적합일 경우 k값을 늘려.. 2021. 10. 13.
[Kaggle] Exercise: A Single Neuron Kaggle - A Single Neuron A Single Neuron Explore and run machine learning code with Kaggle Notebooks | Using data from DL Course Data www.kaggle.com This notebook is an exercise in the Intro to Deep Learning course. You can reference the tutorial at this link. Introduction¶In the tutorial we learned about the building blocks of neural networks: linear units. We saw that a model of just one linea.. 2021. 10. 5.
[TensorFlow] Data Scaling의 중요성 개요¶ '핸즈 온 머신러닝' 2판 10.2장(372p)을 공부하면서 스케일 조정이 왜 필요할까에 대한 의문이 생겼다. 데이터 준비¶ In [1]: %tensorflow_version 2.x from tensorflow import keras In [2]: fashion_mnist = keras.datasets.fashion_mnist (X_train_full, y_train_full), (X_test, y_text) = fashion_mnist.load_data() Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/train-labels-idx1-ubyte.gz 32768/29515 [=============.. 2021. 9. 17.
[DE & DS] 시계열 데이터 분석을 위한 판다스 사용법 금융 데이터 전처리와 분석을 위한 판다스 사용법¶ 데이터 가져오기¶ 내가 제일 좋아하는 주식, 애플(AAPL) 주식을 이용해 판다스의 간단한 사용법에 대해 알아보자. Yahoo Finance를 통해 애플 주가 CSV 파일 데이터를 다운로드한다. In [1]: import pandas as pd df = pd.read_csv('AAPL.csv') df.head() Out[1]: Date Open High Low Close Adj Close Volume 0 2020-09-01 132.759995 134.800003 130.529999 134.179993 133.322495 151948100 1 2020-09-02 137.589996 137.979996 127.000000 131.399994 1.. 2021. 9. 5.
[DE & DS] 경제 뉴스를 분석해보자! (1) 서론 나는 2020.02.20부터 주식을 시작하기 시작했다. 시작한 이유는 아주 단순하다. 저 날이 훈련소 입소일이었고, 매우 간단한 귀납적(?)인 사고로부터 "지금까지 올랐으니 추후에도 오를 거야!"라는 생각으로 전재산을 미국 주식에 투자 후 유유히 떠났다. COVID 19 패닉으로 가격이 폭락했고, 고점에 물린 김에 가치 투자 및 장기 투자자가 되었다. 다양한 주식 용어를 공부하면서 매일 뉴스들을 살펴보면서 미연준의 금리, 투자한 회사들의 현금 흐름 등에 관한 기사를 많이 읽었다. 하지만, 내 직업이 금융 애널리스트나 펀드 매니저가 아니기에 시간 투자가 한정적이었다. 그래서 금융 기사 속에서 나오는 키워드들을 정리한 후, 시각적으로 보여주는 프로그램을 만들면 좋겠다는 생각이 들었다. 재테크에 쏟는 시.. 2021. 8. 2.
반응형

티스토리툴바