A.I7 Time2Vec IDEA 내가 고민했던 부분과 비슷한 목적을 가지고 있어서 읽어봤다. RNN베이스 모델은 squential data를 다루는데 뛰어난 결과를 나타내지만, time-series data를 다루는데 특화되있는 것은 아니라고 말한다.그래서 data를 preprocessing하여 feature를 추출하는데 전문과들이 필요하고 손수(hand-crafting)작업하기 떄문에 시간, 노력과 비용이 많이 필요하다. Time2Vec은 새로운 모델을 제시하는 것이 아니라 Time-series data의 represnetation을 하는 방법을 새로 만든 것이다.(our goal is not to propose a new model for time series analysis, but instead to propose a .. 2020. 10. 3. Stock Market Prediction on High-Frequency Data Using Generative Adversarial Nets IDEA 이 논문은 새로운 architecuture를 만들기는 보다는 그동안 stock prediction에는 GAN모델을 사용하지 않았는데 사용해 보았더니 기존에 있던 모델들 보다 좋은 성능이 나왔다는 것이다. 모델도 실험을 위한 모델로 GAN을 어떻게 만드는냐에 따라 크게 달라질 것으로 보인다. Generator부분은 LSTM으로 구축하였는데, 사실 squential data에서 성능이 좋아보이는 것은 Transformer모델로 LSTM대신에 Transfomer모델을 썼을 경우 어떻게 되었는가에 대한 실험도 있었으면 좋겠다. GAN이란? GAN은 unsupervised learning을 하는 모델로 Generator, Discriminator 2가지 모듈이 있다. Generator는 uniform d.. 2020. 10. 1. Predicting and Recommending Food Ingredient Pairings IDEA 이 논문은 Siamese Neural Networks을 사용하여 레시피를 학습하고 새로운 조합을 추천해주는 모델이다. Siamese Neural Networks은 클래스간 여러조합의 Pair를 만들고 같은 Network를 통해 fully conntected netowrk를 만든다. 하지만, 마지막 output에서 2개 결과간의 distance를 구하여 학습하도록 한다. label데이터가 아니라 Pair로 된 데이터가 서로에게 label되어 같은 class인지 아닌지를 확인시켜주기 때문에 기존에 학습되어있지 않은 데이터가 들어오더라도 분류할 수 있고, 데이터 셋에 기존에 Pair로 되어있지 않아도 충분히 같은 class인지 분류할 수 있다고 생각되어진다. [https://kyounju.tistor.. 2020. 9. 30. Siamese Neural Networks for One-shot Image Recognition IDEA 딥러닝은 data를 generalization을 통해서 예측을 하지만, a)비용이 비싸고(expensive), b)사용 가능한 데이터를 구하거나 조작하기가 어렵다. a)의 이유는 수 많은 데이터뿐 아니라 label데이터의 존재가 있어야 하고, 이것을 연산하기 위한 비용도 많이 크다. b)는 학습시킬 데이터를 구해야 하는 것 뿐만 아니라 image의 경우 여러각도의 사진이 필요하기도 하다. 또, 새로운 class에 대해서는 예측이 불가능하다. 이 논문에서는 Sinamese Neural Networks를 통해서 a single example만을 통해서 학습시켜 비용을 줄이고(One-shot Image), 새로운 class가 들어오더라도 예측 할 수 있게 해준다. DataSet DataSet은 One.. 2020. 9. 27. Attention Is All you Need - Transformer IDEA BERT의 주요 네트워크로 사용되고 있는 Attention Trasformer이다. 논문 저자는 기존 RNN베이스 모델에 대해서 많은 회의감을 느끼는 것 같다. 그렇다면 이 논문에서 RNN의 어떤 점을 안좋게 보았으며, RNN의 단점을 어떻게 보완했을까? RNN의 단점 RNN의 구조를 보면 하나의 직렬로 이루어진 Network이다. 그래서 병렬처리가 되지 않는다. RNN은 오래 전에 학습된 데이터에 대해서는 유추하기 어렵다. long term dependencies RNN은 한방향에 대해서 밖에 유추 할 수 없다. Attention Trasformer의 장점 병렬처리가 가능하다. RNN처럼 직전의 input을 보는 유추하는 것이 아닌 전체 데이터에서 가장 가능성이 높은 것을 선택한다. 2번의 이.. 2020. 8. 30. 시계열 데이터란 무엇인가? 정의 시계열(time series) 데이터는 관측치가 시간적 순서를 가진 데이터이다. 이 데이터는 변수간의 상관성(correation)이 존재하는 데이터를 다루며, i.i.d, 연속(continous)하거나 불규칙적(irregular)데이터는 다루기 않는다. 시계열 데이터는 과거의 데이터를 통해서 현재의 움직임 그리고 미래를 예측하는데 사용된다. 일반적인 label데이터는 input과 label간의 상관관계를 다루는 반면에 시간에 따라 어떻게 움직이는 과거의 자료를 가지고 예측하게 된다. 데이터 옆의 데이터는 AirPassengers라는 데이터로 R에 기본적으로 내장되어있는 데이터이다. x축은 Time이고, Y축은 고객의 수를 의미하는 것으로 볼 수 있다. 여기서 label 데이터처럼 시간과 고객의 수 .. 2019. 5. 12. Artistic Style Transfer이해하기 1. INTRO 졸업작품으로 썼던 모델이다. 구현하는 데 고생했다. 이름(Transfer)처럼 단순히 그림의 패턴을 전달해 주는 모델로 학습모델은 아니다. 학습되는 것으로 바꾸는데 지식도 모자르고 코팅실력도 모자라서 죽을뻔 했다. 나온지 한 5년 정도된 모델로 5년이면 이제 잊혀지지 않을까 했던 모델인데 게임이나 여러분야에 아직 응용되어 사용되고 있는 거 같다. 그래서 복습겸 다시 읽어보았다. 코드는 조금씩 다시 짜봐야겠다. 이해하기는 안 어려운데 이상하게 학습이 잘 안됬었는데, 학습말고 논문에 나온 그대로만 짜서 Git에 올려보아야겠다. 요즘 해커톤 대회 나가는데 Git아이디 적으라고 한다. 진작에 한 것들 조금씩 올려놓을 껄... 난 이 논문을 보면서 CNN이 내부에서 이런식으로 행동하는 구나를 눈으.. 2019. 4. 5. 이전 1 다음
