본문 바로가기

전체 글

 (68)
MM classification configuration file 오픈소스 이미지 classification 라이브러리인 MM classification의 기본적인 개념과 사용법을 정리해놓은 글입니다. mm classification은 _base_ 폴더의 configs 폴더 안에 존재하는 config 파일로 모델을 구성하고, dataloader를 정의하고 학습 파라미터를 정의한다. config file은 다음과 같은 naming convention을 따른다. {algorithm info}_{module info}_{training info}_{data info}.py algorithm info: 모델 학습에 사용한 알고리즘 ex) resnet50 module info: 주로 pretrain 정보 ex) in21k-pre: 21k imageNet data로 pretain..
[scikit-learn] RandomForestClassifier 알아보기 1. RandomForest란? Random Forest는 다수의 decision tree를 통해 데이터를 분류하는데 사용되는 앙상블 기법이다. 무작위성을 더해 분류기를 만들기 때문에 overfitting될 확률이 높은 decision tree의 단점이 개선되었다. 학습시킬때는 주어진 데이터 중 각각의 tree를 만들기 위한 데이터셋을 N개 만든다. N개의 데이터셋을 기반으로 N개의 decision tree를 훈련시킨다. 마지막으로 각 decision tree가 투표한 결과에 따라서 각 데이터를 분류한다. 2. scikt-learn에서의 RandomForestClassifier(텍스트 데이터) 텍스트 데이터의 Conclusion 열을 input으로 넣어 0과 1로 되어있는 label을 예측하도록 했다. ..
[강화학습] CartPole에서 Actor-Critic 구현하기 1. Actor-Critic Actor Critic은 Deep RL에서 정책함수와 가치함수를 모두 학습하는 방식이다. 이 방식은 확률적 정책을 취하기 때문에 결정론적 방식을 사용하는 가치기반 방식에 비해 변화하는 주변 상황에 적용하기 용이하다. 또한 액션 공간이 연속적인 경우에도 적용할 수 있다는 장점이 있다. 2. import 및 hyperparameter 정의 import gym import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim from torch.distributions import Categorical #Hyperparameters learning_rate = 0.0002 gam..
BERT와 pytorch를 사용한 binary classification colab 환경에서 BERT와 pytorch를 사용해서 text를 binary classification을 했다. 1. BERT의 기본 구성 https://ebbnflow.tistory.com/151 [BERT] BERT에 대해 쉽게 알아보기1 - BERT는 무엇인가, 동작 구조 ● 언어모델 BERT BERT : Pre-training of Deep Bidirectional Trnasformers for Language Understanding 구글에서 개발한 NLP(자연어처리) 사전 훈련 기술이며, 특정 분야에 국한된 기술이 아니라 모든 자연어.. ebbnflow.tistory.com BERT란 wikipedia와 BookCorpus의 데이터를 사전학습한 transformer 언어모델이다. BERT의 ..
마르코프 프로세스란? 1. 확률 과정(Stochastic Process) 확률 과정 \(S_{t}\)는 시간t의 흐름에 따라 변화하는 random variable의 집합이다. 특정 시간 t에 비가 오거나 오지 않는 상태 s를 예로 들 수 있다. 상태 s와 그 이후의 상태 s'가 주어진다면, s에서 s'으로 상태가 바뀔 가능성은 다음과 같이 나타낼 수 있다. $$ 𝑃𝑠𝑠 ′ = ℙ[𝑆𝑡+1 = 𝑠 ′ |𝑆𝑡 = 𝑠] $$ 상태 전환 행렬 P는 모든 상태 s에서 이후 상태 s'으로 바뀔 가능성을 정의한다. 행렬 P에서 행은 현재 상태, 열은 다음 상태를 나타내고 값은 해당 전환이 일어날 확률을 나타낸다. 행렬 모든 값의 합은 1이 된다. 2. 마르코프 성질 마르코프 성질은 미래는 과거 상태의 영향을 받지 않고, 현재에 의해서만 ..
<북한 땅의 쓰나미>를 읽고 북한 주민들은 어떻게 살고 있을까? 나는 어릴 적부터 북한에 대한 호기심이 많았다. 같은 민족이면서도 다른 정치체제를 가지고, 생활 수준은 극단적인 차이가 나는 그곳, 북한이 궁금했다. 가끔 북한에 대해 이야기를 하는 TV 프로그램을 보기도 했지만 좀 더 깊이 있는 이야기가 궁금했다. 그 사람들은 어떤 것을 먹고 어떻게 생활할까? 2000년대까지 북한에서 살다 온 저자는 북한의 실상을 상세하게 이야기해준다. 특히 1990년대 중반부터 후반까지 300만명이 사망한 최악의 식량난을 겪은 시기인 고난의 행군 시기에 대해서 집중적으로 이야기한다. 당시에는 시장에 죽은 사람들이 아무렇게나 널브러져 있었고, 종일 일해도 돈을 거의 벌지 못해 매일 풀죽을 먹으며 연명했다고 한다. 옥수수를 배송하는 차량에서 옥수수가 ..
<21가지 발표불안 극복 시크릿>을 읽고 나는 불안과 걱정이 많은 성격이다. 완벽주의라서 더욱 그런 것 같기도 하다. 특히 발표에 대한 불안은 정말 크다. 사람들 앞에만 서면 준비했던 내용이 하나도 기억나지 않고 머리가 하얘진다. 목소리는 개미 소리보다 작아지고 시선은 아래를 향하게 된다. 이렇게 몇 번 중요한 발표를 망치고 나니 발표에 대한 부담감은 더욱 커지기만 한다. 웬만하면 발표가 없는 수업을 듣고 싶고, 발표가 있는 수업이라도 최대한 늦게 하기를 바란다. 이런 발표 불안의 굴레는 어떻게 벗어나야 할까? 저자는 본인이 직접 발표 불안을 극복하고, 이 과정을 바탕으로 수많은 스피치 수업에서 학생들을 가르쳐왔다. 그런 저자의 모든 발표 불안 극복 노하우가 담긴 책이다. 저자는 먼저 자신의 마음을 바라보아야 한다고 말한다. 일단 자신이 어떤 ..
<이펙티브 엔지니어>를 읽고 어떻게 하면 생산적인 개발자가 될 수 있을까? 이와 같은 질문에 저자는 레버리지가 높은 활동에 집중해야 한다고 말한다. 레버리지는 생산한 효과를 투입한 시간으로 나눈 것이다. 레버리지를 높이기 위해서 저자는 피드백과 검증, 우선순위 설정, 반복되는 작업 자동화를 강조한다. 피드백 루프 구축하기 가장 인상 깊었던 내용은 피드백과 검증의 중요성을 강조하는 내용이었다. 1인 프로젝트에서는 특히 피드백이 더 중요하다. 프로젝트가 잘못된 방향으로 가고 있다는 것을 알려줄 사람이 없기 때문이다. 마지막 단계까지 가서 모든 것을 다시 시작해야 할 수도 있다. 이를 막기 위해서는 팀원이나 주위 사람들에게 직접 아이디어를 설명하고 피드백을 요청해야 한다. 저자의 말처럼 대부분 사람은 남을 돕고 싶어하고, 새로운 문제에 ..

티스토리툴바