새우의 테크/랜덤5 [ML] Bias - Variance Decomposition 유도 ML 모델의 관점에서 generalization error는 보통 다음과 같이 정의됩니다. y 는 ground truth 값을, x는 input, 그리고 h( ) 는 우리 모델의 hypothesis를 나타냅니다. 헌데 대부분의 경우 x의 true distribution을 전체 다 사용해서 모델을 학습하기는 어렵습니다. 그렇기 때문에 어떤 데이터를 사용해서 학습하냐에 따라 h( ) 함수의 bias 와 variance가 나타나게 됩니다. 1) Bias Bias 는 다음과 같이 정의됩니다. h_bar( ) 함수는 다양한 x의 distribution을 통해 학습시킨 h( ) 함수의 mean 값입니다. 결국 h( ) 함수가 평균적으로 true function 인 f( )와 얼마나 떨어져있는지 계산합니다. y 와 .. 2022. 10. 13. [ML] RNN 에서의 gradient 계산 아래와 같은 RNN formulation에서의 gradient 계산은 어떻게 되는지 정리해 보겠습니다. Loss 는 Cross Entropy Loss를 가정하겠습니다. 간단한 Chain Rule을 통해 다음과 같이 계산할 수 있습니다. 마지막 외적으로 계산되는 항의 계산은 스킵했습니다. MSE loss 로하면 비슷하게 나올 것 같은데, CE loss 로 해도 동일하게 나오는지 나중에 따로 유도한다면 올리겠습니다. 여기서 눈여겨 볼 만한 부분은, V에 대한 gradient는 오로지 현재 state의 값들에만 의존한다는 것입니다. 좀 다르게, W에 대한 gradient는 뒷 state 에도 영향을 받습니다. 여기서 파랑 네모에 있는 부분을 보면, gradient가 이전 state들에서의 gradient의 곱.. 2022. 10. 11. [Dockerhub] Dockerhub 사용하여 쉽고 빠르게 환경 옮기기 안녕하세요 새우깡 여러분. 서버 작업을 하다보면, 많은 경우 환경 migration을 해야 하는 경우들이 있습니다. 물론 모두 새로 다 깔아도 되지만, 이러한 작업은 번거롭고, 원치 않는 버전 미스가 나기도 합니다. 만약 docker 작업을 하고 계신다면, dockerhub를 사용해서 환경 migration을 쉽게할 수 있습니다. Dockerhub 를 사용하면, 도커 이미지를 github 소스 코드 다루듯 다룰 수 있는데요, 간단한 예시를 통해 함께 실습해 봅시다. 1. Dockerhub 가입 - 우선 https://hub.docker.com/ 에 들어가, sign up을 해주도록 합시다. 2. Dockerhub에서 repository 생성 - github의 repo 처럼, image 를 관리하기 위한.. 2022. 8. 16. Anaconda3 설치부터 사용까지 - 왜 사용해야 할까요? 안녕하세요 새우버거 여러분, 오늘은 파이썬 가상환경 관리 툴인 anaconda 에 대하여 알아보려고 합니다. 1. 가상환경 관리 툴은 무엇인가요? 많은 프로그램들을 소스 파일로 직접 돌리기 위해선, 다양한 모듈들의 버전 관리가 필요합니다. 버전이 조금 다르다고 해서 큰 문제가 생기지 않는 경우도 있지만, 조금 다른 버전 차이 때문에 아예 다른 결과가 나오는 경우도 있습니다. 예를 들어, Program A 는 pytorch 1.10 버전을 필요로 하고, Program B는 pytorch 1.11 버전을 필요로 하다고 합시다. 매번 pip을 사용해 pytorch를 install/uninstall 하는건 매우 번거롭죠. 이런 경우 가상 환경 관리 툴을 사용한다면, 손쉽게 서로 다른 프로그램들을 돌릴 수 있습니.. 2022. 8. 16. [AI Tech] 요새 핫한 Dall-E 2 사용해보기 OpenAI 에서 이미지 생성 모델 Dall-E 2를 공개 한 후에, 많은 좋은 반응들을 얻었죠. 오늘은 Dall-E 2를 사용할 수 있는 방법에 대하여 알아보려고 합니다. 추후에 Dall-E 2 에 대한 논문 리뷰도 진행해보도록 하겠습니다 ㅎㅎ. 1. DallE - 2 사용신청 Dall-e 2를 사용하기 위해서는 사용 신청을 해야 합니다. 우선, 다음은 dall-e 2의 공식 홈페이지 입니다. https://openai.com/dall-e-2/ 여기서 우측 상단 로그인 버튼을 누르면, Dalle-E 2 사용을 위한 waitlist 신청 페이지를 찾을 수 있습니다. 저는 우선 이름과 링크드인 프로필 정도만 작성 후 요청을 보냈습니다. 이틀 후에 OpenAI에서 다음과 같은 메일을 받았습니다. Get st.. 2022. 8. 8. 이전 1 다음
