끵뀐꿩긘의 여러가지

모델 스스로 학습하지 않는 값인 hyperparameter(학습률, 손실함수, 배치사이즈, 가중치 초기화 값)를 직접 사람이 지정하면서 최적의 값을 찾는것 데이터를 더 많이 학습시키는 것이나, 더 좋은 모델을 사용하는 것보단 중요성이 떨어지며, 딥러닝과정의 마지막에 약간의 성능 향상을 위해서 사용하는 방법이다 하이퍼 파라미터 튜닝의 종류 Manual Search Grid Search Random Search Bayesian Optimization Non-Probabilistic Evolutionary Optimization Gradient-based Optimization Early Stopping Manual Search 경험/감으로 하이퍼파라미터 값을 설정하는 방법 이미 많은 모델들에는 어느정도 최적..

https://pebpung.github.io/wandb/2021/10/06/WandB-1.html 1. WandB란? - 강력한 MLOps Tool · ML감자 WandB를 활용해 머신러닝 실험 관리를 더 편하게 하는 방법에 대해 작성한 글입니다. pebpung.github.io WandB 란? WandB(Weights & Biases)란 더 나은 모델을 빨리 만들 수 있도록 도와주는 머신러닝 Experiment tracking tool이다 - 주요기능 W&B Platform Experiments 머신러닝 모델 실험을 추적하기 위한 Dashboard 제공. Experiments 기능은 모델을 학습할 때, 모델 학습 log를 추적하여 Dashboard를 통해 시각화를 해주고 이를 통해서 학습이 잘 되고 ..

https://tutorials.pytorch.kr/recipes/recipes/tensorboard_with_pytorch.html PyTorch로 TensorBoard 사용하기 TensorBoard는 머신러닝 실험을 위한 시각화 툴킷(toolkit)입니다. TensorBoard를 사용하면 손실 및 정확도와 같은 측정 항목을 추적 및 시각화하는 것, 모델 그래프를 시각화하는 것, 히스토그램을 보는 tutorials.pytorch.kr 설치 $ pip install torch torchvision $ pip install tensorboard PyTorch로 TensorBoard 사용하기 import torch from torch.utils.tensorboard import SummaryWriter wr..

모델 요약하기 - state_dict로 파라미터 구조 출력하기 # Print model's state_dict print("Model's state_dict:") for param_tensor in model.state_dict(): print(param_tensor, "\t", model.state_dict()[param_tensor].size()) ''' Model's state_dict: layer1.0.weight torch.Size([16, 3, 3, 3]) layer1.0.bias torch.Size([16]) layer1.1.weight torch.Size([16]) layer1.1.bias torch.Size([16]) layer1.1.running_mean torch.Size([16]) ..

* torch.nn.Module 뜯어먹기 https://cow-coding.github.io/posts/module/ [BoostCamp AI Tech / 심화포스팅] torch.nn.Module 뜯어먹기 torch.nn.Module 뜯어먹기 cow-coding.github.io 1. __init_(self): def __init__(self) -> None: torch._C._log_api_usage_once("python.nn_module") # 페이스북 내부의 디버깅 로그 self.training = True # eval() 함수와 train()함수에서 사용되는 훈련세팅여부 설정값 self._parameters: Dict[str, Optional[Parameter]] = OrderedDict() #..

torch.nn 그래프를 만들기 위한 " basic building block" ex. - torch.nn.Linear(in_features, out_features, bias=True, device=None, dtype=None) https://pytorch.org/docs/stable/generated/torch.nn.Linear.html#torch.nn.Linear Linear — PyTorch 1.12 documentation Shortcuts pytorch.org linear transform($y = xA^T + b$)을 구현해놓은 층 (*, $H_{infeatures}$)의 input과 (*, $H_{outfeatures}$)의 output shape를 가진다 Variables: ~Linea..

https://velog.io/@minchoul2/PyTorch-Project-Template-Introduce-%ED%8C%8C%EC%9D%B4%ED%86%A0%EC%B9%98 PyTorch Project Template Introduce [파이토치 프로젝트 템플릿] PyTorch에 모듈이 어떻게 구성되는지그 모듈들 안에 어떻게 프로젝트 코드들이 들어가야하는지프로젝트 템플릿에 대한 이해Jupyter은 사용하기 쉬운 환경이긴 하지만 모든 개발에서 사용될 수는 velog.io ML 코드는 언제나 Jupyter에서? Jupyter은 사용하기 쉬운 환경이긴 하지만 모든 개발에서 사용될 수는 없음 개발 초기단계에서는 대화식(Jupyter) 개발과정이 유리 학습과정과 디버깅 등 지속적인 확인 베포 및 공유단계에서..

모델을 학습시키기 위해서 데이터를 공급해주는데 관여하는 데이터셋, 샘플러, collate_fn과 데이터로더의 전체적인 큰 그림. DataSet/ DataLoader가 필요한 이유 데이터와 코드 관리를 위해 데이터 처리 모듈과 학습/추론 모듈을 나누어 관리하는 것이 이상적이다. -Custom DataSet/DataLoader 점점 많은 양의 data를 이용해서 딥러닝 모델을 학습시키는 일이 많아지면서 data를 불러오는데 시간이 오래걸리고 메모리가 부족해 RAM에 data가 다 올라오지 못하는 일이 발생한다. 그래서 데이터를 한번에 다 부르지 않고 하나씩 불러서 쓰는 방법을 택해야하는데, 이 때문에 데이터를 한번에 부르는 기존의 dataset이 아닌 custom dataset을 만들어야한다. 또한, bat..