AI

validation- dataset의 이해

https://ganghee-lee.tistory.com/38 Train / Test / Validation set의 차이 딥러닝에서 신경망 모델을 학습하고 평가하기 위해 dataset이 필요하다. 이때 dataset을 성질에 맞게 보통 다음 3가지로 분류한다. 1. Train set 2. Validation set 3. Test set 이렇게 각각 모델을 학습하고 검 ganghee-lee.tistory.com

Tensorflow GPU 분산 학습

https://www.tensorflow.org/guide/distributed_training 텐서플로로 분산 훈련하기 | TensorFlow Core 12월 7일 Women in ML 심포지엄 참석 지금 등록 텐서플로로 분산 훈련하기 컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요. Note: 이 문서는 텐서플로 커뮤니티에서 www.tensorflow.org

tensorflow에서 openCV 없이 clahe 적용하는 방법

- 서문 - Clahe란? Adaptive Histogram Equalization (AHE) : 이미지 전처리 기법으로 이미지의 contrast 를 늘리는 방법이다. AHE의 변형이 Contrast limited adaptive histogram equalization (CLAHE) 방법. CLAHE는 AHE 의 중대한 문제점인 noise amplification 을 해결하기 위해 contrast limit 을 활용한다. (자세한 설명은 구글이) 이미지를 tensor형식으로 읽어와서 열심히 코딩했는데 나중에 clahe를 적용하려 보니 openCV에선 numpy형식만 받는다고 한다. 변환하긴 귀찮으니 openCV 안 쓰고 적용하는 법을 알아보려 한다. 방법 1. image data generator사용할..

CNN Channel에서 grayscale혹은 rgb scale을 적용해야 할까?

https://stats.stackexchange.com/questions/426818/do-i-need-3-rgb-channels-for-a-spectrogram-cnn Do I need 3 RGB channels for a spectrogram CNN? I am computing a linear spectrogram of an audio signal. https://en.wikipedia.org/wiki/Spectrogram The spectrogram is a 2-D matrix with time on the x-axis and frequency on the y-axis. The traditio... stats.stackexchange.com 이미지의 컬러에 따라서 channel=1로 gray를 적..

표준화, 정규화 딱 이해

https://heeya-stupidbutstudying.tistory.com/entry/%ED%86%B5%EA%B3%84-%EC%A0%95%EA%B7%9C%ED%99%94%EC%99%80-%ED%91%9C%EC%A4%80%ED%99%94 [통계] 정규화(Normalization) vs 표준화(Standardization) ML을 공부하는 사람이라면 feature scaling이 얼마나 중요한 지 알것이다. scikit-learn에는 많은 스케일링 메서드들이 모듈화 되어있는데, 기본적으로 정규화와 표준화가 무엇인지 이해해야 과제를 수 heeya-stupidbutstudying.tistory.com

[accuracy_score] 사이킷런과 케라스의 차이

[원인 : model.evaluate의 accuracy 결과가 confusion matrix를 계산한 accuracy 결과와 달랐음] tensorflow로 다중분류 모델을 돌려서 얻은 결과가 위와 같았는데 loss, acc = model.evaluate(test_data) print(f'Accuracy : {str(np.round(acc, 2)*100)+"%"}, Loss : {np.round(loss, 2)}') # 결과 1/1 [==============================] - 1s 512ms/step - loss: 3.6820 - accuracy: 0.5238 Accuracy : 52.0%, Loss : 3.68 결과가 아래와 같았다. accuracy가 0.52라고 하였으나, 단순히 계산..

[keras_IDG]flow_from_dataframe

Image Data Generator에서 flow_from_directory는 다들 많이 사용하고 본인도 주로 폴더링해서 라벨 구분했었는데 한 데이터로 여러 모델을 만들어야 하고 컬럼 정보가 엑셀로 주어지다 보니 이미지-csv컬럼 속 라벨 간 매칭이 필요했다. 사용법은 flow from directory 랑 비슷한데 옵션을 column요소들을 지정해주면됨 https://www.tensorflow.org/api_docs/python/tf/keras/preprocessing/image/ImageDataGenerator#flow_from_dataframe tf.keras.preprocessing.image.ImageDataGenerator | TensorFlow v2.10.0 Generate batches o..

Early stopping 에서 epoch를 인자값으로 받아올 때

https://stackoverflow.com/questions/49852241/return-number-of-epochs-for-earlystopping-callback-in-keras

copy.deepcopy(model.state_dict())

https://tutorials.pytorch.kr/beginner/saving_loading_models.html#id5v 모델 저장하기 & 불러오기 Author: Matthew Inkawhich, 번역: 박정환,. 이 문서에서는 PyTorch 모델을 저장하고 불러오는 다양한 방법을 제공합니다. 이 문서 전체를 다 읽는 것도 좋은 방법이지만, 필요한 사용 예의 코드만 참고하 tutorials.pytorch.kr 참고 파이토치 공식문서 early stopping에서 저장한 가중치를 복사해올때 best_model_wts = copy.deepcopy(model.state_dict()) copy.deepcopy(model.state_dict()) NOTE 만약 (검증 손실(validation loss) 결과에..

파이토치 환경에서 randomness를 고정하기 위한 방법

https://tootouch.github.io/experiment/reproduction_pytorch/ https://hoya012.github.io/blog/reproducible_pytorch/ 자세한 설명은 다른 분들이 적어둔 걸 참고 하고 시간이 없는 나는 일단 적어두고 복붙 def seed_everything(seed=1): """ Seed and GPU setting """ random.seed(seed) os.environ['PYTHONHASHSEED'] = str(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed(seed) torch.backends.cudnn.deterministic = True # to..