e냥냥's 블로그

아래 내용은 "혼자 공부하는 머신러닝+딥러닝" 을 공부하며 간략하게 정리한 내용입니다. 쉬운 사례로 어려운 수식 없이 설명하므로 입문자에게 강추하는 책입니다! 1. 시작하기 전에 이번에는 김팀장이 담당자에게 새로운 문제를 머신러닝으로 해결해달라고 요청합니다. 올 여름 농어 철로 기존과 다르게 무게 단위로 가격을 책정하기로 했는데 공급처에서 생선 무게를 잘못 측정해서 보내왔습니다. 농어의 길이, 높이, 두께를 측정한 데이터로 무게를 측정할 수 있을까요...? 2. 데이터 준비 담당자는 어떻게 해결할까 고민하다 분류에서 사용했던 k-최근접 이웃 알고리즘이 회귀에서도 사용할 수 있다는 것을 알게 되었습니다. 농어 데이터를 준비하고 k-최근접 이웃 알고리즘을 사용해보도록 하겠습니다. 먼저, 담당자는 농어의 길이..

아래 내용은 "혼자 공부하는 머신러닝+딥러닝" 을 공부하며 간략하게 정리한 내용입니다. 쉬운 사례로 어려운 수식 없이 설명하므로 입문자에게 강추하는 책입니다! 1. 시작하기 전에 1장의 결과를 가지고 담당자는 호기롭게 김팀장에게 가서 보고합니다. 그런데 김팀장이 학습데이터로 다시 테스트하면 맞추는게 당연하지 않냐고 질문하였습니다. 담당자는 다시 생각해보겠다며 자리에 돌아왔는데요........ 2. 훈련 데이터와 테스트 데이터 예를들어 중간고사를 보기 전에 출제될 시험 문제와 정담을 미리 알려주고 시험을 본다면 외워서 100점을 맞을 수 있을 것 입니다. 머신러닝도 이와 마찬가지 입니다. 그래서 학습에 사용하지 않은 데이터를 준비하거나 이미 준비된 데이터 중에서 일부를 떼어 내어 활용합니다. 평가에 사용하..

아래 내용은 "혼자 공부하는 머신러닝+딥러닝" 을 공부하며 간략하게 정리한 내용입니다. 쉬운 사례로 어려운 수식 없이 설명하므로 입문자에게 강추하는 책입니다! 1. 시작하기 전에 한빛 마켓 김팀장은 점점 많아지는 물건을 파악하기에 역부족이라 요즘 한창 인가가 많은 머신러닝을 이용해 문제를 해결하고자 하였습니다. 앱마켓 최초로 살아 있는 생선을 판매하기 시작했고 가장 빠른 물류센터에서 곧바로 배송하기로 했습니다. 하지만 물류 센터 직원이 생선 이름을 외우지 못하는 문제가 발생하기 시작했고 김팀장은 담당자에게 자동으로 알려주는 머신러닝을 만들라고 지시하였습니다. 2. 도미 데이터 준비하기 한빛 마켓은 '도미', '곤들매기', '농어' '강꼬치고기', '로치', '빙어', '송어' 물고기를 판매하나 우선 '도..

데이터 분석 혹은 지도학습 모델을 학습하기 위해서는 반드시 하나의 통합된 데이터셋이 필요합니다. 많은 경우 데이터는 두 개 이상으로 나뉘어져 있고 이들을 병합해야하는 전처리를 수행해야합니다. 센서, 로그, 거래 데이터 등과 같이 크기가 매우 큰 데이터는 시간과 ID 등에 따라 분할되어 저장되어 있습니다. 통합해야하는 데이터가 많은 경우 빈 데이터 프레임을 생성하는데 반복문을 사용하여 불러온 데이터를 함수를 이용하면 효율적으로 통합할 수 있습니다. 오늘은 데이터를 병합하는 방법에 대해서 R과 python 명령어를 비교해보도록 하겠습니다. 1. R코드 예제로 사용할 데이터프레임을 생성해보겠습니다. CLASS

PCA(Principal Component Aanalysis)를 공부하면서 machine learning 페이지를 참고하여 정리한 내용입니다. 주성분 분석(PCA)은 데이터의 여러 feature를 주성분(PC)이라고 하는 대표적인 feature로 차원을 축소하는 알고리즘입니다. 이 방법은 데이터의 많은 정보를 축약하여 효과적으로 높은 차원의 데이터값의 변화를 설명할 수 있습니다. 이 튜토리얼에서는 먼저 Scikit-learn을 사용하여 PCA를 구현한 다음 코드를 사용하여 단계별 구현과 PCA 알고리즘 이면의 완전한 개념을 이해하기 쉬운 방법으로 설명하고 있습니다. 1. scikit-learn을 사용하여 PCA 구축 scikit-learn 패키지의 decomposition 모듈은 데이터를 principa..

아래 내용은 XAI를 공부하며 'XAI 설명 가능한 인공지능, 인공지능을 해부하다' 서적을 요약 정리한 내용입니다. 실습을 통해 본 컴퓨터 세팅에 따라 코드 부분이 다를 수 있습니다. 연관게시글 더보기 1. 설명가능한 인공지능 'XAI'과 개발 준비 2. 모델 생성 및 해석 실습-Xgboost 3. 모델 튜닝하기 앞서 실습한 예제는 XGBClassifier()의 기본 파라미터를 사용하였습니다. 이제 모델 파라미터를 튜닝하면서 최적의 정확도를 찾아보겠습니다. 1. 기본 모델 결과 위 모델은 Glucose와 Age, BMI 피처만 사용해 당뇨를 진단하고 있습니다. 학습에 사용한 피처는 총 6개인데 의사 결정 트리에서 나온 분기는 3가지뿐입니다. 물론 해당 모델은 81.17%의 높은 테스트 정확도를 보이고 있..

아래 내용은 XAI를 공부하며 'XAI 설명 가능한 인공지능, 인공지능을 해부하다' 서적을 요약 정리한 내용입니다. 실습을 통해 본 컴퓨터 세팅에 따라 코드 부분이 다를 수 있습니다. 연관게시글 더보기 1. 설명가능한 인공지능 'XAI'과 개발 준비 2. 모델 생성 및 해석 실습-Xgboost 3. 모델 튜닝하기 실습1 : 피마 인디언 당뇨병 결정 모델 이번 장은 실습 데이터를 가지고 간단한 실험을 해보겠습니다. 데이터 이름은 '피마 인디언 당뇨병 진단'으로 세계에서 당뇨병 발병 비율이 가장 높은 애리조나 주의 피마 인디언을 대상으로 조사한 자료입니다. 자료 속정은 8가지로 다음과 같습니다. 1. 임신 횟수 2. 경구 포도당 내성 검사에서 혈장 포도당 농도(2시간 이후 측정) 3. 확장기 혈압(mmHg)..

아래 내용은 XAI를 공부하며 'XAI 설명 가능한 인공지능, 인공지능을 해부하다' 서적을 요약 정리한 내용입니다. 실습을 통해 본 컴퓨터 세팅에 따라 코드 부분이 다를 수 있습니다. 연관게시글 더보기 1. 설명가능한 인공지능 'XAI'과 개발 준비 2. 모델 생성 및 해석 실습-Xgboost 3. 모델 튜닝하기 XAI(2016-2021) XAI는 '설명 가능한 의사 결정 체계'라는 용어로 1975년 처음 등장합니다. 이 논문을 쓴 뷰캐넌(Buchanan)과 쇼트리프(Shortliffe)는 의학도들의 행동을 관찰하던 중 그들의 의사 결정에 의심을 가졌습니다. 당시 의사들은 매우 적은 수의 환자들을 보고 병명을 판단했기 때문입니다. 통계를 연구하던 둘은 의사들의 부정확한 추론 과정을 확률적으로 모델링하는 ..

이 장에서는 Multiple column을 갖는 Timeseries 형태의 데이터를 예측하는 모델을 만들며 LSTM을 사용한 모델링 과정을 서술한다. 직전 데이터 N개의 정보를 활용하여 이후 1개 시점을 예측하는 Many to one 방법을 사용하였다. 예시로 사용하는 데이터는 구글 주식 데이터로 1주 전(1~7) 데이터를 가지고 8일째 가격을 예측하는 모델을 만들 것이다. Data 주식을 예측하기 위해 사용할 수 있는 데이터는 시가, 종가 등 5개의 컬럼이며 이를 Input dimension이라고 부른다. 이전 7일의 정보를 활용하여 그 다음 종가를 예측하므로 Sequence = 7, Output dimension = 1이다. LSTM 바닐라 RNN은 비교적 짧은 시퀀스에 대해서만 효과를 보이는 단점이..

우분투 도커 위에서 작업하다 로컬PC에서 가져와야 하는 파일이 생기게 되어 시행착오를 정리 하였습니다. 저와 동일한 작업을 하시는 분들에게 도움이 되었으면 좋겠습니다. 로컬PC에서 도커로 파일을 옮기기 위해선 2단계의 작업이 필요합니다. 먼저 우분투 서버로 복사한 다음 우분투 서버에서 도커로 파일을 복사합니다. 1. [1차시도] PowerShell 실행 윈도우 환경에서 리눅스 환경에 파일을 전송할 경우 보통 Windows PowerShell을 사용하게 됩니다. 2. 전송할 파일 경로로 이동 이동시킬 파일이 다운로드 폴더에 있어서 해당 경로로 이동하였습니다. 3. 리눅스 서버로 파일 전송 및 확인 scp 파일경로/파일명 서버계정ID@서버IP:디렉토리위치를 입력하면 파일이 전송됩니다. 하지만 저는 Power..