본문 바로가기
  • 조금 느려도, 꾸준히
반응형

Artificial Intelligence29

핸즈온 머신러닝(3) - 머신러닝 프로젝트 3 # 데이터 이해를 위한 탐색과 시각화 -이번 프로젝트에서는 훈련 세트에 대해서만 탐색, 훈련 세트가 매우 클 경우 탐색을 위한 세트를 별도로 샘플링 할 수도 있다. 예제에 나온 훈련 세트는 크기가 작으므로 훈련 세트 전체를 사용함. - 먼저 훈련세트의 손상 방지를 위해 복사본을 만들어두도록 한다. housing = strat_train_set.copy() -지리 정보(위도, 경도)가 있으므로 모든 구역을 산점도로 만들어 데이터를 시각화해 본다. ax = housing.plot(kind="scatter", x="longitude", y="latitude") ax.set(xlabel='longitude', ylabel='latitude') - 위 산점도만 보아서는 특별한 패턴을 딱히 찾을 수 없어 보인다. .. 2020. 1. 20.
핸즈온 머신러닝(3) - 머신러닝 프로젝트 2 Tutorial : 구역의 데이터들을 기반으로 중간 주택 가격을 예측하기. #데이터 다운로드: housing.csv 를 압축한 housing.tgz 파일 - 온라인에서 tgz 파일을 내려받고 csv 로 자동 압축 해제하는 스크립트 * 다운로드 url에 접근하기 위해 urllib, tgz파일 처리를 위해 tarfile 라이브러리를 이용했음 * 필자는 파일을 저장할 디렉토리를 기본 디렉토리 + datasets + housing으로 설정 import os import tarfile from six.moves import urllib DOWNLOAD_ROOT='https://raw.githubusercontent.com/ageron/handson-ml/master/' HOUSING_PATH = os.path.j.. 2020. 1. 20.
핸즈온 머신러닝(3) - 머신러닝 프로젝트 1 머신러닝 프로젝트의 주요 단계 1. 큰 그림 보기 2. 데이터 수집하기 3. 데이터로부터 insight 를 얻기 위해 탐색, 시각화하기 4. 머신러닝 알고리즘을 위한 데이터 준비하기 5. 모델을 선택하고 훈련시키기 6. 모델을 상세하게 조정하기 7. 솔루션 제시 8. 시스템 론칭, 모니터링하고 유지 보수하기 1. 실제 데이터로 작업하기 -데이터를 구하기 좋은 곳 1) 유명한 공개 데이터 저장소 - UC 얼바인 머신러닝 저장소 - Kaggle 데이터셋 - 아마존 AWS 데이터셋 2) 메타 포털(공개 데이터 저장소 나열) - dataportlas - opendatamonitor - quandl 3) 기타 - 위키백과 머신러닝 데이터셋 목록 - Quora.com 질문 - 데이터셋 서브레딧 #문제 정의: 머신러.. 2020. 1. 20.
핸즈온 머신러닝(2)- 머신러닝의 주요 도전 과제 요약 [나쁜 데이터의 사례] 1. 충분하지 않은 양의 훈련 데이터 - 2001 microsoft Michele Banko, Eric Brill: 머신러닝 알고리즘들에 충분한 데이터가 주어지면 복잡한 자연어 중의성 해소 문제를 거의 비슷하게 잘 처리한다는 것을 보임. '시간과 돈을 알고리즘 개발에 쓰는 것과 말뭉치(corpus) 개발에 쓰는 것 사이의 트레이드오프에 대해서 다시 생각해봐야 함' - 2009 Peter Norvig 'The Unreasonable Effectiveness of Data': 복잡한 문제에서 알고리즘보다 데이터가 더 중요함. but 작거나 중간 규모의 데이터셋이 여전히 매우 흔하고 훈련 데이터를 추가로 모으는 것이 쉽지 않으므로 알고리즘을 무시하지는 말아야 함. 2. 대표성 없는 훈련.. 2020. 1. 20.
핸즈온 머신러닝(1) - 머신러닝 시스템의 종류 1. 학습하는 동안의 감독 형태나 정보량에 따라 - 지도학습: 알고리즘에 주입하는 훈련 데이터에 label 이라는 원하는 답이 포함됨 예시: k-Nearest Neighbors, Linear Regression, Logistic Regression, SVM(support vector machines), Decision Tree, Random Forests, Neural networks - 비지도학습: 훈련 데이터에 레이블이 없음. 시스템이 스스로 학습해야 함 예시: 군집) k-Means, HCA(hierarchical cluster analysis), 기댓값 최대화 시각화와 차원축소) PCA(principal component analysis), Kernel PCA, LLE(locally-linear e.. 2020. 1. 20.
반응형

티스토리툴바