본문 바로가기
  • 조금 느려도, 꾸준히
반응형

분류 전체보기59

핸즈온 머신러닝(3) - 머신러닝 프로젝트 1 머신러닝 프로젝트의 주요 단계 1. 큰 그림 보기 2. 데이터 수집하기 3. 데이터로부터 insight 를 얻기 위해 탐색, 시각화하기 4. 머신러닝 알고리즘을 위한 데이터 준비하기 5. 모델을 선택하고 훈련시키기 6. 모델을 상세하게 조정하기 7. 솔루션 제시 8. 시스템 론칭, 모니터링하고 유지 보수하기 1. 실제 데이터로 작업하기 -데이터를 구하기 좋은 곳 1) 유명한 공개 데이터 저장소 - UC 얼바인 머신러닝 저장소 - Kaggle 데이터셋 - 아마존 AWS 데이터셋 2) 메타 포털(공개 데이터 저장소 나열) - dataportlas - opendatamonitor - quandl 3) 기타 - 위키백과 머신러닝 데이터셋 목록 - Quora.com 질문 - 데이터셋 서브레딧 #문제 정의: 머신러.. 2020. 1. 20.
핸즈온 머신러닝(2)- 머신러닝의 주요 도전 과제 요약 [나쁜 데이터의 사례] 1. 충분하지 않은 양의 훈련 데이터 - 2001 microsoft Michele Banko, Eric Brill: 머신러닝 알고리즘들에 충분한 데이터가 주어지면 복잡한 자연어 중의성 해소 문제를 거의 비슷하게 잘 처리한다는 것을 보임. '시간과 돈을 알고리즘 개발에 쓰는 것과 말뭉치(corpus) 개발에 쓰는 것 사이의 트레이드오프에 대해서 다시 생각해봐야 함' - 2009 Peter Norvig 'The Unreasonable Effectiveness of Data': 복잡한 문제에서 알고리즘보다 데이터가 더 중요함. but 작거나 중간 규모의 데이터셋이 여전히 매우 흔하고 훈련 데이터를 추가로 모으는 것이 쉽지 않으므로 알고리즘을 무시하지는 말아야 함. 2. 대표성 없는 훈련.. 2020. 1. 20.
핸즈온 머신러닝(1) - 머신러닝 시스템의 종류 1. 학습하는 동안의 감독 형태나 정보량에 따라 - 지도학습: 알고리즘에 주입하는 훈련 데이터에 label 이라는 원하는 답이 포함됨 예시: k-Nearest Neighbors, Linear Regression, Logistic Regression, SVM(support vector machines), Decision Tree, Random Forests, Neural networks - 비지도학습: 훈련 데이터에 레이블이 없음. 시스템이 스스로 학습해야 함 예시: 군집) k-Means, HCA(hierarchical cluster analysis), 기댓값 최대화 시각화와 차원축소) PCA(principal component analysis), Kernel PCA, LLE(locally-linear e.. 2020. 1. 20.
Numpy 모듈을 활용한 행렬의 대각화 [시행착오(1)] 이번 글에서는 Numpy모듈을 이용하여 행렬의 고윳값을 구한 후 그로 파생된 닮은 행렬을 이용하여 원래 행렬을 다시 구해보는 과정과, 그 과정에서 필자가 저지른 실수에 대해 다뤄보려 한다. import numpy as np pycharm 가상환경에서 numpy모듈을 불러온다. 불러온 numpy모듈로 임의의 3*3 행렬 x를 만들어 보자 x = np.array([[1, 2, 3], [2, 3, 4], [2, 3, 1]]) numpy에서 세부적인 선형대수적 연산을 위해 제공하는 linalg모듈 (linear algebra: 선형대수) 을 이용하여 간단하게 고윳값과 고유벡터를 구할 수 있다. xw, xv = np.linalg.eig(x) 이때 xw는 행렬 x의 고윳값, xv 는 행렬 x의 고유벡터를 열로 갖는.. 2019. 11. 26.
[컴맹의 눈높이]URL?? 기초부터 API적 관점까지 (1) ※이 글은 순수 '컴맹'의 눈높이에서 쓰여졌습니다. 따라서 상대적으로 전문성 보다는 친숙함, 흥미에 무게를 두었습니다. https://chana.tistory.com/manage/newpost/?type=post&returnURL=%2Fmanage%2Fposts%2F ㄴ 요것이 뭘까? 지금 보고있는 이 웹사이트의 도메인 주소를 나타내는 URL 이다. (2편에서 말하겠지만 RPC 식 URL 이다. 지금은 몰라도 무방하다) 인터넷 브라우저를 열고, 어떤 사이트에 접속하든, 심지어 그것이 아주 꽁~꽁 숨겨진 것일지라도, 모든 웹사이트는 고유의 URL 이 존재한다. URL은 그 웹사이트의 주소와도 같다. "음 당연한거 아냐? " 그렇다. 필자도 URL을 입력할때 당연히 '주소니까 주소창에 치는것이군.' 이라고 .. 2019. 11. 22.
반응형