코딩하는 해커

[BigData] 빅데이터의 5가지 특성 - 5V

빅데이터의 5가지 특성 - 5V 데이터의 양(volume), 데이터의 생성 속도(velocity), 형태의 다양성(variety), 데이터의 정확성(veracity), 데이터의 가치(value) 1) 데이터의 양(volume) 빅데이터의 크기(실제 저장되는 물리적 데이터의 양) → Phone, Desktop, Sensor 등에 의해 엄청난 양의 데이터가 생성되고 있음(ex: instagram, youtube, tistory, etc.) 2) 데이터 생성 속도(velocity) 정보화 사회에 도래함으로써 데이터가 셀 수 없을 정도의 수많은 정보가 현재에도 빠르게 생성되고 있음 → 데이터 분석에서는 이렇게 실시간으로 빠르게 생성되는 다양한 데이터를 다룰 수 있어야 함 3) 형태의 다양성(variety) 실제..

[Data Visualization] The basis of Matplotlib with Python

matplotlib의 기초 주피터에서 matplotlib을 사용할 때 기본적으로 아래 코드를 적고 시작하는게 좋음 %matplotlib inline 각종 import %matplotlib inline import numpy as np import matplotlib.pyplot as plt 간단한 그래프 그리기 linspace() 함수로 x좌표의 데이터를 배열로 생성, 이것을 곱해서 y 좌표로 함 그리고 plt의 plot()함수로 x, y좌표의 데이터를 플롯하고 show() 함수로 그래프 표시 *플롯(plot): 구성 import numpy as np import matplotlib.pyplot as plt x = np.linspace(-5, 5) y = x * x * x plt.plot(x, y) pl..

[AI] 1. Introduction to deep learning

1. Introduction to deep learning 1-1. What is the AI? 인공지능(Artificial Intelligence): 사람의 지능을 만들기 위한 시스템이나 프로그램 강 인공지능(strong AI): 사람과 구분이 안 될 정도로 강한 성능을 가진 인공지능 ex: ‘아이언맨'의 자비스, ‘그녀'의 사만다, ‘업그레이드'의 스템 등 약 인공지능(weak AI): 특정 영역에서 작업을 수행하는 인공지능 ex: ‘테슬라'의 자율 주행 자동차, ‘애플'의 시리(Siri) 등 강 인공지능은 현재 만들 수 없고 지금까지 발전을 거듭하고 있는 인공지능 기술은 모두 약 인공지능이다. 머신러닝과 딥러닝 그리고 인공지능의 관계 머신러닝 + 딥러닝 = 약 인공지능(=인공지능) 머신러닝(mach..

[Data Analysis] Mathematical Functions of NumPy

난수 생성하기 난수 시드값 지정: seed() 난수 생성(균등분포): rand() 난수 생성(표준정규분포): randn() 난수 생성(정수): randint() 난수 생성 (정규분포): normal() 난수 생성(이항분포): binormal() 데이터 순서 변경: shuffle() 데이터 무작위 샘플링: choice() 통계 관련 함수 데이터 길이 확인: len() 데이터의 표본평균: mean() 데이터의 중앙값: median() 데이터의 표준편차와 표본분산: std(), var() 최솟값과 최댓값: min(), max() 데이터 전체 합 계산: sum() 누적합과 누적곱: cumsum(), cumprod() 사분위수: percentile() 정렬 함수: sort() 집합 관련 함수 유일값: unique..

[Data Analysis] NumPy의 기초

NumPy Python의 확장 모듈로서 대규모 수학 함수 라이브러리를 갖고 있으며, 연산 기능이 충실함 인공지능을 구현할 때에는 벡터, 행렬을 자주 다루므로 NumPy는 매우 유용한 툴 함수 정리 함수 역할 np.array() 배열 생성 np.zeros() ‘0.’으로 채워진 배열 생성 np.ones() ‘1.’로 채워진 배열 생성 np.arange(start, stop, step) 시작 숫자부터 마지막 숫자-1 만큼 증가폭만큼의 수를 나열한 배열 생성 파이썬의 range() 함수와 동일 | | np.shape() | 배열의 형태 반환 → (행, 열) | | len() | 배열의 행 수 반환 | | np.sum() | 합계 반환 | | np.average() | 평균 반환 | | np.max() | 최댓..