코딩하는 해커

[Statistics] 이산확률분포 - 베르누이 분포, 이항분포

이산확률분포 - 베르누이 분포, 이항분포(Bernoulli Distribution, Binomial Distribution)깃허브 연습코드 링크: https://github.com/PSLeon24/Mathematical_Statistics/blob/main/Probability_Distribution/%EB%B2%A0%EB%A5%B4%EB%88%84%EC%9D%B4%20%EB%B6%84%ED%8F%AC.ipynb이번 포스팅에서는 이산확률분포 중에서 베르누이 분포와 이항분포를 알아보고자 한다.먼저, 이산확률분포가 무엇인지에 대한 개념을 정립하고 시작하자.확률분포는 크게 2가지 카테고리로 분류할 수 있는데, 첫째는 이산확률분포(discrete probability distribution)이고 둘째는 연속확률..

확률. 큰 수의 법칙 주사위 던지기 실험 - 코드 포함

import numpy as np import seaborn as sns from matplotlib import pyplot as plt bins = 100000 fname = ['1', '2', '3', '4', '5', '6'] freq = [0] * 6 prob = [0] * 6 for i in range(bins): x= np.random.randint(1, 7) if x == 1: freq[0] += 1 elif x == 2: freq[1] += 1 elif x == 3: freq[2] += 1 elif x == 4: freq[3] += 1 elif x == 5: freq[4] += 1 else: freq[5] += 1 print(f'주사위를 총 {bins}번 던진 경우') for i in r..

[Statistics] 확률과 확률분포 - 시행, 사건, 확률함수, 표본공간

통계학을 깊게 학습하기 위해서 확률이론의 기초에 대해 학습하고자 한다. 확률과 확률분포 - 시행, 사건, 확률함수 흔히 확률은 어떠한 사건이 발생할 가능성을 수치화하기 위해 사용되는 일종의 척도로 사용한다. 이러한 척도를 정의하기 위해서는 시행(trial), 사건(event), 확률함수(probability function)와 같은 개념을 먼저 정의하는 것부터 해야 한다. 시행(trial) 주사위 또는 동전을 던지거나 제비를 뽑는 경우와 같이, 같은 조건에서 몇 번이고 반복할 수 있으며 그 결과가 우연에 의해서 정해지는 실험이나 관찰을 '시행'이라 한다. 예를 들면, '동전을 3번 던진다.' '주사위 1개와 동전 1개를 동시에 던진다.'가 시행이라 할 수 있다. 그리고 어떤 시행에서 일어날 수 있는 모든..

[Statistics] 기술통계: 이변량 자료의 정리 - 단순선형회귀분석(simple linear regression analysis)

단순선형회귀분석(simple regression analysis) 인공지능을 학습하며, https://psleon.tistory.com/64 이 포스팅에서 선형회귀분석에 다룬 적이 있는데 더 자세히 다뤄보고자 한다. 회귀분석은 영국의 유전학자인 프랜시스 골턴이 제안한 방법으로, 독립변수에 대한 종속변수의 관계를 수학적인 함수식을 사용해 규명하고, 규명된 함수식을 이용해 독립변수의 변화로부터 종속변수의 변화를 예측할 경우에 사용되는 통계적인 방법이다. 독립변수와 종속변수에 대해 쉽게 설명하면 y=ax+b 라는 식이 있을 때, y가 종속변수가 되고 x가 독립변수가 된다. 회귀분석을 할 때 독립변수를 한 개만 사용하는 경우를 단순회귀분석(simple regression analysis)이라 하고, 이 경우 종..

[Statistics] 기술통계: 이변량 자료의 정리 - 상관분석(correlation analysis)

상관분석(correlation analysis) 상관분석이란 두 변량 간에 존재하는 상관관계(선형 또는 비선형적인 종속관계)의 강도를 측정하는 일련의 방법이다. 두 변량 간의 상관관계를 조사하기 위해서는 산점도 작성이 필요하다. 산점도에서 두 변량 간의 관계가 대체로 직선적인 경우는 상관계수(correlation coefficient)를 계산하여 그 상관의 정도를 파악할 수 있다. 만약 두 변량 간의 관계가 곡선적인 경향을 보이는 경우는 상관의 정도를 상관비(correlation ratio)로 계산한다. 표본상관계수(sample correlation coefficient) 1) r의 값은 -1보다 크거나 같고 1보다 작거나 같다. 2) r=0일 때 두 변량은 무상관이다. 3) r이 0보다 크고 1보다 작..

[Statistics] 기술통계: 일변량 자료의 분석 - 상자그림과 이상값

오늘은 매우 중요한 상자그림과 이상값에 대해 학습하고자 한다. 인공지능을 학습하기 위한 데이터를 처리하는 과정에서 이상값(outlier)를 다루는 것은 매우 중요하다. 이 상자그림을 활용하면 분포를 한눈에 볼 수 있고 이상값을 쉽게 찾을 수 있으므로 이번 학습 주제는 인공지능을 위한 기술통계학에서 반드시 알고 넘어가야 하는 개념이니 여러번 반복해서 학습하길 바란다. 상자그림과 이상값 상자그림(box plots, 상자수염그림: box-and-whisker diagrmas) 상자그림(box plots)은 자료의 중심위치, 산포도, 대칭 또는 비대칭의 정도를 한꺼번에 보여주는 그림으로 상자 수염 그림이라고도 한다. 이 그림은 사분위수들과 측정값들의 최댓값 및 최솟값을 이용하여 다음과 같이 그린다. 위 상자그림..

[Statistics] 기술통계: 일변량 자료의 분석 - 표준점수

표준점수(Standard Score, Z score) 어느 학생이 수능시험을 치른 후 얻은 점수가 어느 정도 수준인지 알고자 할때 표준점수(Z score)는 그 학생의 점수가 다른 학생들과 비교해 어느 정도인지를 나타내는 상대적인 위치를 나타내는 측도로 사용된다. 어느 자료의 평균과 분산을 알고 있을 때 그 자료의 i번째 측정값 xi의 표준점수는 다음과 같다. · 모집단 자료의 경우 · 표본자료인 경우 표준점수는 측정단위가 없는 단순한 숫자이며, 이러한 이유로 표준점수는 서로 다른 분포를 가진 자료의 측정값들을 상호 비교하는 데에도 사용된다. 실제 표준점수가 활용되는 예시를 예제를 통해 알아보자. 예제 1 갑은 SAT의 수학부문에서 700점을 기록했고, 을은 CPT(College Placement Tes..

[Statistics] 기술통계: 일변량 자료의 분석 - 왜도(비대칭도)와 첨도(꼬리부분의 두꺼움 정도)

왜도(비대칭도)와 첨도(꼬리부분의 두꺼움 정도) 측정값들의 평균(mean)과 표준편차(또는 분산)의 값만으로는 자료가 가진 분포모양을 완전하게 설명할 수 없다. 자료 분포의 특징글 더 정확하게 기술하는 데에는 표준화적률(standradized moments)이 사용된다. 예를 들어, 50명으로 구성된 A, B, C 세 그룹의 성적의 각각의 리스트의 값과 같다고 가정하면, 세 그룹 모두 평균(50점)과 표준편차(12점)가 같다. 하지만 히스토그램으로 그려보면 분포상태는 현저히 다름을 확인할 수 있다. A 그룹과 B 그룹은 평균 50을 중심으로 대칭이므로 평균과 중앙값 최빈값이 동일하다. 하지만 A 그룹과 B 그룹을 비교하면 A 그룹보다 B 그룹에서 꼬리부분(평균에서 멀리 떨어진 부분, 양 끝부분)에 자료가..

[Statistics] 기술통계: 일변량 자료의 분석 - 산포도를 나타내는 통계값

산포도를 나타내는 통계값 일반적으로 이전 포스팅에서 학습한 대푯값(https://psleon.tistory.com/39)과 위치점(https://psleon.tistory.com/60)만으로는 측정된 자료의 분포가 가진 특징을 적절하게 설명할 수 없다. 아래의 예는 'A'와 'B' 두 사격선수가 각각 10발씩 쏘아 얻은 점수라고 가정하여 얻은 점수를 나타낸 것이다. 점수 1 2 3 4 5 도수 A 2 3 4 1 2 B 0 0 5 4 1 A의 합은 1*2 + 2*3 + 3*4 + 4*1 +5*2 = 34이고 B의 합은 3*5 + 4*4 + 5*1 = 36이다. 이때 A의 경우는 평균득점(x')은 3.4이고, B의 경우는 평균득점(x')가 3.6이다. 그러나 'A'와 'B'의 득점 패턴에는 현저한 차이가 있..

[Statistics] 기술통계: 일변량 자료의 분석 - 자료의 위치점

자료의 위치점(position point)어느 자료의 p% 위치점(position point)이:자료를 오름차순으로 나열하였을 때 전체 측정값 중에서 주어진 비율 p만큼의 측정값들이 그 값보다 작거나 같고 (1-p) 비율만큼의 측정값들이 그 값과 같거나 큰 값으로 정의된다. - 전형적인 예는 중앙값이며, 백분위수(percentiles), 십분위수(deciles), 사분위수(quartiles)가 있다. 예를 통해 살펴보면, 아래와 같다.자료의 분포에서 50%(p=0.5)가 중앙값과 같거나 작고 나머지 50%가 중앙값과 같거나 크다. 그러므로 중앙값은 50% 위치점이다. 백분위수(percentiles)백분위수: n% 백분위수 pₙ은 측정값들을 작은 것부터 크기 순서로 나열하였을 때 적어도 n%의 측정값들이 ..