코딩하는 해커

Transformer

ViT 공부를 하기 위해서 트랜스포머 모델을 공부 중인데 내용이 좀 어려워 쉽게 와닿지 않는다. 조금 더 봐야겠다.

AI 학습 노트 공유

Artificial IntelligenceYeongmin Ko's learning notesDifferenceClassification: KNN, Decision TreeRegression: Linear and Logistic RegressionClustering: K-Means, Agglomerative Clustering, DBSCAN1. Clustering(K-Means, Agglomerative Clustering, DBSCAN)군집화(Clustering): 서로 유사한 데이터 개체 집합을 하위 집합으로 분할하는 프로세스(The process of partitioning a set of data objects that are similar to each other into subsets)이때, 각..

ADSP 3시간 공부 합격 후기

어제 제 41회 ADSP 사전 결과가 공개됐다. 필자는 전날 오후 딱 3시간만 공부하고 시험을 치러갔는데 생각보다 어려워서 60점 근처에서 턱걸이 할 줄 알았는데 다행히 70점이라는 안정적인 점수로 합격했다. 평소 인공지능과 데이터 분석을 공부하였기 때문에 완전 노베이스라고는 할 수 없지만 시험 전날 벼락치기했던 1, 2과목에서는 정말 노베이스였다. 나의 시험 합격 전략은 다음과 같았다. 상대적으로 쉬운 1~2과목에서 15문제 이상 맞추고 3과목 중에서는 아는 문제와 찍는 문제를 포함해서 15문제 이상을 맞추자는 것이었다. 다행스럽게 1~2과목은 벼락치기가 가능해서 각각 8문제씩 16문제를 맞췄다. 그리고 3과목에서는 19문제를 맞췄다. 그러면 지금부터 어떻게 1~2과목에서 고득점을 할 수 있었는지에 대..

[파이토치] 메타코드M '딥러닝 입문 + Pytorch 실습 부트캠프' 강의 후기(1/8)

[파이토치] 메타코드M '딥러닝 입문 + Pytorch 실습 부트캠프' 강의 후기(1/8) 위 그림은 최근 딥러닝 프레임워크의 점유율을 나타낸 그림인데, 시간이 지남에 따라 텐서플로의 비중은 줄어들고 파이토치가 급격하게 늘고 있는 것을 확인할 수 있다. 물론 최근 SOTA급 구현 코드나 논문들의 github 코드를 확인하면 대다수가 파이토치로 구현된 것을 알 수 있는데, 꼼꼼한 커리큘럼으로 파이토치를 배울 수 있는 곳은 드물었다. 하지만 필자가 평소에 AI 학습이나 선형대수학 공부를 위해 활용했던 사이트인 메타코드M에서 이번에 강의를 새롭게 런칭했고, 4월 말까지는 무료로 오픈한다고 해서 강의를 신청했다. 혹시나, 본 강의에 관심이 있는 독자는 아래의 링크를 클릭하여 상세한 정보를 확인하면 된다. 메타코..

[AI] 인공지능 대학원 면담 전공 및 수학(선형대수, 통계) 질문 및 답변 준비

Q1. PCA란 무엇인가? - 주성분 분석은 높은 차원의 데이터의 중요한 정보를 유지하면서 차원을 줄이는 방법입니다. 주성분 분석을 하는 과정은 먼저 데이터를 표준화하고 공분산 행렬을 계산합니다. 다음으로 공분산 행렬의 고유값과 고유벡터를 계산합니다. 이때 고유값은 주성분의 중요도를 나타내고, 고유벡터는 주성분 벡터를 나타냅니다. 이 과정이 끝나면 고유값이 큰 순서대로 주성분을 선택하여 데이터를 새로운 좌표계로 변환하여 데이터를 저차원으로 축소합니다. 활용하는 분야는 이상치 탐지, 이미지 압축 등이 있습니다. Q2. 딥러닝의 문제점과 해결 방법은? - 대표적인 딥러닝의 문제점은 과적합과 학습 데이터 부족, 기울기 소실 문제가 있습니다. 과적합은 모델이 훈련 데이터에만 적합되어 새로운 데이터에 대한 일반화..

[BigData] 데이터 시각화

1_1. 데이터 시각화의 필요성 및 데이터 시각화의 이유 빅데이터 시대의 비즈니스 환경에서 효율적인 의사 결정을 하기 위해서는 수많은 데이터를 보기 쉽게 정리하고 이를 통한 스토리텔링을 통해 설득할 수 있는 데이터 리터러시가 중요한 요소가 되었음 데이터 리터러시: 데이터를 요약하고 분석하여 청중이 알기 쉽게 정리한 결과를 적절한 양식으로 작성하여 전달하는 능력 데이터는 수많은 수치와 문자들로 이루어져 있어 사람이 이해하기 어려움. 하지만 이를 시각화하면 아래와 같은 이점이 있음 데이터 이해가 편리, 빠른 의사 결정, 청중의 주의력과 집중력 향상, 데이터 패턴의 파악, 이상치 및 오륫값 검출, 데이터 스토리텔링, 비즈니스 인사이트 One look is worth a thousand words. / 백 번 ..

[BigData] 결측치(missing value) 정의 및 제거 방법

결측치(missing value) 정의 및 제거 방법Missing value는 누락된 값, 비어 있는 값을 뜻한다. 실제 현장에서는 데이터 수집 과정에서 발생한 오류로 Missing value가 포함되어 있는 경우가 많아 이 값들을 찾아서 제거하거나 대체하는 방법을 사용해야 한다. 먼저, 데이터가 크고 missing value의 수가 많지 않을 때는 missing value를 찾고 제거하는 방법을 사용하면 된다. Pandas의 pd.isna() 함수에 df를 입력하면 값들이 반환되는데 True로 반환된 값이 missing value이며 False로 반환된 값은 정상 값이다. 데이터가 적으면 한눈에 missing value를 찾기 쉽지만 데이터가 크다면 파악하기 어려우므로 pd.isna().sum()과 같..

[AI] 주성분 분석(PCA)

주성분 분석(PCA) 주성분 분석은 데이터에 있는 분산이 큰 방향을 찾는 것이다. 여기서 분산은 데이터의 분포 정도인데 분산이 큰 방향이란 데이터를 가장 잘 표현하는 벡터로 생각할 수 있다. 예를 들어, 위와 같 산점도 플롯이 있다고 가정해보자. 위의 경우 가장 분산이 큰 방향, 즉 데이터의 분포를 가장 잘 표현하는 방향이 어디일까? 위에 표현된 y=x꼴로 그어진 직선과 같이 길게 늘어진 대각선 방향이 분산이 가장 크다고 알 수 있다. 여기서 직선(화살표라 가정)의 방향은 왼쪽 아래를 향할 수도 있고 오른쪽 위를 향할 수도 있으므로 중요하지 않다. 핵심은 위와 같이 분산이 큰 방향을 찾는 것이다. 앞에서 찾은 직선이 만약 원점(0, 0)에서 출발한다면 두 원소로 이루어진 벡터로 쓸 수 있다. 예를 들면 ..

[AI] 앙상블 학습(Ensemble Learning)

앙상블 학습(Ensemble Learning) 머신러닝을 공부하다 보면 앙상블, XGBoost, LightGBMBoost 등이 성능이 좋다고 하는 말을 종종 들을 수 있다. 그러나 초보자 입장에서는 용어가 낯설고 캐글에 공유된 커널들을 보더라도 쉽게 이해할 수 없는 매개변수들이 많다. 따라서 오늘은 앙상블 학습에 대해서 정리하고 관련 알고리즘들을 알아보고자 한다. 깃허브: https://github.com/PSLeon24/LearnAI/blob/main/Machine%20Learning/ML_Ensemble_Models.ipynb 학습 교재: 혼자 공부하는 머신러닝+딥러닝(박해선), p.263~283 앙상블 학습 앙상블 학습은 한 가지 모델이 아니라 여러 개의 모델을 훈련시키고 각 모델의 예측을 취합하여..

[AI] KNN(최근접 이웃) 알고리즘을 활용해 도미와 빙어 분류하기

KNN(최근접 이웃) 알고리즘을 활용해 도미와 빙어 분류하기 GitHub: https://github.com/PSLeon24/LearnAI/blob/main/Machine%20Learning/Bream_Classification_KNN.ipynb bream_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0, 31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0, 35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0] bream_weight = [242.0, 290.0, 340...