코딩하는 해커

[LLM] 대형 언어 모델(LLM) 소개

대형 언어 모델(LLM) 소개(Introduction to LLM)ChatGPT가 공개된지 약 2년이 다되어 가는 시점이고, 처음 나왔을 때는 hallucination(AI가 학습된 데이터나 맥락에 근거하지 않는 잘못된 정보나 허위 정보를 생성하는 현상)이 심해서 여러 번의 검증을 하고 사용하였는데, 최근에는 이러한 문제가 상당하 개선되며 다양한 분야에 적용되어 인간의 업무 효율성을 높이고 있다. 시대의 흐름에 맞게 AI를 사용하는 것은 선택이 아닌 필수가 된 시점에서 자연어 처리(Natural Language Processing, NLP)와 대형 언어 모델(Large Language Model)에 대한 이해는 AI를 공부한다면 필수적이라고 생각한다. 따라서, 기본적인 자연어 처리 기법과 대형 언어 모델..

[NLP] NLP의 기초

NLP의 기초 최근 ChatGPT, Bard 등이 도입되며, 전세계적으로 NLP에 대한 관심도가 증가하였고 수요도 급격하게 증가하였다. 앞으로는 거대 언어 모델(LLM)과 Computer Vision을 융합하여 사용할 수 있는 인재의 수요가 높아질 것이라 예상되기 때문에 Computer Vision 외에도 NLP에 대해 학습하며, 실습도 하고자 한다. NLP(Natural Language Processing, 자연어 처리)란? 컴퓨터가 인간의 언어(비정형 데이터, unstructured data)를 이해할 수 있도록 처리하는 기술이다. 컴퓨터는 2진 데이터(0과 1, binary data)로 되어 있는데 컴퓨터가 비정형 데이터를 이해하기 위해서는 2진으로 변환해줘야 한다.(encoding) 위 그림에서는..