LLM

OpenAI의 chatGPT와 Github의 Copilot을 시작으로 다양한 LLM이 생겨나고 발전하면서 Coding에 특화된 모델이나 이를 활용한 서비스들이 속속 등장하는 시대가 도래했다. 필자도 Coding 작업을 할때는 이전에 간단하게 소개를 했었던 AWS Codewhisperer를 주로 사용하고, chatGPT나 Claude를 코드 리펙토링이나 로직 구현 등에 이용을 했었다. 이 밖에도 Cursor IDE도 한 달간 체험을 해본 경험이 있다. Continue오픈소스 AI-code assistant, LLM을 연결해 커스텀 code completion과 chatting을 이용할 수 있는 툴이다.VSCode와 JetBrain의 플러그인 방식으로 설치할 수 있다.  GitHub - continuedev..

LLama 3.1 버전이 7월 25일 릴리스되었다.이전 버전, 다른 모델들과 어떻게 다른지 확인해보고자 로컬 환경에서 LLama 3.1 모델을 받아 간단하게 LLM 서버를 구축해보고 사용해보도록 한다. OllamaLLM을 로컬 환경에서 구동할 수 있게하는 프레임워크, Ollama를 통해 모델을 가져와 개인화된 LLM 서버를 배포하고 관리할 수 있다.LLama 이외에도 Mistral, Gemma 등 여러 오픈소스 LLM도 지원한다. 지원하는 모든 모델 라이브러리는 아래에서 확인할 수 있다. libraryGet up and running with large language models.ollama.com 또한 GPU Acceleration, GPU와의 연동을 지원해 더욱 빠른 응답을 생성할 수 있다.  Ol..