Code Llama, a state-of-the-art large language model for coding

GitHub - facebookresearch/codellama: Inference code for CodeLlama models

---

Code Llama는 Llama 2를 기반 모델 중 coding을 위한 large language models임. 이 모델은 open model 중에서 최고의 성능을 제공 (물론 자체 벤치마킹임) 함.  Infilling capabilities, large input contexts에 대한 지원, 프로그래밍 작업을 위한 zero-shot instruction 능력을 갖추고 있다고 함. 연구자들은 다양한 응용 프로그램을 커버하기 위해 기본 모델인 Code Llama, Python 전문화인 Code Llama - Python 그리고 명령어 수행 모델 Code Llama - Instruct 까지 3개의 모델을 제공하고, parameter 수는 각각 7B, 13B, 34B 정도로 가지고 있음. 모든 모델은 16k 토큰의 시퀀스에서 훈련되었으며, 최대 100k 토큰의 입력에서 개선을 보여준다고 함. Code Llama는 Llama 2를 더 높은 샘플링의 코드를 사용하여 fine tuning 함. 자세한 정보는 연구 논문에서. 

 

점차 이런 모델들이 개발되는 거 보니깐 내가 보기엔 적어도 2년 안에, 한국은 5년 안에 IT 업계의 대규모 개편이 일어난다고 생각이 된다. 피쓰-.