CodeLlama-70B-Instruct 在 HumanEval 上获得 67.8 分,使其成为当今性能最高的开放模型之一。
Code Llama 70B分为三个版本:
◦ CodeLlama – 70B,基础代码模型;
◦ CodeLlama – 70B – Python,专门用于Python;
◦ 和Code Llama – 70B – Instruct 70B,为理解自然语言指令进行了微调。
Code Llama的特点包括:
•在编码任务上超越了目前公开可用的最先进LLM。
•免费提供给研究和商业用途。
•支持多种流行编程语言,包括Python、C++、Java、PHP、Typescript(Javascript)、C#和Bash。
•提供了四种不同大小的模型(7B、13B、34B、70B),每个模型都经过大量代码和代码相关数据训练。
•模型能够提供稳定的生成,处理高达100,000个令牌的上下文。
•支持插入现有代码中的代码完成等任务。
详细:https://ai.meta.com/blog/code-llama-large-language-model-coding/