Mistral AI, ilk kod odaklı yapay zeka modeli olan Codestral’ı tanıttı. Codestral, kod üretiminde verimlilik ve doğruluk sunarak kodlama görevlerinde geliştiricilere yardımcı oluyor.
Codestral, kod parçacıkları oluşturma, işlevleri tamamlama, test yazma veya eksik kod bölümlerini doldurma gibi programlama görevlerinde geliştiricilerin gereksinimlerini karşılamak üzere tasarlanmıştır.
Codestral, Python, Java, C, C++, JavaScript ve Bash dahil olmak üzere 80’den fazla programlama dilini desteklemektedir. Diğer kodlama yapay zeka modellerinden çok daha büyük olan 32k bağlam uzunluğuna sahiptir. Bu daha büyük bağlam, Codestral’ın kod yapıları oluşturmasına yardımcı olarak karmaşık kodlama sorunlarına daha ayrıntılı ve eksiksiz çözümler sunar.
Codestral, CodeLlama 70B, Deepseek Coder 33B ve Llama 3 70B gibi diğer kod merkezli modelleri doğruluk ve verimlilik açısından geride bırakarak çeşitli kıyaslamalarda iyi performans göstermiştir. Python kod üretimi için HumanEval’de %81,1 ve Python çıktı tahmini için CruxEvall’da %51,3 puan almıştır. Performansını daha fazla ölçmek için birkaç ek kıyaslama kullanılmıştır:
Python için HumanEval pass@1, sterilize MBPP pass@1, CruxEval ve RepoBench EM, SQL için Spider benchmark ve C++, Bash, Java, PHP, Typescript ve C# değerlendirmeleri. Ortayı doldurma performansı, DeepSeek Coder 33B ile karşılaştırıldığında Python, JavaScript ve Java’da HumanEval pass@1 ile değerlendirilmiştir.
Codestral, VSCode ve JetBrains gibi popüler geliştirme ortamlarıyla entegre olarak geliştiriciler için erişilebilir ve kullanımı kolay hale gelir. Ayrıca, LlamaIndex ve LangChain ile entegre olarak kullanıcıların kolaylıkla ajan uygulamaları oluşturmasına olanak tanır.
JetBrains’de araştırmacı olan Mikhail Evtikhiev şunları söyledi:
Kotlin-HumanEval kıyaslamamızda bir test yapmak için Codestral’ı kullandık ve sonuçlardan çok etkilendik. Örneğin, T=0.2 için geçiş oranı durumunda Codestral, GPT-4-Turbo’nun 72.05 ve GPT-3.5-Turbo’nun 54.66 puanını geride bırakarak 73.75 puan elde etti.
Kullanıcı @1littlecoder X’te yayınladı:
Mistral’ın codestral’ı HackerRank’ten bir HARD Bash problemini çözdü – sadece 0-shot!
Codestral güçlü yeteneklere sahiptir, ancak yüksek performanslı bilgi işlem kaynakları gerektirir ve bazı kullanım kısıtlamaları vardır. Codestral, yeni Mistral AI Üretim Dışı Lisansı altında lisanslanmış 22B açık ağırlıklı bir modeldir, bu da onu araştırma ve test amacıyla kullanabileceğiniz anlamına gelir. Codestral HuggingFace üzerinden indirilebilir.