DeepSeek-V2.5 получил высокую оценку как новый, настоящий лидер в области моделей ИИ с открытым исходным кодом

По своей природе широкая доступность новых моделей ИИ с открытым исходным кодом и свобода лицензирования означают, что другим предприимчивым разработчикам проще взять их на вооружение и усовершенствовать, чем в случае с собственными моделями.

Так, уже сейчас, спустя всего несколько дней после того, как была заявлена последняя модель ИИ с открытым исходным кодом, появился новый лидер.Компания DeepSeek, ИИ-отделение китайского количественного хедж-фонда High-Flyer Capital Management, официально представила свою последнюю модель DeepSeek-V2.5, усовершенствованную версию, объединившую возможности своих предшественников DeepSeek-V2-0628 и DeepSeek-Coder-V2-0724.

Новая версия, выпущенная 6 сентября 2024 года, объединяет в себе функции общей обработки языка и кодирования в одну мощную модель.

Доступная уже сейчас на Hugging Face, модель предлагает пользователям беспрепятственный доступ через веб и API, и, судя по наблюдениям и тестам сторонних исследователей, является самой передовой большой языковой моделью (LLM), доступной в настоящее время в среде с открытым исходным кодом.

Похвалы в адрес DeepSeek-V2.5 последовали за продолжающимся спором вокруг модели Reflection 70B от HyperWrite, которую соучредитель и генеральный директор Мэтт Шумер 5 сентября назвал «лучшей в мире моделью ИИ с открытым исходным кодом», согласно его внутренним тестам, но независимые исследователи и широкое сообщество исследователей ИИ оспорили эти утверждения, так и не сумев воспроизвести заявленные результаты.

Расширенные возможности и производительность

DeepSeek-V2.5 оптимизирован для выполнения нескольких задач, включая написание текстов, выполнение инструкций и продвинутое кодирование. С акцентом на лучшее соответствие предпочтениям человека, она подверглась различным доработкам, чтобы превзойти своих предшественников почти во всех бенчмарках.По данным Financial Times, материнская компания DeepSeek - High-Flyer - является «одной из шести китайских групп, обладающих более чем 10 000 процессоров [Nvidia] A100», и она явно использует их на благо исследователей ИИ с открытым исходным кодом.

DeepSeek-V2.5 демонстрирует превосходство в ряде критических бенчмарков, демонстрируя превосходство как в обработке естественного языка (NLP), так и в задачах кодирования.

Согласно внутреннему тестированию и внешним оценкам, модель показывает лучшие результаты по нескольким ключевым параметрам:

AlpacaEval 2.0: DeepSeek-V2.5 демонстрирует общую точность 50,5, что лучше, чем у DeepSeek-V2-0628 (46,6) и DeepSeek-Coder-V2-0724 (44,5).

ArenaHard: модель достигла точности 76,2, по сравнению с 68,3 и 66,3 у предшественников.

HumanEval Python: DeepSeek-V2.5 набрала 89 баллов, что свидетельствует о значительном улучшении ее способностей к кодированию.