Not Diamond автоматически направляет ваш запрос к лучшему LLM.

Задача кажется довольно простой, но большинство организаций сталкиваются с одним ключевым препятствием: как определить, что лучше всего подходит для их специфических случаев использования, когда экосистема развивается так быстро?

Not Diamond, новый стартап, вышедший сегодня из невидимости, утверждает, что ответ кроется в умной маршрутизации.Стартап из Сан-Франциско разработал новый LLM-маршрутизатор, который позволяет предприятиям использовать несколько моделей и направлять запросы к лучшей из них, улучшая не только качество результатов, но и другие важные для использования аспекты, такие как общая задержка и сопутствующие расходы.

«Наша основная ставка заключается в том, что в будущем не будет одной-единственной гигантской модели или компании, к которой все обращаются, а будет множество базовых моделей, миллионы точно настроенных вариантов этих моделей и бесчисленное множество пользовательских механизмов вывода, работающих поверх них. Мы создали Not Diamond, чтобы обеспечить это многомодельное будущее, начав с самой мощной в мире инфраструктуры для маршрутизации между моделями», - сказал в своем заявлении Томаш Эрнандо Кофман, генеральный директор и соучредитель Not Diamond.

Важно отметить, что, несмотря на то, что компания является очень новой, она привлекает к себе значительное внимание. Она привлекла 2,3 миллиона долларов первоначального финансирования от defy.vc и нескольких ведущих представителей индустрии ИИ, включая главного ученого Google DeepMind Джеффа Дина, Джулиена Шомонда из Hugging Face, Зака Касса из OpenAI, председателя Databricks Иона Стойку, Тома Престона-Вернера из Github и Джеффа Вайнера из LinkedIn.Современная экосистема больших языковых моделей очень сложна. У каждой модели, независимо от того, находится ли она в открытом доступе или нет, есть свой набор сильных и слабых сторон.

Так, если вы хотите приобрести модель с большой длиной контекста и высокой производительностью, велика вероятность, что она будет стоить слишком дорого.

С другой стороны, если она доступна по цене, в ней могут отсутствовать некоторые важные возможности или ее задержка может быть слишком высокой. Кофман, который создавал продукт для ИИ без кода, сам боролся с дилеммой LLM. Он видел решение в интерфейсе, который мог бы помочь предприятиям использовать сеть различных специализированных моделей - вместо того, чтобы полагаться на одну единственную модель.

Это побудило его объединиться с коллегами по ML Цзе-Ян Тунгом и Джеффри Акики и основать компанию Not Diamond с целью создания инфраструктуры для интеллектуальной маршрутизации запросов между моделями.

«Надежная инфраструктура маршрутизации будет иметь решающее значение для максимизации эффективности систем ИИ... Небольшие специализированные модели могут превосходить более крупные модели в узких областях, а маршрутизация придает специальным моделям надежность общих. Это не только более эффективно с вычислительной точки зрения - в качестве бесплатного бонуса мы получаем огромные преимущества в плане интерпретируемости и безопасности», - сказал Кофман в интервью VentureBeat.