Модель искусственного интеллекта Diffbot не угадывает — она знает, благодаря графу знаний из триллиона фактов

Новая модель, доработанная версия Meta's LLama 3.3, является первой реализацией с открытым исходным кодом системы, известной как генерация с дополненным поиском графов, или GraphRAG.

В отличие от обычных моделей ИИ, которые полагаются исключительно на огромные объемы предварительно загруженных обучающих данных, LLM Diffbot использует информацию в реальном времени из Knowledge Graph компании, постоянно обновляемой базы данных, содержащей более триллиона взаимосвязанных фактов.

«У нас есть тезис: в конечном итоге рассуждения общего назначения будут сведены примерно к 1 миллиарду параметров», — сказал Майк Танг, основатель и генеральный директор Diffbot, в интервью VentureBeat. «На самом деле вам не нужны знания в модели. Вы хотите, чтобы модель была хороша только в использовании инструментов, чтобы она могла запрашивать знания извне».

Как это работает

Схема знаний Diffbot — это обширная автоматизированная база данных, которая сканирует общедоступную сеть с 2016 года. Она классифицирует веб-страницы по таким сущностям, как люди, компании, продукты и статьи, извлекая структурированную информацию с помощью комбинации компьютерного зрения и обработки естественного языка.

Каждые четыре-пять дней Схема знаний обновляется миллионами новых фактов, что гарантирует ее актуальность. Модель искусственного интеллекта Diffbot использует этот ресурс, запрашивая график в режиме реального времени для извлечения информации, а не полагаясь на статические знания, закодированные в ее обучающих данных.

Например, когда модель спрашивает о недавнем новостном событии, она может искать в Интернете последние обновления, извлекать соответствующие факты и ссылаться на первоисточники. Этот процесс призван сделать систему более точной и прозрачной, чем традиционные LLM.

«Представьте, что вы спрашиваете ИИ о погоде», — сказал Тунг. «Вместо того, чтобы генерировать ответ на основе устаревших обучающих данных, наша модель запрашивает службу погоды в реальном времени и предоставляет ответ, основанный на информации в режиме реального времени».

Как Diffbot Knowledge Graph превосходит традиционный ИИ в поиске фактов

В тестах производительности подход Diffbot, похоже, окупается. Компания сообщает, что ее модель достигает 81% точности на FreshQA, созданном Google тесте для проверки фактических знаний в реальном времени, превзойдя ChatGPT и Gemini. Она также набрала 70,36% на MMLU-Pro, более сложной версии стандартного теста академических знаний.

Возможно, самое важное то, что Diffbot делает свою модель полностью с открытым исходным кодом, позволяя компаниям запускать ее на собственном оборудовании и настраивать под свои нужды. Это решает растущие опасения по поводу конфиденциальности данных и привязки к поставщикам с основными поставщиками ИИ.

«Вы можете запустить ее локально на своей машине», — отметил Танг. «Вы не сможете запустить Google Gemini, не отправив свои данные в Google и не отправив их за пределы вашего помещения».

Открытый исходный код ИИ может изменить то, как предприятия обрабатывают конфиденциальные данные

Выпуск происходит в поворотный момент в разработке ИИ. В последние месяцы наблюдается растущая критика тенденции больших языковых моделей «галлюцинировать» или генерировать ложную информацию, даже несмотря на то, что компании продолжают масштабировать размеры моделей. Подход Diffbot предлагает альтернативный путь вперед, сосредоточенный на обосновании систем ИИ на проверяемых фактах, а не на попытках кодировать все человеческие знания в нейронных сетях.

«Не все стремятся просто к все большим и большим моделям», — сказал Танг. «У вас может быть модель, которая имеет больше возможностей, чем большая модель, с неинтуитивным подходом, как у нас».

Эксперты отрасли отмечают, что подход Diffbot на основе Knowledge Graph может быть особенно ценным для корпоративных приложений, где точность и контролируемость имеют решающее значение. Компания уже предоставляет услуги по обработке данных крупным фирмам, включая Cisco, DuckDuckGo и Snapchat.

Модель доступна немедленно через релиз с открытым исходным кодом на GitHub и может быть протестирована через публичную демонстрационную версию на diffy.chat. Для организаций, желающих развернуть его внутри компании, Diffbot говорит, что меньшая версия с 8 миллиардами параметров может работать на одном графическом процессоре Nvidia A100, в то время как полная версия с 70 миллиардами параметров требует двух графических процессоров H100.

Заглядывая вперед, Танг считает, что будущее ИИ заключается не в постоянно увеличивающихся моделях, а в лучших способах организации и доступа к человеческим знаниям: «Факты устаревают. Многие из этих фактов будут перемещены в явные места, где вы фактически сможете изменять знания и где вы сможете получить источник данных».

Поскольку индустрия ИИ сталкивается с проблемами, связанными с фактической точностью и прозрачностью, выпуск Diffbot предлагает убедительную альтернативу доминирующей парадигме «чем больше, тем лучше». Удастся ли ему сменить направление в этой области, еще предстоит увидеть, но он, безусловно, продемонстрировал, что когда дело касается ИИ, размер — это не все.