Insights / Технические материалы

Cloudflare Vectorize и RAG: понять разницу между поиском и ответами ИИ

Узнайте, как Cloudflare Vectorize помогает находить уже опубликованную информацию по естественным вопросам: с практической пользой, ролью рядом с обычным поиском, RAG и поэтапным внедрением.

  • Технологии
  • Cloudflare
  • Vectorize
  • RAG
  • Семантический поиск
  • Поиск по сайту
Cloudflare Vectorize и RAG: понять разницу между поиском и ответами ИИ
Содержание
  1. Сначала вывод: Vectorize сокращает путь от вопроса к нужной странице
  2. Сначала: что такое RAG?
  3. У Vectorize и RAG разные задачи
  4. Когда польза наиболее заметна
  5. Начните в три этапа
  6. RAG-ответ начинается с выбора доказательств
  7. Продолжите от решения к реализации

Сначала вывод: Vectorize сокращает путь от вопроса к нужной странице

На сайте могут быть тщательно подготовленные руководства и FAQ, но посетители все равно не находят их. Часто слова в заголовке страницы не совпадают со словами в вопросе посетителя.

Например, на странице может быть раздел о настройках аккаунта, а человек спрашивает, что делать после входа, или не понимает начальную настройку. Vectorize ищет публичную информацию с близким смыслом, а не только полностью совпадающие слова, и сокращает этот разрыв.

Он не создает новые факты и не исправляет устаревшую информацию автоматически. Его ценность — более естественный вход к уже опубликованной и надежной информации. Cloudflare документирует Vectorize для семантического поиска, рекомендаций, классификации и других задач. Документация Cloudflare Vectorize

Сначала: что такое RAG?

RAG означает Retrieval Augmented Generation. Проще говоря, это способ сначала найти подходящую информацию, а затем дать ИИ сформировать ответ с использованием этой информации.

Vectorize можно представить как каталог библиотекаря, который находит материалы с близким смыслом. RAG — это вся работа библиотекаря: найти материалы, прочитать выбранные источники и ответить, показав происхождение информации.

Вместо прямой отправки вопроса модели ИИ сначала извлекаются связанные материалы из собственных публичных данных и добавляются как контекст. Cloudflare описывает RAG как использование контекста векторного поиска для дополнения prompt, отправляемого LLM. Документация Cloudflare

У Vectorize и RAG разные задачи

Компонент Задача Что он может сам
Pagefind Находить слова на страницах Быстро находить названия продуктов, имена и коды ошибок
Vectorize Находить информацию с близким смыслом Возвращать кандидаты для перефразировок и связанных страниц
RAG Создавать ответ ИИ по извлеченным доказательствам Возвращать ответ вместе со ссылками на исходные страницы

Vectorize не генерирует ответ. RAG — это больше, чем поиск. Только договор между поиском, отбором доказательств, генерацией ответа и показом источников позволяет читателю проверить ответ.

Сравнение обычного поиска, находящего точные слова, и семантического поиска, находящего несколько связанных страниц

Схема: обычный поиск полезен для точных слов, семантический — для перефразировок и связанных сведений. Лучше распределить роли, а не заменять один путь другим.

Когда польза наиболее заметна

Оценивать результат особенно легко, если люди описывают одну потребность разными словами, если руководства и FAQ распределены по нескольким страницам и если читателя нужно направить к первоисточнику. Если публичные страницы, черновики и внутренние данные не разделены, или нельзя понять, какой материал актуален, сначала следует упорядочить информацию.

Начните в три этапа

Чат-бот не обязан быть первым шагом.

  1. Оставьте обычный поиск. Сохраните Pagefind для названий продуктов и кодов ошибок.
  2. Добавьте поиск связанного контента. Пусть Vectorize показывает публичные страницы, близкие к вопросу; оценивайте результат на представительных вопросах.
  3. Добавьте ответы с доказательствами. Используйте RAG только после определения допустимых страниц, показываемых ссылок на источники и условий, когда от ответа нужно отказаться.

Поэтапный путь от обычного поиска через семантический поиск связанного контента к ответам ИИ с доказательствами и безопасным возвратом к обычному поиску

Схема: когда обычный поиск остается основой, семантический поиск и ответы ИИ можно проверять постепенно и при необходимости безопасно вернуть к надежному пути.

Так качество доступной для поиска информации проверяется до оптимизации внешнего вида ответов ИИ.

RAG-ответ начинается с выбора доказательств

Решение Простой первый выбор Зачем
Область вопросов Только публичная информация сайта Не дает черновикам или внутренней информации попасть в ответ
Показ доказательств Ссылаться на оригинальную страницу в каждом ответе Читатели могут проверить ответ
Недостаточно доказательств Сказать «Я не могу это подтвердить» Избегает правдоподобных догадок
Разделение поиска Pagefind при вводе; Vectorize/RAG после явного действия Делает понятными передачу данных, стоимость и ожидание

RAG не делает неверные ответы невозможными. Качество определяют выбор corpus, проверка доказательств и ясное определение ситуаций, когда отвечать не следует.

Поток RAG, который получает страницы-кандидаты, проверяет источники, формирует ответ с цитатами и при недостатке доказательств останавливается

Схема: RAG не принимает результаты поиска за готовый ответ. Он проверяет исходную информацию и связывает с ответом и цитатой только пригодные доказательства.

Продолжите от решения к реализации

  1. Подробное руководство по безопасной реализации Vectorize — публичные HTML-corpus, content hash, дифференциальная синхронизация, разделение Preview/Production и rate limits.
  2. Технический дизайн ИИ-чата для обращений — ввод для ИИ, границы API и списки разрешенных URL.
  3. Расширение официального сайта с Astro и Cloudflare — как безопасно добавить поиск и функции ИИ на статическую основу.

Разделение потребности в лучшем поиске и потребности в ИИ-подсказках с проверяемыми источниками делает требуемую реализацию и проверку значительно понятнее.

Основы RAG

Четыре шага от вопроса к ответу с доказательствами

Результат поиска сам по себе не является ответом: сначала нужно получить исходную публичную страницу и только затем использовать ее как контекст.

  1. Подготовить публичную информацию

    Включать только страницы, которые разрешено показывать читателям.

  2. Искать по смыслу

    Преобразовать вопрос в embedding и найти близкую информацию через Vectorize.

  3. Выбрать доказательства

    Проверить исходную страницу, URL и актуальность перед выбором информации для ответа.

  4. Ответить или отложить

    Генерировать ответ только при достаточных доказательствах; иначе сообщить, что это нельзя подтвердить.