Любая страница становится чистым Markdown.
Копирование страницы в модель переносит также меню, баннер, подвал и скрипты, и вы платите токенами за всё это. Здесь остаётся только контент в Markdown с источником в заголовке.
- Модуль
- Скрапинг
- Ввод
- URL
- Где работает
- Сервер Rovemark
- Стоимость
- Бесплатно, без регистрации
Текст, который нужен, без остальной страницы в придачу
Веб-страница сделана для браузера: в ней есть меню, баннер, форма подписки, подвал и набор скриптов. Когда вы копируете это в модель, всё идёт вместе, занимает контекст, стоит токенов и мешает читать важное.
Инструмент загружает страницу, отбрасывает то, что не является контентом, выбирает основной блок и преобразует его в Markdown: заголовки становятся #, списки становятся -, таблицы остаются таблицами, а ссылки становятся абсолютными. Вверху добавляется заголовок с исходным URL, чтобы модель знала, откуда это пришло.
- 01
Вы вставляете адрес страницы
Одна страница, без регистрации. Инструмент забирает её прямо с источника, как это сделал бы краулер.
- 02
Всё, что не содержимое, отбрасывается
Скрипты, стили, меню, подвал и боковая панель отбрасываются. Остаётся блок с наибольшим объёмом связного текста, там и находится контент.
- 03
Готовый Markdown для вставки
С числом слов и оценкой токенов, чтобы вы знали, сколько из этого поместится в контекст модели.
- 01
Почему Markdown, а не обычный текст?
- Потому что Markdown сохраняет иерархию почти без затрат токенов. Модель видит, где заголовок, где элемент списка и где таблица, и лучше отвечает по структурированному тексту, чем по сплошному блоку, где всё имеет одинаковый вес.
- 02
Работает ли это на любом сайте?
- Работает там, где текст находится в отданном HTML. Сайты, которые собирают контент только после JavaScript, возвращают пустую оболочку, и инструмент сообщает об этом, вместо того чтобы выдать пустой файл, изображая успех.
- 03
Хранит ли инструмент страницу, которую я конвертировал?
- Нет. Страница забирается, конвертируется и возвращается в рамках одного запроса. На стороне сервера ничего не сохраняется.
- 04
Годится ли для страниц за логином или пейволом?
- Нет. Загрузка выполняется без сессии, точно как у анонимного посетителя, поэтому вы получаете то, что увидел бы любой незалогиненный пользователь. Для контента за авторизацией нужен модуль Скрапинг, который работает с аутентифицированной сессией.
- 05
Почему подсчёт токенов является оценкой?
- Потому что у каждой модели свой токенизатор, и точное число меняется от одной к другой. Оценка использует среднее соотношение на символ с поправкой на тип письма, этого достаточно для оценки контекста и стоимости, но не для точного счёта.
- 06
Можно ли конвертировать сайт целиком за раз?
- Не здесь: бесплатный инструмент обрабатывает одну страницу за раз. Весь сайт, с расписанием и выдачей по API, обрабатывает модуль Скрапинг, тот же движок, работающий в масштабе.
Одна страница это легко. А тысяча?
Этот инструмент сразу делает одну страницу. Просканировать весь сайт, повторять это каждый день и выдавать результат по API, это задача модуля Скрапинг, на том же движке.