Jede Seite wird zu sauberem Markdown.
Eine Seite in ein Modell zu kopieren und einzufügen, nimmt Menü, Banner, Fußzeile und Script mit, und Sie bezahlen Tokens für all das. Hier erhalten Sie nur den Inhalt in Markdown, mit der Quelle in der Kopfzeile.
- Modul
- Scraping
- Eingabe
- Eine URL
- Läuft auf
- Rovemark-Server
- Kosten
- Kostenlos, ohne Anmeldung
Der relevante Text, ohne den Rest der Seite
Eine Webseite ist für einen Browser gemacht: Sie hat Menü, Banner, Newsletter-Formular, Fußzeile und einen Stapel Scripts. Wenn Sie das in ein Modell kopieren, kommt alles mit, verbraucht Kontext, kostet Tokens und erschwert das Lesen dessen, was wichtig ist.
Das Tool holt die Seite, verwirft, was kein Inhalt ist, wählt den Hauptblock und wandelt ihn in Markdown: Überschriften werden zu #, Listen zu -, Tabellen bleiben Tabellen, und Links werden absolut. Oben steht ein Kopf mit der Quell-URL, damit das Modell weiß, woher das kommt.
- 01
Sie fügen die Seitenadresse ein
Eine Seite, ohne Anmeldung. Das Tool holt sie direkt von der Quelle, so wie es ein Crawler täte.
- 02
Alles, was kein Inhalt ist, fällt weg
Script, Stil, Menü, Fußzeile und Seitenleiste werden verworfen. Übrig bleibt der Block mit dem meisten Fließtext, dort befindet sich der Inhalt.
- 03
Heraus kommt Markdown zum Einfügen
Mit Wortzahl und Token-Schätzung, damit Sie wissen, wie viel davon in das Kontextfenster passt.
- 01
Warum Markdown und nicht reiner Text?
- Weil Markdown die Hierarchie fast ohne Tokenkosten bewahrt. Das Modell erkennt, was ein Titel, ein Listenelement oder eine Tabelle ist, und antwortet besser auf einen strukturierten Text als auf einen Fließtextblock, in dem alles das gleiche Gewicht hat.
- 02
Funktioniert das auf jeder Website?
- Es funktioniert, wenn der Text im ausgelieferten HTML steht. Websites, die den Inhalt erst nach JavaScript aufbauen, liefern eine leere Hülle zurück, und das Werkzeug weist darauf hin, statt eine leere Datei als Erfolg auszugeben.
- 03
Speichert das Tool die konvertierte Seite?
- Nein. Die Seite wird geholt, umgewandelt und in derselben Anfrage zurückgegeben. Serverseitig wird nichts gespeichert.
- 04
Klappt das hinter Login oder Bezahlschranke?
- Nein. Der Abruf erfolgt ohne Sitzung, genau wie bei einem anonymen Besucher. Sie erhalten also, was jede nicht angemeldete Person sehen würde. Inhalte hinter einem Login erfordern das Modul Datenerfassung, das mit einer authentifizierten Sitzung arbeitet.
- 05
Warum ist die Token-Zahl nur eine Schätzung?
- Weil jedes Modell seinen eigenen Tokenizer hat und die genaue Zahl von Modell zu Modell variiert. Die Schätzung verwendet das durchschnittliche Verhältnis pro Zeichen, angepasst an die Schrift, ausreichend für die Planung von Kontext und Kosten, nicht für eine exakte Abrechnung.
- 06
Lässt sich eine ganze Website auf einmal umwandeln?
- Hier nicht: Das kostenlose Werkzeug verarbeitet jeweils eine Seite. Eine ganze Website mit Planung und Bereitstellung per API erledigt das Modul Datenerfassung, dieselbe Engine im Maßstab.
Eine Seite ist leicht. Und tausend?
Dieses Werkzeug verarbeitet eine Seite sofort. Eine ganze Website zu crawlen, täglich zu wiederholen und das Ergebnis per API bereitzustellen, übernimmt das Modul Datenerfassung mit derselben Engine.