URL to Markdown

So funktioniert es

1. 1Fügen Sie eine öffentliche http- oder https-Adresse in das Feld ein.
2. 2Lassen Sie „Nur Hauptinhalt“ eingeschaltet, wenn Sie den Artikel ohne Navigation und Fußzeilen möchten.
3. 3Wählen Sie Ihre Optionen für Überschriften, Listen, Codeblöcke und Links.
4. 4Klicken Sie auf „In Markdown umwandeln“ und warten Sie, bis die Seite geladen ist.
5. 5Klicken Sie auf „Kopieren“ oder „.md herunterladen“, um das Markdown zu speichern.

So wandeln Sie eine URL in Markdown um

Fügen Sie die vollständige Adresse einer öffentlichen Seite ein, die mit https:// oder http:// beginnt, und klicken Sie auf „In Markdown umwandeln“. Das Tool verarbeitet eine Seite nach der anderen. Um eine Webseite, die Sie geöffnet haben, in Markdown umzuwandeln, kopieren Sie ihre Adresse aus der Adressleiste Ihres Browsers und fügen Sie sie hier ein.

Stellen Sie die Optionen vor der Umwandlung ein. Sie können den Stil der Überschriften (Raute oder Unterstreichung), das Listenzeichen (-, * oder +), den Stil der Codeblöcke (Fenced oder eingerückt), Tabellen und Durchstreichung wählen sowie festlegen, ob Links, Bilder und nur der Hauptinhalt beibehalten werden. Wenn das erste Ergebnis nicht passt, ändern Sie eine Option und wandeln Sie dieselbe Adresse erneut um.

Was passiert, wenn Sie eine Webseite in Markdown umwandeln

Die Adresse wird an unseren Server gesendet. Der Server öffnet die Seite in Headless-Chromium, einem Browser ohne Fenster. Das JavaScript der Seite läuft, das Tool wartet, bis die Seite geladen ist, und der Server gibt das HTML der Seite nach dem Rendern zurück. Das HTML kann bis zu 2 MB groß sein. Eine größere Seite schlägt mit einem Fehler zur Ausgabegrenze fehl.

Ihr Browser lädt dieses HTML danach herunter und wandelt es mit turndown, einer Open-Source-Bibliothek, in Markdown um. Die Umwandlung findet auf Ihrem Gerät statt. Das Markdown erscheint in einem Feld mit den Schaltflächen „Kopieren“ und „.md herunterladen“ sowie einer Wort- und einer Bytezahl.

Relative Links und Bildadressen werden anhand der von Ihnen eingegebenen Seitenadresse zu vollständigen Adressen. Die Links im Markdown funktionieren auch, wenn Sie es außerhalb der ursprünglichen Seite öffnen.

Eine Seite auf diese Weise umzuwandeln zählt im kostenlosen Tool als Webseiten-Umwandlung, für die es ein kleineres, separates Tageskontingent gibt. Angemeldet kostet jede Umwandlung 1 Credit.

Warum JavaScript-Seiten einen echten Browser brauchen

Viele moderne Websites fügen ihren Text mit JavaScript nach dem ersten Download hinzu. Speichern Sie das rohe HTML mit einem einfachen Download, kann ein großer Teil dieses Textes fehlen. Dieses Tool lässt die Skripte der Seite zuerst in Headless-Chromium laufen, sodass das zurückgegebene HTML auch die Inhalte enthält, die die Skripte ergänzt haben.

Eingefügtes HTML enthält nur, was im eingefügten Text steht. Wenn Sie HTML von einer Seite kopieren, laufen deren Skripte nicht, daher fehlt alles, was die Seite mit JavaScript aufbaut. Nutzen Sie das URL-Tool, wenn Sie die gerenderte Seite möchten. Nutzen Sie das Tool HTML in Markdown, wenn Sie das HTML bereits haben und ohne Serverschritt umwandeln möchten.

• Nutzen Sie das URL-Tool für eine Live-Seite, etwa einen Nachrichtenartikel oder eine Produktseite, die mit Skripten aufgebaut ist.
• Nutzen Sie das Tool HTML in Markdown für HTML, das Sie bereits auf Ihrem eigenen Gerät haben.

Nur Hauptinhalt, Links und Bilder

Schalten Sie „Nur Hauptinhalt“ ein, um den Artikel zu behalten und den größten Teil der übrigen Seite wegzulassen. Hat die Seite ein main- oder article-Element, verwendet das Tool es. Navigation, Kopfzeilen, Fußzeilen, Seitenleisten, Formulare und Dialoge werden weggelassen. Diese Option ist in diesem Tool standardmäßig eingeschaltet.

Mit „Links behalten“ und „Bilder behalten“ legen Sie fest, ob Links und Bildadressen im Markdown erscheinen. Das Markdown verweist auf jedes Bild über seine Adresse. Das Tool speichert Bilddateien nicht für Sie.

• Tabellen und Durchstreichung verwenden GitHub-Markdown und sind standardmäßig eingeschaltet.
• Skripte, Style-Blöcke und iframes werden vor der Umwandlung entfernt.
• Markdown kann keine verbundenen Tabellenzellen, Inline-Farben oder Seitenlayouts darstellen, daher erscheinen sehr komplexe Layouts als einfache Absätze.

Seiten, die Sie nicht umwandeln können

Manche Seiten lassen sich nicht umwandeln. Seiten hinter einem Login zeigen den Anmeldebildschirm, weil das Tool keine Cookies sendet. Private Netzwerke, localhost und Cloud-Metadatenadressen werden abgelehnt, auch dann, wenn eine Seite auf eine davon weiterleitet.

Manche Websites blockieren automatisierte Anfragen oder antworten mit einer Fehlerseite. In diesem Fall gibt das Tool den Text dieser Seite aus, nicht den Artikel. Wir umgehen keine Sperren, daher lässt sich eine Seite, die den Zugriff verweigert, nicht umwandeln.

Ist eine Seite größer als die HTML-Grenze, bricht die Umwandlung mit einem Fehler zur Ausgabegrenze ab. Versuchen Sie eine kleinere Seite oder prüfen Sie, ob die Adresse, die Sie haben, auf den Artikel verweist.

URL to Markdown API

Dieses Tool wandelt eine Seite pro Anfrage um. Um Seiten aus Ihrem eigenen Code heraus umzuwandeln, nutzen Sie die URL to Markdown API. Senden Sie eine POST-Anfrage an /v1/render mit der url und mit output auf html. Die API öffnet die Seite in Headless-Chromium, führt ihr JavaScript aus und gibt das gerenderte HTML als Textdatei zurück. So sieht die Anfrage in drei Sprachen aus:

curl -X POST https://api.aiipworld.com/v1/render \
  -H "Authorization: Bearer $AIIPWORLD_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url":"https://aiipworld.com/","output":"html","options":{"wait_until":"networkidle"}}'

# returns {"job_id": "...", "status": "queued"}; then poll:
curl https://api.aiipworld.com/v1/jobs/JOB_ID -H "Authorization: Bearer $AIIPWORLD_API_KEY"

Der Auftrag läuft asynchron. Die erste Antwort enthält eine job_id, und Sie fragen GET /v1/jobs/:id ab, bis der Status succeeded, failed oder timeout lautet. Ein erfolgreicher Auftrag liefert eine kurzlebige download_url für die HTML-Datei, die bis zu 2 MB groß sein kann. Jede Anfrage wandelt eine Webseite um. Es gibt keine Crawl-Option und keinen Stapel-Endpoint, daher senden Sie, um eine Website mit vielen Seiten in Markdown umzuwandeln, eine Anfrage pro Adresse.

Die API gibt kein Markdown selbst zurück. Ihr Code wandelt das heruntergeladene HTML mit einer Bibliothek Ihrer Wahl um. Das Tool oben nutzt turndown, eine Open-Source-JavaScript-Bibliothek mit MIT-Lizenz. Dieses Node.js-Skript macht dasselbe für eine Datei, die Sie von download_url heruntergeladen haben. Wir haben es mit turndown 7.2.4 auf einer HTML-Beispieldatei ausgeführt. Relative Links bleiben unverändert; lösen Sie sie vorher gegen die Seitenadresse auf, wenn Sie vollständige Adressen brauchen.

// npm install turndown
// Usage: node html-to-markdown.mjs page.html   (page.html is the file you downloaded from download_url)
import { readFile } from "node:fs/promises";
import TurndownService from "turndown";

const html = await readFile(process.argv[2], "utf8");
const turndown = new TurndownService({ headingStyle: "atx", codeBlockStyle: "fenced" });
turndown.remove(["script", "style", "iframe"]); // drop elements that are not page text

console.log(turndown.turndown(html));

Ergebnisdateien werden im kostenlosen Tarif 1 Tag, im Starter- und Pro-Tarif 7 Tage und im Business- und Scale-Tarif 30 Tage aufbewahrt. Während dieser Zeit läuft das HTML der Seite über unsere Server. Eine Anfrage kostet 1 Credit, und Credits für fehlgeschlagene Aufträge und Aufträge mit Zeitüberschreitung werden erstattet. Die API-Seite der Dokumentation listet die Fehlerklassen auf.

Wandeln Sie nur Seiten um, die Sie kopieren dürfen

Wandeln Sie nur Seiten um, zu deren Kopie Sie berechtigt sind, etwa Ihre eigene Website, Seiten, deren Nutzung Ihnen erlaubt wurde, oder Seiten, deren Inhaber das Kopieren gestattet. Lesen Sie die Nutzungsbedingungen der Website, bevor Sie umgewandelte Inhalte weiterverwenden.

Die Umwandlung einer Seite gibt Ihnen keine Rechte an deren Inhalt. Das Tool bietet keine Rechtsberatung zu Urheberrecht oder Lizenzen. Ob Sie eine Seite weiterverwenden dürfen, hängt vom Inhaber der Seite und vom Recht des Landes ab, in dem Sie leben.

Fragen