URL to Markdown

Fonctionnement

1. 1Collez une adresse publique http ou https dans la zone de saisie.
2. 2Laissez activée l'option contenu principal uniquement si vous voulez l'article sans la navigation ni les pieds de page.
3. 3Choisissez vos options de titres, de listes, de blocs de code et de liens.
4. 4Cliquez sur « Convertir en Markdown » et attendez le chargement de la page.
5. 5Cliquez sur « Copier » ou sur « Télécharger le .md » pour enregistrer le Markdown.

Comment convertir une URL en Markdown

Collez l'adresse complète d'une page publique, commençant par https:// ou http://, puis cliquez sur « Convertir en Markdown ». L'outil traite une page à la fois. Pour convertir une page web en Markdown à partir d'une page ouverte, copiez son adresse dans la barre du navigateur et collez-la ici.

Réglez les options avant la conversion. Vous pouvez choisir le style des titres (dièses ou soulignement), le marqueur de liste (-, * ou +), le style des blocs de code (délimités ou indentés), les tableaux et le barré, la conservation des liens, la conservation des images et le contenu principal uniquement. Si le premier résultat ne vous convient pas, modifiez une option et convertissez de nouveau la même adresse.

Ce qui se passe lorsque vous convertissez une page web en Markdown

L'adresse est envoyée à notre serveur. Le serveur ouvre la page dans Chromium sans interface (headless), un navigateur sans fenêtre. Le JavaScript de la page s'exécute, l'outil attend le chargement, et le serveur renvoie le HTML de la page après rendu. Ce HTML peut aller jusqu'à 2 MB. Une page plus grande échoue avec une erreur de limite de sortie.

Votre navigateur télécharge ensuite ce HTML et le convertit en Markdown avec turndown, une bibliothèque open source. La conversion a lieu sur votre appareil. Le Markdown apparaît dans une zone avec les boutons « Copier » et « Télécharger le .md », ainsi qu'un nombre de mots et un nombre d'octets.

Les liens relatifs et les adresses des images sont transformés en adresses complètes, à partir de l'adresse de page que vous avez saisie. Les liens du Markdown fonctionnent encore lorsque vous l'ouvrez en dehors de la page d'origine.

Convertir une page de cette façon compte comme une conversion de page web dans l'outil gratuit, qui dispose d'un quota quotidien séparé et plus petit. Connecté, chaque conversion coûte 1 crédit.

Pourquoi les pages JavaScript ont besoin d'un vrai navigateur

Beaucoup de sites modernes ajoutent leur texte avec JavaScript après le premier téléchargement. Si vous enregistrez le HTML brut avec un simple téléchargement, une grande partie de ce texte peut manquer. Cet outil exécute d'abord les scripts de la page dans Chromium sans interface (headless), si bien que le HTML renvoyé contient le contenu ajouté par les scripts.

Un HTML collé ne contient que ce qui se trouve dans le texte collé. Lorsque vous copiez le HTML d'une page, ses scripts ne s'exécutent pas, donc tout ce que la page construit avec JavaScript manque. Utilisez l'outil URL lorsque vous voulez la page rendue. Utilisez l'outil HTML en Markdown lorsque vous avez déjà le HTML et voulez le convertir sans étape sur serveur.

• Utilisez l'outil URL pour une page en ligne, comme un article de presse ou une fiche produit construite avec des scripts.
• Utilisez l'outil HTML en Markdown pour du HTML déjà présent sur votre appareil.

Contenu principal uniquement, liens et images

Activez l'option contenu principal uniquement pour garder l'article et écarter la plus grande partie du reste de la page. Lorsque la page contient un élément main ou article, l'outil l'utilise. La navigation, les en-têtes, les pieds de page, les encadrés, les formulaires et les boîtes de dialogue sont écartés. Cette option est activée par défaut dans cet outil.

Conserver les liens et conserver les images vous permettent de choisir si les liens et les adresses des images apparaissent dans le Markdown. Le Markdown renvoie chaque image par son adresse. L'outil ne stocke pas de fichiers image pour vous.

• Les tableaux et le barré utilisent le Markdown de style GitHub, et les deux sont activés par défaut.
• Les scripts, les blocs de style et les iframes sont supprimés avant la conversion.
• Le Markdown ne peut pas afficher les cellules de tableau fusionnées, les couleurs en ligne ni la mise en page ; les mises en page très complexes donnent donc des paragraphes simples.

Les pages que vous ne pouvez pas convertir

Certaines pages ne peuvent pas être converties. Les pages protégées par un identifiant affichent l'écran de connexion, car l'outil n'envoie aucun cookie. Les réseaux privés, localhost et les adresses de métadonnées cloud sont refusés, y compris lorsqu'une page redirige vers l'une d'elles.

Certains sites bloquent les requêtes automatisées ou répondent par une page d'erreur. Dans ce cas, l'outil vous donne le texte de cette page, et non l'article. Nous ne contournons pas les blocages : une page qui refuse l'accès ne sera pas convertie.

Si une page dépasse la limite de HTML, la conversion s'arrête avec une erreur de limite de sortie. Essayez une page plus petite, ou vérifiez que l'adresse dont vous disposez est bien celle qui contient l'article.

API URL to Markdown

Cet outil convertit une page à la fois par requête. Pour convertir des pages depuis votre propre code, utilisez l'API URL to Markdown. Envoyez une requête POST vers /v1/render avec l'url et avec output défini sur html. L'API ouvre la page dans Chromium sans interface (headless), exécute son JavaScript et renvoie le HTML rendu sous forme de fichier texte. Voici la requête dans trois langages :

curl -X POST https://api.aiipworld.com/v1/render \
  -H "Authorization: Bearer $AIIPWORLD_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url":"https://aiipworld.com/","output":"html","options":{"wait_until":"networkidle"}}'

# returns {"job_id": "...", "status": "queued"}; then poll:
curl https://api.aiipworld.com/v1/jobs/JOB_ID -H "Authorization: Bearer $AIIPWORLD_API_KEY"

La tâche est asynchrone. La première réponse contient un job_id, et vous interrogez GET /v1/jobs/:id jusqu'à ce que le statut soit succeeded, failed ou timeout. Une tâche réussie fournit un download_url de courte durée pour le fichier HTML, qui peut atteindre 2 MB. Chaque requête convertit une seule page web. Il n'existe ni option d'exploration ni endpoint par lots : pour convertir un site web en Markdown page par page, envoyez donc une requête par adresse.

L'API ne renvoie pas le Markdown lui-même. Votre code convertit le HTML téléchargé, avec une bibliothèque de votre choix. L'outil ci-dessus utilise turndown, une bibliothèque JavaScript open source sous licence MIT. Ce script Node.js fait la même chose pour un fichier téléchargé depuis download_url. Nous l'avons exécuté sur un exemple de fichier HTML avec turndown 7.2.4. Il conserve les liens relatifs tels quels : résolvez-les d'abord par rapport à l'adresse de la page si vous avez besoin d'adresses complètes.

// npm install turndown
// Usage: node html-to-markdown.mjs page.html   (page.html is the file you downloaded from download_url)
import { readFile } from "node:fs/promises";
import TurndownService from "turndown";

const html = await readFile(process.argv[2], "utf8");
const turndown = new TurndownService({ headingStyle: "atx", codeBlockStyle: "fenced" });
turndown.remove(["script", "style", "iframe"]); // drop elements that are not page text

console.log(turndown.turndown(html));

Les fichiers de résultat sont conservés 1 jour avec la formule gratuite, 7 jours avec Starter et Pro, et 30 jours avec Business et Scale, et le HTML de la page transite par nos serveurs pendant ce temps. Une requête coûte 1 crédit, et les crédits des tâches échouées ou dont le délai est dépassé sont restitués. La page API de la documentation liste les classes d'erreurs.

Ne convertissez que les pages que vous avez le droit de copier

Ne convertissez que les pages que vous avez le droit de copier, comme votre propre site, des pages dont vous avez l'autorisation d'usage, ou des pages dont le propriétaire autorise la copie. Lisez les conditions du site avant de réutiliser tout contenu converti.

Convertir une page ne vous donne aucun droit sur son contenu. L'outil ne donne aucun conseil juridique sur le droit d'auteur ou les licences. Le droit de réutiliser une page dépend du propriétaire de la page et de la loi du pays où vous vivez.

Questions