Webseiten anzapfen und Dateien herunterladen mit Curl

Daten auf Webseiten zu nutzen ist schwierig: Logins und Cookies sind oft Voraussetzung für den Zugriff. Mit dem Open-Source-Tool Curl gelingt das trotzdem.

Artikel verschenken

11

(Bild: Thomas Kuhlenbeck)

14.06.2021, 07:00 Uhr

Lesezeit: 15 Min.

c't Magazin

Von

Tim Schürmann

Webseiten anzapfen und Dateien herunterladen mit Curl
Installationsskript, Entwicklerwerkzeuge, Proxy
Curl maskiert, Lesehilfe und Suchformular
E-Mails und Cookies

Artikel in c't 13/2021 lesen

Daten aus Webseiten abzuschöpfen ist kompliziert, denn Website-Betreiber möchten ihre Schätze nur selten teilen und ergreifen verschiedene Maßnahmen, um ein Abfischen von Informationen zu verhindern. Genügte es früher meist, die gewünschte URL mit einem beliebigen Download-Tool abzurufen, überprüfen Webserver häufig den vorgeblichen Browsertyp oder erfordern Cookies und Logins. Mit Curl können Sie auch Daten oder Dateien solcher Websites herunterladen, aber auch auf viele andere Serverdienste zugreifen, denn Curl unterstützt neben HTTP und HTTPS etliche weitere Protokolle, darunter IMAP(S), SMB, (S)FTP und SCP.

Curl gibt es für Windows, macOS und Linux. Unter Linux gehört Curl oft zur Standardinstallation oder ist in den Standard-Paket-Repositories der Distribution enthalten, für macOS, Windows und viele andere Plattformen finden Sie auf der Projektseite curl.se eine Liste mit Download-Links, teilweise zu externen Anbietern. Die Parameter, und davon benötigt man mitunter etliche gleichzeitig, sind für alle Plattformen gleich.

Im einfachsten Fall rufen Sie Curl mit der herunterzuladenden URL als einzigen Parameter auf, etwa unserem Security-RSS-Feed:

Immer mehr Wissen. Das digitale Abo für IT und Technik.

Security: Passkeys mit Open-Source-Tools nutzen

Sie können das sichere und komfortable Login-Verfahren auch mit Open-Source-Tools verwenden, ohne sich von Google oder Apple abhängig zu machen. So geht's!

Smart Generator von Ecoflow im Test

Mit fossilen Energieträgern kann Notstrom erzeugt werden. Der Generator von EcoFlow lässt sich dabei mit anderen Produkten des Herstellers smart vernetzen.

Statt Passwörter: Wie Sie Accounts mit Passkeys schützen

Viele prominente Websites bieten das sichere Einloggen per Passkey an. Die Eingabe des Passworts fällt flach und Phishing gehört der Vergangenheit an.

Passkeys in eigenen Anwendungen

Drei KI-Sprechtrainer im Test: Fremdsprache mit KI lernen

Mit KI-Sprechtrainern lassen sich Konversationen auf einer anderen Sprache wie mit einem richtigen Menschen führen – ohne Angst, sich zu blamieren.

Smartes Türschloss im Test: Nuki 4 Pro mit Thread und Matter

Das Nuki 4 Pro verwebt sich via Thread-Funk mit dem Heimnetz und braucht so beim Fernzugriff weniger Energie. Die Matter-Anbindung bringt offline Vorteile.

Copilot-Alternativen: Welche KI bei Office-Aufgaben besser helfen kann

Microsofts Copilot ist erst frisch im Dienst und kennt noch nicht viele Tricks. Daher kann es sinnvoll sein, dass Sie sich eine andere KI in Ihr Office holen.

Immer mehr Wissen. Das digitale Abo für IT und Technik.

Security: Passkeys mit Open-Source-Tools nutzen

Sie können das sichere und komfortable Login-Verfahren auch mit Open-Source-Tools verwenden, ohne sich von Google oder Apple abhängig zu machen. So geht's!

Smart Generator von Ecoflow im Test

Mit fossilen Energieträgern kann Notstrom erzeugt werden. Der Generator von EcoFlow lässt sich dabei mit anderen Produkten des Herstellers smart vernetzen.

Statt Passwörter: Wie Sie Accounts mit Passkeys schützen

Viele prominente Websites bieten das sichere Einloggen per Passkey an. Die Eingabe des Passworts fällt flach und Phishing gehört der Vergangenheit an.

Passkeys in eigenen Anwendungen

Drei KI-Sprechtrainer im Test: Fremdsprache mit KI lernen

Mit KI-Sprechtrainern lassen sich Konversationen auf einer anderen Sprache wie mit einem richtigen Menschen führen – ohne Angst, sich zu blamieren.

Smartes Türschloss im Test: Nuki 4 Pro mit Thread und Matter

Das Nuki 4 Pro verwebt sich via Thread-Funk mit dem Heimnetz und braucht so beim Fernzugriff weniger Energie. Die Matter-Anbindung bringt offline Vorteile.

Copilot-Alternativen: Welche KI bei Office-Aufgaben besser helfen kann

Microsofts Copilot ist erst frisch im Dienst und kennt noch nicht viele Tricks. Daher kann es sinnvoll sein, dass Sie sich eine andere KI in Ihr Office holen.

nach oben

Alle Angebote

Newsletter heise-Bot Push Push-Nachrichten

${intro} ${title}

${intro} ${title}

Webseiten anzapfen und Dateien herunterladen mit Curl

Immer mehr Wissen. Das digitale Abo für IT und Technik.

Security: Passkeys mit Open-Source-Tools nutzen

Smart Generator von Ecoflow im Test

Statt Passwörter: Wie Sie Accounts mit Passkeys schützen

Drei KI-Sprechtrainer im Test: Fremdsprache mit KI lernen

Smartes Türschloss im Test: Nuki 4 Pro mit Thread und Matter

Copilot-Alternativen: Welche KI bei Office-Aufgaben besser helfen kann

Immer mehr Wissen. Das digitale Abo für IT und Technik.

Security: Passkeys mit Open-Source-Tools nutzen

Smart Generator von Ecoflow im Test

Statt Passwörter: Wie Sie Accounts mit Passkeys schützen

Drei KI-Sprechtrainer im Test: Fremdsprache mit KI lernen

Smartes Türschloss im Test: Nuki 4 Pro mit Thread und Matter

Copilot-Alternativen: Welche KI bei Office-Aufgaben besser helfen kann

Spiele

Für alle unter 30: heise+ mit 50% Rabatt

Das digitale Abo für IT und Technik.