Heritrix
Heritrix ist ein erweiterbarer Open-Source-Webcrawler für Web-Crawling in Archivqualität, der robots.txt respektiert und für die digitale Aufbewahrung konzipiert ist.
Überblick
Was ist Heritrix?
Heritrix ist das Open-Source-Webcrawler-Projekt des Internet Archive, das für Web-Crawling in Archivqualität entwickelt wurde, um digitale Artefakte für zukünftige Forschungen zu sammeln und aufzubewahren. Es respektiert robots.txt- und META-Nofollow-Tags mit konfigurierbaren Höflichkeitsrichtlinien.
Wofür wird Heritrix verwendet?

Top-Funktionen
- Open Source und erweiterbar
- Respektiert robots.txt und META nofollow
- Konfigurierbare Höflichkeitsrichtlinien
- Archiv-Crawling im Webmaßstab
- Ausgabe der WARC-Datei
Wie verwendet man Heritrix?
Laden Sie Heritrix herunter und führen Sie es auf Ihrem System aus, konfigurieren Sie Crawl-Jobs über die Schnittstelle oder die REST-API, legen Sie Seed-URLs und Höflichkeitseinstellungen fest und beginnen Sie mit dem Crawlen, um Webinhalte in WARC-Dateien zu archivieren.
Alternative Tools
Vorteile & Nachteile
Vorteile
- Kostenlos und Open Source
- Hohe Anpassbarkeit
- Geeignet für umfangreiche Archivierung
- Aktive Community-Unterstützung
Nachteile
- Erfordert technische Einrichtung
- Keine integrierte Cloud-Bereitstellung
- Steile Lernkurve für Anfänger
Anwendungsfälle
- Digitale Langzeitarchivierung für Bibliotheken
- Webarchivierung für die Recherche
- Compliance und Aufzeichnungen
- Historische Datenerfassung
Heritrix Preise
Benutzerbewertungen
Noch keine Bewertungen
Seien Sie der Erste, der dieses Tool bewertet!