Re: (wget) Hilfe, wie kann/muß ich quoten '"'?'"'

[ verfasste Antworten ] [ Thread-Anfang ] [ Aussensaiter-Forum ]

Beitrag von Friedlieb vom Oktober 20. 2003 um 17:57:35:

Als Antwort zu: (wget) Hilfe, wie kann/muß ich quoten '"'?'"' geschrieben von rrbth am Oktober 18. 2003 um 19:07:10:

Hi redi,

: immer noch das alte Problem: Wie kann ich Platzhalter zum rekursiven Downloaden in Dateinamen verwenden?

jetzt habe ich anhand der weiteren Postings endlich Dein Problem begriffen.

Das geht so nicht. Denn die Expansion von Platzhaltern bedarf immer eine Liste, anhand derer die Musterprüfung erfolgt. Eine solche Liste hast Du nicht. Daß zum Beispiel die Datei www.aussensaiter.de/images/keks.jpg überhaupt existiert, erfährst Du nur, weil jemand, der das weiß, die Datei verlinkt. Oder weil Du den Namen rätst. Du erfährst aber nicht, welche Dateien sonst noch im Unterverzeichnis www.aussensaiter.de/images residieren. Es sei denn, der Betreiber der Website hat es zugelassen, daß der Webserver in einem solchen Fall automatisch ein Inhaltsverzeichnis generiert.

Das hier

: for /l %%i in (1,1,9999) do wget -o wget.txt http://wasauchimmer/messages/%%i.htm

ist ein Beispiel dafür: Du rätst (oder nimmst an), daß es diese Dateien gibt. Und läßt wget auf explizite Dateinamen los. Das geht dann, solange die Dateinamen sich erraten oder ermitteln lassen.

Du kannst dreierlei tun:

- mal wget mit dem Parameter --mirror laufen lassen, und als Ziel z.B. die Hauptseite angeben. Dann folgt wget allen Server-lokalen Links, bis die Seite komplett 1:1 bei Dir ist. Wobei der möglicherweise in robots.txt manifestierte Wille des Website-Betreibers geachtet wird.

- Wenn Du FTP-Zugang zu der Seite hast, ist es einfacher, denn FTP kennt per Definition Inhaltsverzeichnisse. Dann wget auf die ftp:// URL loslassen

- Wenn Du den Betreiber kennst oder Dir da Chancen ausrechnest, mail ihn an, vielleicht verrät er Dir eine elegantere Lösung.

Dateisysteme werden übrigens bei vielen Dateien je Unterverzeichnis langsamer, teilweise bei Unix schlimmer als bei Windows, aber mehr als sagen wir mal 5000 Dateien sollten es nicht sein, sonst wird das Einlesen der Verzeichnisse zu langsam. Deshalb haben wir das Forum ja irgendwann mal so umgestellt, daß nur noch 1000 Beiträge in einem Verzeichnis stehen.

Keep rockin'
Friedlieb

verfasste Antworten:


Dieser Beitrag ist älter als 3 Monate und kann nicht mehr beantwortet werden.