download einer Internetseite ohne filename

[Jones]

Hallo zusammen

Ich möchte Webseiten aus dem Internet als Dateien laden, und zwar mit allem PiPaPo, also referer, password, cookies, post-Information etc. Nun gut, solange es http-Protokoll ist, geht das über HttpOpenRequest prima... aber nur, solange ich einen Filenamen angeben kann.

Versuche ich hingegen zum Beispiel "http://www.google.de" zu laden bzw. eine beliebige php-Seite, dann versagt der Mechanismus total.

Habt Ihr ne Idee, wie ich auch solche Dateien laden kann?

[Lightning]

auf gut deutsch: du willst nen webspider schreiben ;).

ich würde zunächst mal die index-datei laden (index.html, index.htm, index.php, etc.. welche es auch immer ist, was sich wohl nur durch ausprobieren rausfinden lässt), diese nach links scannen und so alles laden, was verlinkt ist (auf wunsch auch bilder, hintergründe. je nachdem, was du eben alles brauchst). das selbe machst du dann mit den seiten, die du durch die erste erhalten hast. so spiderst du erstmal rekursiv die komplette seite durch. ich würde aber auf jeden fall filtern, wohin da extern verlinkt wird, sonst landet man aus versehen bei sun.com oder anderen riesigen seiten und ist ein wenig beschäftigt ;). wenn dann auch noch auf andere große seiten verlinkt ist und du kein tiefenlimit für das rekursive laden von ebenen setzt, geht dir sicherlich SEHR bald der speicherplatz aus ;).

bei allen serverseitigen sachen wie cookies, post-informationen, usw. wird es allerdings sehr kompliziert. manche dinge kann man sicherlich anfordern (cookies), andere wirst du wohl gar nicht bekommen können fürchte ich.
da habe ich momentan aber auch keine weitere idee.

[Jones]

auf gut deutsch: du willst nen webspider schreiben ;).

Äh.. wie kommst du bloss auf sowas? ;)) So was ähnliches soll es werden, richtig, allerdings in Kombination mit einem browser (tEmbeddedWB zum Anzeigen und navigieren) Allerdings geht es (erstmal) nicht darum, alles zu holen, was da ist, sondern nur darum, webseiten lokal einzulesen (kontrolliert, file für file), anzuzeigen, und bei Bedarf bestimmte Dateitypen automatisch zu laden. Allerdings... wenn das mal laufen sollte ist eine spidererweiterung durchaus geplant. ;-)

Ich bin inzwischen auch umgeschwenkt und verwende nun stattdessen InternetOpenUrl, welche mit beiden Problemfällen (Filenamenlos bzw. php) gut klarkommt. Den Referer bastele ich mir von Hand und übergebe ihn in den Headers, was auch ganz gut klappt. Nur für die anderen Parameter habe ich noch nichts gefunden. Also Login, Passwort und post-Information.

Und was cookies angeht habe ich noch überhaupt keine Vorstellung, wie diese von der Seite angefragt oder gesetzt werden, bzw. wie ich diese empfangen, verwalten und zurückgeben kann.