(27.11.2018, 11:19)atze2000 schrieb:(26.11.2018, 14:59)Solventix schrieb: Vielleicht sollten wir mal eine kleine Programmier-Ecke mit Tipps und Tricks zur Kursversorgung, Webscraping und Tradingsystemen aufbauen?
Ich lass mir mal was einfallen, mir würde so eine Ecke auch gefallen.
Das kannst Du ja dann in die entsprechende Ecke verschieben:
Download einer dynamischen Webpage (also mit JavaScript-generierten Inhalten).
Node.js und Puppeteer müssen installiert sein.
Code:
// DownloadScript.js
const puppeteer = require("puppeteer");
const fs = require("fs");
async function run() {
const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.goto("https://www.trading-stocks.de/index.php", { waitUntil: 'domcontentloaded'});
// wait a bit so that the browser finishes executing JavaScript
await page.waitFor(1 * 1000);
const html = await page.content();
fs.writeFileSync("Trading-Stocks.htm", html);
await browser.close();
}
run();
Aufruf dann mit
node DownloadScript.js
Statt der Sekunde Warten kann man auch auf das Erscheinen eines Elementes warten, wenn man es kennt, beispielsweise:
await page.waitForSelector('h1');
Tools zum Webscraping:
https://www.scraperapi.com/blog/the-10-b...ping-tools