有大哥用 nodejs 写过爬虫嘛

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 934 天前的主题，其中的信息可能已经有所发展或是发生改变。

很简单的一个事，我就是想访问 opensea ，把 html 拉下来。但是试着用 needle 和 axios 请求都会被 cloudflare 打回来，各种 header 我都加过了。
但是神奇的就是 postman 请求永远都是成功的，你说一直不行把我用 needle 又请求成功一次，像请问下大哥们有人遇到过这个嘛，要怎么解决

needle

请求

大哥

Nodejs

4 条回复

winnerczwx

2022-06-08 13:47:56 +08:00

puppeteer

https://github.com/puppeteer/puppeteer

ShayneWang

2022-06-08 14:47:38 +08:00

puppeteer

duan602728596

2022-06-08 19:04:52 +08:00

import fs from 'node:fs/promises';
import got from 'got';
import needle from 'needle';

const res = await got('https://opensea.io/', {
responseType: 'text'
});

await fs.writeFile('1.html', res.body);

needle.get('https://opensea.io/', function(error, res) {
if (!error && res.statusCode === 200)
fs.writeFile('2.html', res.body);
});

测了下没问题，应该没有反爬。有可能是网络问题，毕竟服务器在境外。

roiding

2022-06-20 08:45:02 +08:00

@duan602728596 手动给你点个赞