首页 欧冠最新报道正文

火锅底料的做法,node:爬虫爬取网页图片-雷火电竞csgo

admin 欧冠最新报道 2019-11-16 171 0

node:爬虫爬取网页图片

前语

周末自己在家闲着没事,刷着微信,玩着手机,发现自己的微信头像该换了,就去网上找了一下头像,看着图片,自己就想着作为一个码农,能够把这些图片都爬取下来做成一个微信小程序,说干就干,了解一下根本都知道怎样做了,收拾共享一波给咱们。

目录

  • 装置node,并下载依靠
  • 建立服务
  • 恳求咱们要爬取的页面,回来json

装置node

咱们开端装置node,能够去node官网下载nodejs.org/zh-cn/,下载完成后运转node运用,

node -v
仿制代码

装置成功后会呈现你所装置的版本号。

接下来咱们运用node, 打印出hello world,新建一个名为index.js文件输入

console.log('hello world')
仿制代码

运转这个文件

node index.js
仿制代码

就会在控制面板上输出hello world

建立服务器

新建一个·名为node的文件夹。

首要你需求下载express依靠

npm install express 
仿制代码

再新建一个名为demo.js的文件 目录结构如图:

在demo.js引进下载的express

const express = require('express');
const app = express();
app.get('/index', function(req, res) {
res.end('111')
})
var server = app.listen(8081, function() {
var host = server.address().address
var port = server.address().port
console.log("运用实例,拜访地址为 http://%s:%s", host, port)
})
仿制代码

运转node demo.js简略的服务就搭起来了,如图:

恳求咱们要爬取的页面

恳求咱们要爬取的页面

npm install superagent
npm install superagent-charset
npm install cheerio
仿制代码

superagent 是用来建议恳求的,是一个轻量的,渐进式的ajax api,可读性好,学习曲线低,内部依靠nodejs原生的恳求api,适用于nodejs环境下.,也能够运用http建议恳求

superagent-charset避免爬取下来的数据乱码,更改字符格局

cheerio为服务器特别定制的,快速、灵敏、施行的jQuery中心完成.。 装置完依靠就能够引进了

var superagent = require('superagent');
var charset = require('superagent-charset');
charset(superagent);
const cheerio = require('cheerio');
仿制代码

引进之后就恳求咱们的地址,https://www.qqtn.com/tx/weixintx_1.html,如图:

声明地址变量:

const baseUrl = 'https://www.qqtn.com/'
仿制代码

这些设置完之后便是发恳求了,接下来请看完好代码demo.js

var superagent = require('superagent');
var charset = require('superagent-charset');
charset(superagent);
var express = require('express');
var baseUrl = 'https://www.qqtn.com/'; //输入任何网址都能够
const cheerio = require('cheerio');
var app = express();
app.get('/index', function(req, res) {
//设置恳求头
res.header("Access-Control-Allow-Origin", "*");
res.header('Access-Control-Allow-Methods', 'PUT, GET, POST, DELETE, OPTIONS');
res.header("Access-Control-Allow-Headers", "X-Requested-With");
res.header('Access-Control-Allow-Headers', 'Content-Type');
//类型
var type = req.query.type;
//页码
var page = req.query.page;
type = type || 'weixin';
page = page || '1';
var route = `tx/${type}tx_${page}.html`
//网页页面信息是gb2312,所以chaeset应该为.charset('gb2312'),一般网页则为utf-8,能够直接运用.charset('utf-8')
superagent.get(baseUrl + route)
.charset('gb2312')
.end(function(err, sres) {
var items = [];
if (err) {
console.log('ERR: ' + err);
res.json({ code: 400, msg: err, sets: items });
return;
}
var $ = cheerio.load(sres.text);
$('div.g-main-bg ul.g-gxlist-imgbox li a').each(function(idx, element) {
var $element = $(element);
var $subElement = $element.find('img');
var thumbImgSrc = $subElement.attr('src');
items.push({
title: $(element).attr('title'),
href: $element.attr('href'),
thumbSrc: thumbImgSrc
});
});
res.json({ code: 200, msg: "", data: items });
});
});
var server = app.listen(8081, function() {
var host = server.address().address
var port = server.address().port
console.log("运用实例,拜访地址为 http://%s:%s", host, port)
})
仿制代码

运转demo.js就会回来咱们拿到的数据,如图:

一个简略的node爬虫就完成了。期望能够到 项目上点一个 star 作为你对这个项目的认可与支撑,谢谢。

项目地址:github.com/Mr-MengBo/R…

雷火电竞版权声明

本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。

最近发表

    雷火电竞csgo_雷火电竞2_雷火竞猜

    http://www.myriaresearch.com/

    |

    Powered By

    使用手机软件扫描微信二维码

    关注我们可获取更多热点资讯

    雷火电竞出品