以前的版本 已经作废了，改用scrapy框架重写。

环境安装

linux下安装

linux或mac系统下直接安装即可

pip install scrapy

windows下安装

  1. pip install wheel
  2. 下载twisted，官网下载，官网上的3.8版本已经不提供下载了，需要的可以自行百度或者找我拿。
  3. 安装twisted，pip install Twisted-19.10.0-cp38-cp38-win_amd64.whl
  4. 安装pywin32依赖，pip install pywin32
  5. 安装scrapy框架，pip install scrapy

创建工程

  • 创建工程目录
    • scrapy startproject [proName]
  • 创建爬虫文件
    • scrapy genspider [spiderName] [iniUrl]
  • 执行工程
    • scrapy crawl [spiderName]