帮酷LOGO
  • 显示原文与译文双语对照的内容
scrapy爬取当当网图书数据

  • 源代码名称:Dangdang
  • 源代码网址:http://www.github.com/HunterChao/Dangdang
  • Dangdang源代码文档
  • Dangdang源代码下载
  • Git URL:
    git://www.github.com/HunterChao/Dangdang.git
  • Git Clone代码到本地:
    git clone http://www.github.com/HunterChao/Dangdang
  • Subversion代码到本地:
    $ svn co --depth empty http://www.github.com/HunterChao/Dangdang
    Checked out revision 1.
    $ cd repo
    $ svn up trunk
  • 本仓库下包括当当网和豆瓣电影信息两个爬虫

    当当网

    运行文件为run.py,直接在控制台下执行程序,无需cmd命令 该项目详细介绍见知乎专栏:https://zhuanlan.zhihu.com/p/24882919?refer=pythoncrawl当当网爬取数据部分截图


    豆瓣电影信息

    GetPage.py文件获取所有电影分类主题。FullContents.py文件进入每个电影主题下,抓取相关电影的详细信息,包括电影名、导演、主演、片长、评价人数、评分等。init.py文件为运行文件。 项目详细介绍可见知乎专栏:https://zhuanlan.zhihu.com/p/24771128?refer=pythoncrawl



    Copyright © 2011 HelpLib All rights reserved.    知识分享协议 京ICP备05059198号-3  |  如果智培  |  酷兔英语