首页
在线投稿
在线选题
学者主页
学术机构
互知阅读
教研活动
开通VIP
登陆
浏览历史> 收藏> 个人中心>
全部
期刊
文献
标题
作者
单位
摘要
关键词
栏目
基金
文献检索
高级检索 期刊导航
包含全部检索词
包含精确检索词
包含至少一个检索词
作者
出版物
发表时间
-

基于Python的爬虫系统设计与实现

吕定辉

濮阳职业技术学院

随着互联网技术发展，网络所承载的数据逐渐体现其价值，且网络数据体量日益倍增，对网络数据的利用越来越受到各行各业的重视。该网络爬虫系统以基于Python语言的Scrapy网络爬虫框架技术为基础，综合考虑对反爬机制的应对措施及相关系统优化，满足一定的爬取效率要求，便于数据挖掘等数据研究利用。系统主要实现了实体管道模块、爬虫业务模块、中间件模块、Cookies池模块。过程中涉及到的关键技术主要包括Cookies池服务、反爬虫策略、页面解析、Selenium+ChromeDriver实现模拟访问、MongoDB实现数据持久化存储等
全文下载 在线阅读
【栏　目】 信息技术
【分　类】 经济
【关键词】 爬虫 ;Scrapy 框架 Selenium+ChromeDriver MongoDB
【出　处】 《商业2.0·市场与监管》2020年04期 第206页 （共1页）

相关文献

1.
钱佳艺：
乳制品行业技术转移贸易壁垒风险建议书——基于伊利乳业集团股份...
商业2.0·市场与监管
2021年02期
2.
陈馨洁：
中小学影视教育发展现状及对策研究
课程教材教学研究
2022年03期
3.
邓丽娟：
《鲁滨逊漂流记》节选——教学设计
文渊·小学版
2020年05期
4.
王海霞：
高中数学立体几何教学策略研究
科学咨询
2020年01期
5.
杨文晨：
医学人文教育融入思政课教学的探索
文渊·中学版
2020年10期
6.
陈晓军;沈...：
大气环境监测全过程质量控制的措施探讨
商业2.0·市场与监管
2021年06期
7.
方晓：
核心素养导向的历史课堂教学设计应具有的“四个意识”
科学咨询
2019年05期
8.
王东艳；冀...：
整体护理在高血压脑出血护理中的应用效果分析
中国保健营养
2021年10期
9.
潘红；杜婉...：
情境化教学的功能、原则与设计实施——以中学化学为例
中小学课堂教学研究
2024年01期
10.
张衡：
创新实验、电子信息处理数据对物理教学的影响
科学咨询
2019年05期

商业2.0·市场与监管（2020年04期）

导出/参考文献
[1]吕定辉. 基于Python的爬虫系统设计与实现[J]. 商业2.0·市场与监管 . 2020(04): 206.

PDF在线阅读

《基于Python的爬虫系统设计与实现》

价格：0.00元

微信支付
支付宝支付
国家新闻出版总署
中国期刊协会
中国知网
互知教育
国家图书馆
国家版权局
中国记者网
中国文明网
中国农家书屋网
中国全民阅读网
关于我们 版权公告 客服中心 在线咨询 用户建议 PDF在线工具

Copyright © 2021-2024 全科互知 | 赣ICP备2021006197号-4 | 新出网证(赣)字20417号
赣公网安备 36012102000372号 | 赣B2-20210313 | 技术支持：道然科技

sasa 互知学术
sasa 全科互知