爬虫的工作原理
爬虫的工作原理表现为获取初始 URL、根据初始信息更新 URL、通过读取 URL 解读网页内容以及在遵循爬虫系统指令停止爬取几个过程。爬虫首先会爬取初始 URL 网页信息，随后进行解析，从中获取新的 URL 地址，存放到爬取的 URL 队里中，爬取到的网页会被存储到原始数据库中。爬虫过程就是不断重复在 URL 中获取网页信息和从网页信息中获取新的 URL 的过程。在编写爬虫时，要设置爬取停止规则，当爬虫系统满足设置的停止规则时，爬虫会停止爬取。如果不设置爬取条件，爬虫会工作到无法获取新的 URL 为止。
爬虫的应用
爬虫能够从海量的网络信息中抓取有效信息，根据抓取的大量数据分析用户的兴趣偏好，将匹配内容推送给目标用户，可以用于商业模式的开发。现阶段的爬虫已经成为大数据时代，行业发展的重要方式，例如，新闻资讯平台利用爬虫技术爬取互联网中的新闻资讯数据，通过整合展示给平台用户；外卖平台利用爬虫抓取用户的购买习惯，优先推送用户经常消费的店铺。此外，企业还可以通过爬虫爬取企业运营中产生的数据，挖掘数据潜在价值，洞察市场，为企业发展提供数据支撑。
爬虫的分类
通用网络爬虫
通用网络爬虫的爬行范围和数量较大，对爬取速度和存储空间的要求较高，主要用于门户网站搜索引擎和大型 Web 服务提供商采集数据。通用网络爬虫覆盖面较广，一般采用并行工作方式，其结构大致分为以下几个模块：页面爬行、页面分析、链接过滤、页面数据库、URL 队列以及初始 URL 集合。
聚焦网络爬虫
聚焦网路爬虫是指可以进行内容筛选的爬虫，相较通用网络爬虫增加了链接评价模块和内容评价模块，对爬取页面的内容和链接进行重要性评价，根据不同的重要性对 URL 访问顺序进行排序。聚焦网络爬虫指爬取与需求主题相关的页面，节省硬件和网络资源。
增量式网络爬虫
增量式网络爬虫是指只爬取新产生或发生变化的网页，只在需要时进行爬取，降低了爬虫的数据下载量，但爬行算法比较复杂。增量式网路爬虫的结构包含爬行模块、排序模块、更新模块、本地页面集、待爬行 URL 集以及本地页面 URL 集。
深层网络爬虫
深层网络爬虫通过表单填写进行内容爬取，主要用来爬取隐藏在搜索表单后，不能通过静态链接直接爬取的网页。深层网络爬虫包含爬行控制权、解析器、表单分析器、表单处理器、响应分析器、LVS 控制器六个基本模块和两个爬虫内部数据结构。
如何识别爬虫
识别爬虫的常见方法是检查 HTTP 协议头的 User-agent 字段，通过字段中含有的用户标识信息进行判断，确定发起访问请求的IP地址是否与声明一致。由于爬虫对 URL 访问量较大，HTTP 请求率高，对特定文件类型请求较多，对于一些无法识别的爬虫，可以基于请求速率、访问量、请求方法等进行算法识别。另外，识别恶意爬虫的常用策略是进行黑名单匹配，但爬虫会经常更换 IP 地址，需要精细地分析爬虫行为，判断爬虫的行为动机。
欢迎加入亚马逊云科技培训中心
欢迎加入亚马逊云科技培训中心
-
快速上手训练营
-
账单设置与查看
-
动手实操
-
快速上手训练营
-
第一课：亚马逊云科技简介
本课程帮助您初步了解云平台与本地环境的差异，以及亚马逊云科技平台的基础设施和部分核心服务，包括亚马逊云科技平台上的弹性高可用架构，架构设计准则和本地架构迁移上云的基本知识。
亚马逊云科技技术讲师：李锦鸿第二课：存储与数据库服务
您将在本课程中学习到亚马逊云科技上的三个存储服务分别是什么。我们也将在这个模块中为您介绍亚马逊云科技上的关系型数据库服务 Amazon Relational Database Service (RDS)。
亚马逊云科技资深技术讲师：周一川第三课：安全、身份和访问管理
在这个模块，您将学习到保护您在亚马逊云科技上构建的应用的安全相关知识，责任共担模型以及身份和访问管理服务， Identity and Access Management (IAM) 。同时，通过讲师演示，您将学会如何授权给 EC2 实例，允许其访问 S3 上的资源。
亚马逊云科技技术讲师：马仲凯 -
账单设置与查看
-
-
动手实操
-
快速注册账号 享用免费套餐
跟随注册步骤详解，三分钟快速创建账号，领取免费权益
打开中国区账号注册页面
01 填写您 注册账号的邮箱，点击“继续”
02 查看您的 注册账号邮箱
注： 发件箱 no-reply@register.signin.amazonaws.com.cn
03 输入 邮箱中收到的验证码，点击“继续”
注： 该链接中的内容显示语言是与您的网页浏览器设置相一致的，您可以根据需要自行调整语言栏。
填写用户名密码
.04e59cc081d6b1b4de2e80dca972273ad0cd7ace.jpg)
填写账号联系人以及公司信息
01 填写公司联系人 姓名全称
02 填写公司联系人的 联系电话
03 填写 公司名称
注： 公司名称请务必与您所提供的营业执照公司名称保持一致
04 填写 公司办公地址
注： 省份/自治区/直辖市 - 城市 - 区 - 街道门牌号以及楼层信息 - 邮政编码
05 请选择 是否需要发票
注： *附件-申请发票流程 供您参考
06 点击查看 客户协议 勾选方框表示您已阅读，并同意客户协议的条款
.dcb511571e7913a6581f0ae803797a01c918ac61.jpg)
企业信息验证
01 在此上传 企业注册执照
02 请填写网络安全负责人的 姓名
注： 该字段务必与您下方提供的身份证号匹配或与证件上的姓名保持一致
03 请填写网络安全负责人的 联系方式
注： 有效的电子邮件地址 - 有效的中国内地 手机号码 - 座机号码（如无座机，请填写正确有效的手机号码）
04 在此上传网络安全负责人的 身份证件
注： 当您选择证件类型为“身份证”时，您需要填写正确的身份证号码，选择其他证件类型时，您需要上传证件扫描稿
.8252245bf937985f0b90aaa376899e8932e71a49.jpg)
手机验证与支持计划
.7122fd576282aebfbd9ed8927a918a378c59550d.jpg)
