selenium是什么：网页自动化工具

selenium是什么，它是一套开源网页自动化框架，用于模拟真人在浏览器里点击、输入、下拉、切换页面等操作，支持Chrome、Edge、Firefox多款主流浏览器，搭配Python、Java、JavaScript等编程语言使用，适合数据采集、页面自动化测试、重复表单提交场景；该工具不适用于加密反爬严格、带有验证码强校验、需要高并发大规模爬取的站点，这类场景下容易触发网站风控，出现IP限制、访问拦截。

selenium核心组件

WebDriver是selenium的核心驱动层，它作为代码和浏览器之间的桥梁，接收脚本指令并转化为浏览器原生操作，不同浏览器需要对应版本的驱动程序，新版selenium内置自动管理驱动的能力，你不用手动下载、配置驱动路径。SeleniumIDE是录制回放工具，以浏览器插件形式运行，录制你的页面操作后自动生成脚本，适合新手快速验证流程，不用手写大量基础代码。SeleniumGrid用于分布式执行，可以把自动化任务分发到多台设备、多个浏览器实例同时运行，多用于企业批量回归测试。

它和普通http请求库有明显区别。http请求直接向服务器发送接口报文，不加载页面渲染资源；selenium会完整启动浏览器内核，加载css、js、图片，执行页面动态脚本，能够处理ajax异步加载、js渲染生成的内容。

selenium基础使用流程

你使用Python搭配selenium时，先通过pip安装selenium包，导入webdriver模块，初始化浏览器实例，调用get方法传入目标网址，再用定位器查找页面元素，支持id、xpath、css选择器、class名称等定位方式，找到元素后执行send_keys输入文本、click点击元素的动作，任务结束调用quit关闭浏览器进程，避免后台残留浏览器占用内存。

隐式等待、显式等待是selenium里很常用的机制。隐式等待设置全局等待时长，查找元素时在时限内持续轮询，超时后抛出异常；显式等待针对单个元素设置条件，等到元素可点击、可见才继续执行，稳定性优于隐式等待，正式脚本优先选择显式等待。

可控模拟行为是它的一大特点。你可以设置页面滚动、鼠标悬浮、弹窗确认、切换iframe内嵌页面，也可以修改浏览器窗口大小，模拟手机端访问，部分参数还能调整请求头，降低自动化特征。

selenium的局限与边界

自动化特征容易被网站识别。浏览器自带的webdriver标识、请求头特征、操作节奏规律，都可能被反爬系统识别，即便开启无头模式，部分站点依旧可以检测到。

不要用selenium高频批量爬取网站。

浏览器实例本身占用内存和CPU，单台机器同时开启大量浏览器会造成卡顿，运行速度相比直接接口请求慢很多，大规模数据采集场景一般会结合代理池、请求库搭配使用，或者更换轻量无头方案。