[V 币感谢] headless 浏览器是否有办法抓取网页中的 ajax 请求，并 js 模拟发送么

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

› Python 学习手册

› Python Cookbook

› Python 基础教程

Python Sites

› PyPI - Python Package Index

› http://www.simple-is-better.com/

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 37 天前的主题，其中的信息可能已经有所发展或是发生改变。

RT，最近玩 scrapy 有这方面的需求，不知道有没有办法以 middlewares 的手段去抓取 JS 标签里的 ajax 请求，并模拟发送。是否只能手动提取，再组合参数发送？

在线等大佬解答，感谢！！

Scrapy

headless

模拟

ajax

6 回复 | 直到 2019-01-17 13:44:37 +08:00

epkT6QJ3RSaz6AnJ 37 天前

https://medium.com/@gilfink/quick-tip-creating-an-xmlhttprequest-interceptor-1da23cf90b76

epkT6QJ3RSaz6AnJ 37 天前

目前只想到可以搞个 polyfill，然后拦截

cy97cool 36 天前

hookajax 以及 fetch 的 polyfill 就能在 js 层面把请求拦下来了
不过浏览器都能控制的话为啥不直接看浏览器开发人员工具提供的 network 呢

wangtao7 36 天前

https://github.com/checkly/puppeteer-recorder
https://github.com/segmentio/daydream
这俩不知道能实现不？

akmonde 35 天前

@epkT6QJ3RSaz6AnJ 您的意思是拦截器监控再复现？但是我在随机爬行某个网站时不一定能触发该 js 函数，我这算是黑盒，白盒的应该不太适用。

akmonde 35 天前

@cy97cool
@wangtao7
感谢两位的回复，两位说的都是拦截器吧，不过我黑盒爬虫去爬不一定能触发 ajax，靠这个拦截复现不太现实。。