程序员三大美德之一:快速有效检索网页数据的“懒惰”程序员指南
如果选择“预览”选项卡,将看到从服务器返回的数据。
好极了!看来我们找到了获取Apple OHLC数据的URL! 步骤2:搜寻 现在我们已经发现了一些通过浏览器发出的XHR请求。搜索javascript文件,查看是否可以找到更多信息。笔者发现与XHR请求相关的URL共同点是“ query1”和“ query2”。在开发者控制台的右上角,选择三个垂直点,然后在下拉框中选择“搜索”。
在搜索栏中搜索“ query2”: 选择第一个选项。将会弹出一个附加选项卡,其中包含找到“ query2”的位置。应该在这里注意到类似的内容: 网页抓取解决方案2提取的数据变量与该变量相同。控制台应提供“优质打印”变量的选项。你可以选择该选项,也可以将整行(上面的第11行)复制并粘贴到https://beautifier.io/。或者如果你使用vscode,下载美化扩展,它会做同样的事情。 正确格式化后,将整个代码粘贴到文本编辑器或类似的编辑器中,然后再次搜索“ query2”。搜索结果应该在 “ Service Plugin” 中。该部分包含雅虎财经用于在其页面中填充数据的URL。以下是该部分的内容: "tachyon.quoteSummary": { "path": "/v10/finance/quoteSummary/{symbol}", "timeout":6000, "query": ["lang", "region","corsDomain", "crumb", "modules", "formatted"], "responseField":"quoteSummary", "get": {"formatted": true} }, 以上是“懒惰”的解决方案中使用的URL。 “懒惰”人类发展的阶梯,适当偷懒,你会进入新世界。
(编辑:应用网_阳江站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |