加入收藏 | 设为首页 | 会员中心 | 我要投稿 应用网_阳江站长网 (https://www.0662zz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 创业 > 模式 > 正文

程序员三大美德之一:快速有效检索网页数据的“懒惰”程序员指南

发布时间:2020-08-08 11:04:58 所属栏目:模式 来源:51cto
导读:根据Perl编程语言的作者拉里沃尔的说法,程序员具有三大美德:懒惰,不耐烦和傲慢。懒惰可以让你全力以赴,降低总能耗,其他人会发现你编写的省力程序很有用。 比尔盖茨的观点是:我选择让懒惰的人完成艰巨的任务,因为他可以找到完成任务的捷径。 网页抓

如果选择“预览”选项卡,将看到从服务器返回的数据。

程序员三大美德之一:快速有效检索网页数据的“懒惰”程序员指南

 

好极了!看来我们找到了获取Apple OHLC数据的URL!

步骤2:搜寻

现在我们已经发现了一些通过浏览器发出的XHR请求。搜索javascript文件,查看是否可以找到更多信息。笔者发现与XHR请求相关的URL共同点是“ query1”和“ query2”。在开发者控制台的右上角,选择三个垂直点,然后在下拉框中选择“搜索”。

程序员三大美德之一:快速有效检索网页数据的“懒惰”程序员指南

 

在搜索栏中搜索“ query2”:

程序员三大美德之一:快速有效检索网页数据的“懒惰”程序员指南

选择第一个选项。将会弹出一个附加选项卡,其中包含找到“ query2”的位置。应该在这里注意到类似的内容:

网页抓取解决方案2提取的数据变量与该变量相同。控制台应提供“优质打印”变量的选项。你可以选择该选项,也可以将整行(上面的第11行)复制并粘贴到https://beautifier.io/。或者如果你使用vscode,下载美化扩展,它会做同样的事情。

正确格式化后,将整个代码粘贴到文本编辑器或类似的编辑器中,然后再次搜索“ query2”。搜索结果应该在 “ Service Plugin” 中。该部分包含雅虎财经用于在其页面中填充数据的URL。以下是该部分的内容:

"tachyon.quoteSummary": { "path": "/v10/finance/quoteSummary/{symbol}", "timeout":6000, "query": ["lang", "region","corsDomain", "crumb", "modules",    "formatted"], "responseField":"quoteSummary", "get": {"formatted": true} }, 

以上是“懒惰”的解决方案中使用的URL。

“懒惰”人类发展的阶梯,适当偷懒,你会进入新世界。

 

(编辑:应用网_阳江站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

推荐文章
    热点阅读