python爬虫js禁用 python爬虫执行js代码

前言

各位小伙伴，大家好，这次咱们来说一下关于爬虫方向的一个知识，Python如何执行JS，快来看看吧~

为什么要引出Python执行js这个问题?

都说术业有专攻，每个语言也都有自己的长处和短处。在爬虫方向，Python绝对是扛把子，近几年随着AI的火爆，需要各种各样的数据，所以，爬虫需求也跟着水涨船高起来。

我们做爬虫的当然是爬的爽，但是估计人家后台在骂街，毕竟谁都不希望自己的数据被弄走，所以后台反爬技术也在快速提升，一攻一防就这么在拉锯着。

现在为了防止反爬，前端使用的反爬技术比较多的是js代码混淆。

什么是js代码混淆?

正常代码

我们现在看一段js代码，代码逻辑很简单，就是拼接时间返回。

function formatDate(now) {
var now = new Date(1230999938);
var year=now.getFullYear();
var month=now.getMonth()+1;
var date=now.getDate();
var hour=now.getHours();
var minute=now.getMinutes();
var second=now.getSeconds();
return year+"-"+month+"-"+date+" "+hour+":"+minute+":"+second;
}

运行一下这段代码，如下图所示。

混淆代码

我随便找了个在线的js代码混淆网站。

js代码

function formatDate(mz1){var KkkGDiH2=new window\"\x44\x61\x74\x65"\]\(1230999938\);var tsk3=KkkGDiH2\['\x67\x65\x74\x46\x75\x6c\x6c\x59\x65\x61\x72'\]\(\);var YMreyP4=KkkGDiH2\['\x67\x65\x74\x4d\x6f\x6e\x74\x68'\]\(\)+1;var Ozo5=KkkGDiH2\['\x67\x65\x74\x44\x61\x74\x65'\]\(\);var QMYEc$eD6=KkkGDiH2\['\x67\x65\x74\x48\x6f\x75\x72\x73'\]\(\);var JfXVV\_Akq7=KkkGDiH2\['\x67\x65\x74\x4d\x69\x6e\x75\x74\x65\x73'\]\(\);var $mP8=KkkGDiH2\['\x67\x65\x74\x53\x65\x63\x6f\x6e\x64\x73'\]\(\);return tsk3+"\x2d"+YMreyP4+"\x2d"+Ozo5+" "+QMYEc$eD6+"\x3a"+JfXVV\_Akq7+"\x3a"+$mP8

上面这个真的不是我瞎写的，混淆之后就是这样子的，不信看图片。

可能我们会有个疑问,js代码都成这玩意了，还能执行吗? 答案是肯定的。即使js代码非常乱，但还是可以执行的，结果跟上面的是一样的。

这就造成了一个问题，我们在做爬虫时，如果需要，多多少少可能都要研究一下js代码，然后进行js解密一下，但是，但是，要是代码都混淆成了这了，还怎么解?

一点逻辑都看不通了，基本上不可用Python按照js逻辑重写出来了...

很巧，小编也是卡在这里...后来我就想，要是Python能执行js代码就好了，不用管函数里面的逻辑了，只拿函数返回值就好了。

Python第三方包Execjs

可能是吧，不止我一个人遇到了这种情况，所以大佬们就开发出来这种工具包，用于执行js代码。

安装

在安装之前，需要有node环境，这里就不举栗子了，下一步下一步就好了。pip3 install PyExecJS

Execjs用法超级简单的，几行代码。

执行js

注：由于上述js代码会生成window对象，并不能直接执行成功，需要额外的其他辅助，这里简单的举一下其他例子。

正常js代码

function add(x, y) {
return x + y;
}
Python执行js代码import execjs
ctx = execjs.compile("""
function add(x, y) {
return x + y;
}
"""\)
print(ctx.call("add"， 1, 2))

执行结果如下图所示：

混淆js代码

function add(bi1,Pl){return bi1+Pl}

Python执行混淆js代码

import execjs
ctx = execjs.compile("""
function add(bi1,Pl){return bi1+Pl}
""")
print(ctx.call("add"， 1, 2))

执行结果如下图所示：

可以看到，即使再混淆，只要执行的是js代码，都是没啥问题的。

上述拼接时间返回的js混淆代码也是可以执行的，但是它多了一个window对象，需要node安装jsdom才行，由于网络设置有问题，实在是下载不了举例子，实在是抱歉。

或者使用selenium打开游览器执行再返回也行，当然，速度更慢。

结尾

反爬和爬虫一直都是一攻一防，以后可能这种情况会更严重，但是在Python庞大的生态中总能找到不错的方案。