当前位置: 首页>前端>正文

python查看windows浏览器端口号 python分析浏览器浏览记录

在Windows上分析谷歌浏览器Chrome历史记录的Python3.6脚本,分析过程如下:

1.1 Chrome的历史记录数据库

Chrome的数据存储在本地的SQLite数据库中。所以这里我们需要做的就是写一段能够连接到数据库的Python代码,从而查询需要的字段和提取需要的数据,这些数据包括网站访问的URL及其对应的全部访问量。我们把这些找出来作为原始数据。

在一个Windows电脑上,这个数据库通常可以在下面的路径下找到。

C:\Users\<YOURUSERNAME>\AppData\Local\Google\Chrome\UserData\Default

因为我的代码主要针对在Windows平台下的Chrome,我将会将这个代码留给你在Linux和Mac平台下进行稍微的改进。下面的代码给出了在Windows下的路径。

data_path=os.path.expanduser('~')+r"\AppData\Local\Google\Chrome\UserData\Default"
 files=os.listdir(data_path)
 history_db=os.path.join(data_path,'history')

现在我们有了路径和数据库的名字,我们会在里面进行一些SQL操作。为了实现这一点,你需要导入Python自带的sqlite3库。这些变量是不需要加以说明的。如果需要的话,可以参考sqlite3库的文档。

c=sqlite3.connect(history_db)
 cursor=c.cursor()
 select_statement="SELECTurls.url,urls.visit_countFROMurls,visitsWHEREurls.id=visits.url;"
 cursor.execute(select_statement)
 results=cursor.fetchall()

这里最重要的东西就是select_statement.我怎么能够知道从表中获取哪一个字段呢?好的,你可以下载SQLite浏览器并看一下概要图,或者获取这个表格并且运行控制台表中的一个主要的部分。

所以,当程序运行的时候,fetchall函数返回一系列的元组。我们继续进行并尝试着把它打印出来。你会得到很多具有网站数据的元组和在特定期间或者间隔内URL被访问的次数。尽管它可以帮助我们得到这些历史记录的要点,但是用这种格式是没有什么用的。网页是重复的,但是我不知道为什么访问量在这个列表中是分散的。然而,我们可以循环网页每一次出现的次数,进行计数,并把这两个联系在一起,作为字典中的键值对。

1.2 解析网页URL


如果你在控制台中打印出了这个元组,我们可以发现,这个数目会比我们预期的少很多。这是由于程序对HTTP,HTTPS,包括很多子域名进行了不同的计数。尽管下面的解析部分不是以Python方式进行的,但是我决定将一个将网页分割成不同部分的函数,并返回一个简单的无修饰的域。为了一致性,我建议你使用urlparse库的netloc函数来解析网页,这种方式更好一些。

defparse(url):
    try:
       parsed_url_components=url.split('//')
       sublevel_split=parsed_url_components[1].split('/',1)
       domain=sublevel_split[0].replace("www.","")
       return domain
    except IndexError:
       print"URLformaterror!

创建并选择网页,计数字典
从上面的分析可以知道,现在我们必须做的就是循环元组的列表,获取网页URL并解析它,然后把它作为字典的键加入到字典中;对于网页URL的出现次数,你可以简单的增加一个增量计数器作为字典的值。

sites_count={}   #dictmakesiterationseasier:D
for url, count in results:  
         url = parse(url)  
         if url in sites_count:  
             sites_count[url] += 1  
         else:  
             sites_count[url] = 1

因为Python的字典内部是无序的,为了一个明确的结果应该按值对字典进行排序。我将会采用OrderedDict方法来进行排序。

sites_count_sorted=OrderedDict(sorted(sites_count.items(),key=operator.itemgetter(1),reverse=True))

1.3分析并画出这些结果

现在我们有了可以画出这些结果的所有数据,你需要做的就是尽力来感受这个结果图是什么样的,当你找到你最常访问的网站时,你会感受到这一点。使用matplotlib库进行绘图,我几乎没有任何的经验,所以下面是我画的最简单的图了。

plt.bar(range(len(sites_count_sorted)),sites_count_sorted.values(),align='edge')
 plt.xticks(rotation=45)
 plt.xticks(range(len(sites_count_sorted)),sites_count_sorted.keys())
 plt.show()具体的代码如下:
 
import os  
import sqlite3  
import operator  
from collections import OrderedDict  
import matplotlib.pyplot as plt  
#url:http://www.baidu.con
def parse(url):  
    try:  
        parsed_url_components = url.split('//')  #['http:', 'www.baidu.com/']
        sublevel_split = parsed_url_components[1].split('/', 1)   #['www.baidu.com', '']
        domain =sublevel_split[0].replace("www.", "")   #'baidu.com'
        return domain
    except IndexError:  
        print('URL format error!') 

def analyze(results):  
    prompt =input("[.] Type <c> to print or <p> to plot\n[>] ")

    if prompt == "c":
        with open('./history.txt','w') as f:
            for site, count in sites_count_sorted.items():
                f.write(site+'\t'+str(count)+'\n')
    elif prompt == "p":
        plt.bar(range(len(results)), results.values(), align='edge')  
        plt.xticks(rotation=45)  
        plt.xticks(range(len(results)), results.keys())  
        plt.show()
    else:  
        print("[.] Uh?")  
        quit()  

if __name__=='__main__':
    #path to user's history database (Chrome)  
    data_path = os.path.expanduser('~')+r"\AppData\Local\Google\Chrome\User Data\Default"  
    #data_path=r'C:\Users\Administrator\AppData\Local\Google\Chrome\User Data\Default'
    files=os.listdir(data_path)
    history_db = os.path.join(data_path, 'history')  

    #querying the db  
    c = sqlite3.connect(history_db)  
    cursor = c.cursor()  
    select_statement = "SELECT urls.url, urls.visit_count FROM urls, visits WHERE urls.id = visits.url;"  
    cursor.execute(select_statement)  
    
    results = cursor.fetchall() #tuple  

    sites_count = {} #dict makes iterations easier :D  

    for url, count in results:  
        url = parse(url)  
        if url in sites_count:  
            sites_count[url] += 1  
        else:  
            sites_count[url] = 1  

    sites_count_sorted = OrderedDict(sorted(sites_count.items(), key=operator.itemgetter(1), reverse=True))  

    analyze (sites_count_sorted) 
 Note: 在程序运行时,不要使用谷歌浏览器,可能会遇到数据库不能访问的错误。
 推荐使用Anaconda软件,可以进行调试python代码。

https://www.xamrdz.com/web/2dc1934889.html

相关文章: