当前位置: 首页>后端>正文

历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了

前言

之前拿到一份关于腾讯认证的python的全套项目实战脑图,于是历时花费一个月,终于是熬夜加点的给肝出来了,先用typora全部写出来,然后再导出成PDF文件,目前已经完全搞定。

总共划分内容为(七大模块):

历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了,第1张

一丶python语法必修

主要有三大模块内容,分别是:python语法编程丶python并发编程丶python数据库编程

1.python语法编程篇

历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了,第2张

包含:python3基础入门,列表与元组,字符串和字典,条件丶循环和其他语句,函数,面向对象,异常与文件处理八个模块

历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了,第3张

2.python并发编程篇

历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了,第4张

包含:网络编程,多线程,多进程,协程四个方面

  • 网络编程就有:TCP/IP简介和网络设计模块
  • 多线程有:线程和进程,使用线程,多线程全局变量,共享全局变量,互斥锁,死锁,线程池等
  • 多进程有:进程状态,线程的创建,进程线程对比,通信和进程池创建
  • 协程:协程的意,asyncio事件循环,await,异步爬虫,异步操作MySQL等


    历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了,第5张

3.python数据库编程

概述MySQL丶Redis丶MongoDB三种数据库


历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了,第6张
  • MySQL:基础丶进阶查询丶高级应用丶MySQL ORM框架-SQLAIchemy
  • Redis:服务端和客户端基本操作命令,数据操作,python操作Redis
  • MongoDB:database的基础命令,集合的基础命令,数据类型和操作,牵引,聚合操作,数据备份和回复,pymongo的操作
历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了,第7张

二丶机器学习

机器学习包含了两大模块,分别是机器学习算法和机器学习应用项目


历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了,第8张

1.机器学习算法

线性回归算法,K-Means算法,朴素贝叶斯,集成算法


历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了,第9张
历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了,第10张

2.机器学习应用项目

历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了,第11张
  • 机器人开发环境
  • ROS客户端
  • 人工智能讲解
  • 开发跟踪机器人
  • 机器人建图和导航
  • 智能安保机器人开发
  • 神经网络应用
  • 基于ROS开发多机器人
  • 类脑计算和深度强化学习


    历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了,第12张

三丶全栈开发体系

全栈开发包含了三大模块。分别是web网页开发,后端架构开发和性能调优


历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了,第13张

1.web网页开发

web网页开发分为

  • HTML
  • CSS
  • JQuery
  • vue


    历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了,第14张
历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了,第15张

2.后端架构开发

本篇我将主要分为三个阶段来讲述后端架构开发,分别是
1.Django初级

  • 安装Django以及创建
  • 运行和创建Django应用程序
  • Django视图-模板-模型
  • Django管理员站点

2.Django进阶

  • Django视图分类
  • Django模板继承
  • Django表单
  • Django中间件和信号

3.Django高级

  • Django性能优化
  • Django安全性
历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了,第16张

历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了,第17张

3.性能调优

这方面内容比较多,分别从五个方向展开讲述,分别是存储层调优,celery异步任务,Django缓存机制,Nginx服务,Django对SDK开发以及Docker容器

历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了,第18张

1.存储层调优
  • 数据库设计
  • 数据库查询优化
  • 缓存和数据库复制

2.celery异步任务

  • 使用异步任务
  • 设置任务超时时间
  • 密集型任务的并行化
  • 任务结果缓存
  • 消息队列的优化

3.Django缓存机制

  • 开启缓存
  • 缓存键设计
  • 使用缓存框架
  • 缓存优化和清理机制

4.Nginx服务

  • 合理配置
  • 使用Nginx高级功能
  • 监控和优化Nginx

5.Django对SDK开发

  • 创建Django SDK项目
  • 创建Django SDK应用程序和视图函数,路由
  • 进行Django性能调优

6.Docker容器

  • Docker容器基本知识
  • 使用docker部署全栈应用和性能调优


    历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了,第19张

四丶大数据体系

大数据体系本章从:数据分析,Hadoop,spark三大模块开始讲述


历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了,第20张

1.数据分析篇

历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了,第21张

1.Numpy篇
  • numpy函数介绍

  • numpy通用函数

  • 5W字numpy图文讲解

    历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了,第22张

    2.pandas篇
  • panda核心介绍

  • pandas展示

  • panda基础

  • series和Index

  • pandas数据可视化


    历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了,第23张

3.Matplotlib和数据可视化

  • Matplotlib简介及图表窗口
  • 图表基本元素
  • Matplotlib图表的样式参数
  • Matplotlib刻度、图表输出丶注解


    历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了,第24张

2.Hadoop篇

1.对Hadoop的认识

  • Hadoop介绍,版本,特点,组成
  • HDFS,YARN,MapReduce,三者的关系
  • 大数据处理过程

2.Hadoop之配置java与hadoop环境

  • 打开虚拟机连接xshell
  • 进入到我们安装软件的文件夹
  • 配置java的JDK的环境变量
  • 解压缩Hadoop的压缩包
  • 配置Hadoop的环境变量

3.Hadoop之文件复制scp和同步rsync

  • scp介绍命令
  • 拷贝文件
  • rsync介绍命令

4.Hadoop之SSH免密登录

  • SSH原理
  • 配置SSH

5.Hadoop之集群配置和启动集群(完全分布式)

  • 集群部署
  • 配置文件
  • 分发文件
  • 启动集群
历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了,第25张

3.spark

  • spark概述
  • spark core
  • spark sql
  • spark内核原理


    历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了,第26张

五丶爬虫工程师

本篇内容容量大,主要从5个大模块上百个小知识点开启讲述:采集功底,自动化抓包,源码框架,爬虫集群部署和JavaScript逆向

历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了,第27张

1.采集功底专题篇

历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了,第28张

1.网络请求
  • request源码解析,常用方法
  • data/json/param参数传递
  • 隧道代理使用,证书异常处理
  • httpx源码解析和常用方法
  • httpx上下文处理和异步请求

2.数据解析

  • 正则表达式原理
  • 分组和通用匹配
  • 贪婪和非贪婪模式
  • findall/match/search方法
  • xpath语法学习
  • xpath定位文章数据
  • 基于bs4的环境搭建
  • bs4节点-属性-层级选择器
  • 数据入库

3.数据入库

  • MySQL表结构设计
  • MySQL数据写入规范
  • MySQL动态传参和对接爬虫实战
  • MongoDB数据写入规范
  • MongoDB数据异常处理
  • 爬虫对接MongoDB
  • JSON对象和数组以及数据编码


    历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了,第29张

2.自动化抓包

自动化抓包分为:selenium采集,pyppeteer采集,Charles抓包,mitmproxy

  • Selenium介绍
  • Selenium安装
  • Selenium基本使用和高级用法
  • 抓包获取数据
  • pyppeteer请求实战案例
  • Charles替换CSS和JS文件
  • mitmproxy脚本编写- 数据截取-代理响应


    历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了,第30张

3.框架源码专题

框架源码主要从4个方向讲述:scrapy框架,feadper,Scrapy_redis,,爬虫集群部署

历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了,第31张

1.scrapy框架

框架基本使用

  • 安装Scrapy以及创建Scrapy项目
  • 定义爬虫提取数据
  • 提取数据定义数据存储
  • 运行爬虫

scrapy功能学习

  • Selector数据处理
  • xpath选择器
  • CSS选择器
  • scrapy对接MySQL
  • Scrapy对接MongoDB
  • Scrapy文件存储

scrapy中间件

  • Scrapy中的中间件类型
  • 中间件的执行顺序以及编写和配置
  • 常见的中间件应用场景

2.feapder

  • feapder任务调度机制
  • Feapder中间件实现异常处理
  • 框架对接selenium实现自动化
  • feapder分布式采集
历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了,第32张

3.爬虫集群部署

scrapyd框架

  • 环境部署
  • scrapyd API处理爬虫
  • scrapyd多任务管理

gerapy部署爬虫

  • gerapy环境搭建
  • gerapy服务器部署
  • gerapy打包框架项目

feapder部署

  • feapder应用场景和原理
  • feapder镜像拉取
  • docker部署feapder部署环境
  • feapder部署scrapy项目
历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了,第33张

4.JavaScript逆向

历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了,第34张

本系列将从九个方面讲解JavaScript逆向专题
1.浏览器调试
  • js作用域
  • 浏览器对象属性
  • 浏览器控制台

2.国标哈希算法

  • sha1算法
  • sha256算法
  • sha512算法
  • md5
  • hmac算法
  • python和JavaScript实现

3.国标对称加密

  • DES算法
  • AES算法
  • crypto-js模块使用
  • pycryptodome

4. 国标非对称加密

  • RAS算法原理
  • 非对称特征
  • JavaScript算法还原
  • ras模块
  • jesencrypt

5.webpack模块打包

  • webpack打包原理
  • webpack构造形式
  • 全局导出加密函数

6.JS混淆

  • JavaScript压缩 混淆原理
  • OB混淆特性
  • OB混淆JavaScript

7.cookie反爬处理

  • cookie加解密原理
  • cookie和session机制
  • cookie hook技巧
  • acw_sc_v2调试

8.AST抽象语法树

  • AST 技术介绍
  • 字符串和编码还原
  • evaluate方法学习
  • JavaScript实战解混淆

9.JS安全产品攻防

  • 瑞数
  • acw_sc_v2
历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了,第35张

六丶APP逆向

APP逆向专题主要讲解:java语法编程,NDK,HOOK和APP RPC

历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了,第36张

1.java语法编程

  • java语法搭建
  • java基础语法和数据类型
  • java控制流程
  • java数据类型
  • java数据结构,面向对象
  • java继承关系链
  • java包的概念

2.NDK开发

  • NDK数据类型
  • java反射和NDK结合
  • JNI调用java函数对象和访问java方法和类


    历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了,第37张

3.hook专题

  • Frida Hook
  • Frida构造数组-对象
  • Frida与脱壳
  • Frida Hook壳与插件dex
  • Frida编译源码
  • Frida检测反调试
  • APP脱壳
  • smail语法


    历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了,第38张

4.APP RPC

历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了,第39张
  • frida rpc插件编写
  • 使用frida远程调用java代码
  • sekiro框架源码拆解
历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了,第40张

七丶爬虫实战

第七章主要是一些爬虫实战的视频


历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了,第41张

https://www.xamrdz.com/backend/3zu1936690.html

相关文章: