前言
之前拿到一份关于腾讯认证的python的全套项目实战脑图，于是历时花费一个月，终于是熬夜加点的给肝出来了，先用typora全部写出来，然后再导出成PDF文件，目前已经完全搞定。
总共划分内容为（七大模块）：
一丶python语法必修
主要有三大模块内容，分别是：python语法编程丶python并发编程丶python数据库编程
1.python语法编程篇
包含：python3基础入门，列表与元组，字符串和字典，条件丶循环和其他语句，函数，面向对象，异常与文件处理八个模块
2.python并发编程篇
包含：网络编程，多线程，多进程，协程四个方面
- 网络编程就有：TCP/IP简介和网络设计模块
- 多线程有：线程和进程，使用线程，多线程全局变量，共享全局变量，互斥锁，死锁，线程池等
- 多进程有：进程状态，线程的创建，进程线程对比，通信和进程池创建
-
协程：协程的意,asyncio事件循环，await,异步爬虫，异步操作MySQL等
3.python数据库编程
概述MySQL丶Redis丶MongoDB三种数据库
- MySQL：基础丶进阶查询丶高级应用丶MySQL ORM框架-SQLAIchemy
- Redis：服务端和客户端基本操作命令，数据操作，python操作Redis
- MongoDB：database的基础命令，集合的基础命令，数据类型和操作，牵引，聚合操作，数据备份和回复，pymongo的操作
二丶机器学习
机器学习包含了两大模块，分别是机器学习算法和机器学习应用项目
1.机器学习算法
线性回归算法，K-Means算法，朴素贝叶斯，集成算法
2.机器学习应用项目
- 机器人开发环境
- ROS客户端
- 人工智能讲解
- 开发跟踪机器人
- 机器人建图和导航
- 智能安保机器人开发
- 神经网络应用
- 基于ROS开发多机器人
-
类脑计算和深度强化学习
三丶全栈开发体系
全栈开发包含了三大模块。分别是web网页开发，后端架构开发和性能调优
1.web网页开发
web网页开发分为：
- HTML
- CSS
- JQuery
-
vue
2.后端架构开发
本篇我将主要分为三个阶段来讲述后端架构开发，分别是
1.Django初级
- 安装Django以及创建
- 运行和创建Django应用程序
- Django视图-模板-模型
- Django管理员站点
2.Django进阶
- Django视图分类
- Django模板继承
- Django表单
- Django中间件和信号
3.Django高级
- Django性能优化
- Django安全性
3.性能调优
这方面内容比较多，分别从五个方向展开讲述，分别是存储层调优，celery异步任务，Django缓存机制，Nginx服务，Django对SDK开发以及Docker容器
1.存储层调优
- 数据库设计
- 数据库查询优化
- 缓存和数据库复制
2.celery异步任务
- 使用异步任务
- 设置任务超时时间
- 密集型任务的并行化
- 任务结果缓存
- 消息队列的优化
3.Django缓存机制
- 开启缓存
- 缓存键设计
- 使用缓存框架
- 缓存优化和清理机制
4.Nginx服务
- 合理配置
- 使用Nginx高级功能
- 监控和优化Nginx
5.Django对SDK开发
- 创建Django SDK项目
- 创建Django SDK应用程序和视图函数，路由
- 进行Django性能调优
6.Docker容器
- Docker容器基本知识
-
使用docker部署全栈应用和性能调优
四丶大数据体系
大数据体系本章从：数据分析，Hadoop，spark三大模块开始讲述
1.数据分析篇
1.Numpy篇
numpy函数介绍
numpy通用函数
-
5W字numpy图文讲解
2.pandas篇 panda核心介绍
pandas展示
panda基础
series和Index
-
pandas数据可视化
3.Matplotlib和数据可视化
- Matplotlib简介及图表窗口
- 图表基本元素
- Matplotlib图表的样式参数
-
Matplotlib刻度、图表输出丶注解
2.Hadoop篇
1.对Hadoop的认识
- Hadoop介绍，版本，特点，组成
- HDFS，YARN，MapReduce，三者的关系
- 大数据处理过程
2.Hadoop之配置java与hadoop环境
- 打开虚拟机连接xshell
- 进入到我们安装软件的文件夹
- 配置java的JDK的环境变量
- 解压缩Hadoop的压缩包
- 配置Hadoop的环境变量
3.Hadoop之文件复制scp和同步rsync
- scp介绍命令
- 拷贝文件
- rsync介绍命令
4.Hadoop之SSH免密登录
- SSH原理
- 配置SSH
5.Hadoop之集群配置和启动集群(完全分布式)
- 集群部署
- 配置文件
- 分发文件
- 启动集群
3.spark
- spark概述
- spark core
- spark sql
-
spark内核原理
五丶爬虫工程师
本篇内容容量大，主要从5个大模块上百个小知识点开启讲述：采集功底，自动化抓包，源码框架，爬虫集群部署和JavaScript逆向
1.采集功底专题篇
1.网络请求
- request源码解析，常用方法
- data/json/param参数传递
- 隧道代理使用,证书异常处理
- httpx源码解析和常用方法
- httpx上下文处理和异步请求
2.数据解析
- 正则表达式原理
- 分组和通用匹配
- 贪婪和非贪婪模式
- findall/match/search方法
- xpath语法学习
- xpath定位文章数据
- 基于bs4的环境搭建
- bs4节点-属性-层级选择器
- 数据入库
3.数据入库
- MySQL表结构设计
- MySQL数据写入规范
- MySQL动态传参和对接爬虫实战
- MongoDB数据写入规范
- MongoDB数据异常处理
- 爬虫对接MongoDB
-
JSON对象和数组以及数据编码
2.自动化抓包
自动化抓包分为：selenium采集，pyppeteer采集，Charles抓包，mitmproxy
- Selenium介绍
- Selenium安装
- Selenium基本使用和高级用法
- 抓包获取数据
- pyppeteer请求实战案例
- Charles替换CSS和JS文件
-
mitmproxy脚本编写- 数据截取-代理响应
3.框架源码专题
框架源码主要从4个方向讲述：scrapy框架，feadper,Scrapy_redis,,爬虫集群部署
1.scrapy框架
框架基本使用
- 安装Scrapy以及创建Scrapy项目
- 定义爬虫提取数据
- 提取数据定义数据存储
- 运行爬虫
scrapy功能学习
- Selector数据处理
- xpath选择器
- CSS选择器
- scrapy对接MySQL
- Scrapy对接MongoDB
- Scrapy文件存储
scrapy中间件
- Scrapy中的中间件类型
- 中间件的执行顺序以及编写和配置
- 常见的中间件应用场景
2.feapder
- feapder任务调度机制
- Feapder中间件实现异常处理
- 框架对接selenium实现自动化
- feapder分布式采集
3.爬虫集群部署
scrapyd框架
- 环境部署
- scrapyd API处理爬虫
- scrapyd多任务管理
gerapy部署爬虫
- gerapy环境搭建
- gerapy服务器部署
- gerapy打包框架项目
feapder部署
- feapder应用场景和原理
- feapder镜像拉取
- docker部署feapder部署环境
- feapder部署scrapy项目
4.JavaScript逆向
本系列将从九个方面讲解JavaScript逆向专题
1.浏览器调试
- js作用域
- 浏览器对象属性
- 浏览器控制台
2.国标哈希算法
- sha1算法
- sha256算法
- sha512算法
- md5
- hmac算法
- python和JavaScript实现
3.国标对称加密
- DES算法
- AES算法
- crypto-js模块使用
- pycryptodome
4. 国标非对称加密
- RAS算法原理
- 非对称特征
- JavaScript算法还原
- ras模块
- jesencrypt
5.webpack模块打包
- webpack打包原理
- webpack构造形式
- 全局导出加密函数
6.JS混淆
- JavaScript压缩 混淆原理
- OB混淆特性
- OB混淆JavaScript
7.cookie反爬处理
- cookie加解密原理
- cookie和session机制
- cookie hook技巧
- acw_sc_v2调试
8.AST抽象语法树
- AST 技术介绍
- 字符串和编码还原
- evaluate方法学习
- JavaScript实战解混淆
9.JS安全产品攻防
- 瑞数
- acw_sc_v2
六丶APP逆向
APP逆向专题主要讲解：java语法编程，NDK，HOOK和APP RPC
1.java语法编程
- java语法搭建
- java基础语法和数据类型
- java控制流程
- java数据类型
- java数据结构，面向对象
- java继承关系链
- java包的概念
2.NDK开发
- NDK数据类型
- java反射和NDK结合
-
JNI调用java函数对象和访问java方法和类
3.hook专题
- Frida Hook
- Frida构造数组-对象
- Frida与脱壳
- Frida Hook壳与插件dex
- Frida编译源码
- Frida检测反调试
- APP脱壳
-
smail语法
4.APP RPC
- frida rpc插件编写
- 使用frida远程调用java代码
- sekiro框架源码拆解
七丶爬虫实战
第七章主要是一些爬虫实战的视频
