计算机毕业设计吊打导师hadoop+spark+hive动漫分析可视化大屏 动漫推荐系统 漫画推荐系统 漫画爬虫 漫画推荐系统动漫爬虫 知识图谱 大数据毕业设计

流程：
1.DrissionPage采集知音漫客约2万条国产动漫数据存入mysql数据库；
2.Mapreduce对采集的动漫数据进行数据清洗、拆分数据项等，转为.csv文件上传hadoop的hdfs集群；
3.hive建库建表导入.csv动漫数据；
4.一半指标使用hive_sql分析得出，一半指标使用Spark之Scala完成；
5.sqoop对分析结果导入mysql数据库；
6.Flask+echarts搭建可视化大屏；
创新点：Python全新DrissionPage爬虫使用、海量数据、爬虫、可视化大屏、离线hive+实时Spark双实现
可选装：推荐系统、预测系统、知识图谱、后台管理等。

1.png

2.png

3.png

8.png

9.png

10.png

11.png

12.png