当前位置：首页>后端>正文

大数据之Spark（1）- Spark简介及安装

后端2024-04-30 20:30:17

1 Spark概述

1.1 什么是Spark

1、定义
Spark是一种基于内存的快速、通用、可扩展的大数据分析引擎。
2、历史
2009年诞生于加州大学伯克利分校AMPLab，项目采用Scala编写。
2010年开源;
2013年6月成为Apache孵化项目
2014年2月成为Apache顶级项目。

1.2 Spark内置模块

Spark Core：实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。
Spark Core中还包含了对弹性分布式数据集(Resilient Distributed DataSet，简称RDD)的API定义。
Spark SQL：是Spark用来操作结构化数据的程序包。通过Spark SQL，我们可以使用 SQL或者Apache Hive版本的SQL方言(HQL)来查询数据。Spark SQL支持多种数据源，比如Hive表、Parquet以及JSON等。
Spark Streaming：是Spark提供的对实时数据进行流式计算的组件。提供了用来操作数据流的API，并且与Spark Core中的 RDD API高度对应。
Spark MLlib：提供常见的机器学习(ML)功能的程序库。包括分类、回归、聚类、协同过滤等，还提供了模型评估、数据导入等额外的支持功能。
集群管理器：Spark 设计为可以高效地在一个计算节点到数千个计算节点之间伸缩计算。为了实现这样的要求，同时获得最大灵活性，Spark支持在各种集群管理器(Cluster Manager)上运行，包括Hadoop YARN、Apache Mesos，以及Spark自带的一个简易调度器，叫作独立调度器。
Spark得到了众多大数据公司的支持，这些公司包括Hortonworks、IBM、Intel、Cloudera、MapR、Pivotal、百度、阿里、腾讯、京东、携程、优酷土豆。当前百度的Spark已应用于大搜索、直达号、百度大数据等业务；阿里利用GraphX构建了大规模的图计算和图挖掘系统，实现了很多生产系统的推荐算法；

1.3 Spark特点

1）快：与Hadoop的MapReduce相比，Spark基于内存的运算要快100倍以上，基于硬盘的运算也要快10倍以上。Spark实现了高效的DAG执行引擎，可以通过基于内存来高效处理数据流。计算的中间结果是存在于内存中的。
2）易用：Spark支持Java、Python和Scala的API，还支持超过80种高级算法，使用户可以快速构建不同的应用。而且Spark支持交互式的Python和Scala的Shell，可以非常方便地在这些Shell中使用Spark集群来验证解决问题的方法。
3）通用：Spark提供了统一的解决方案。Spark可以用于批处理、交互式查询（Spark SQL）、实时流处理（Spark Streaming）、机器学习（Spark MLlib）和图计算（GraphX）。这些不同类型的处理都可以在同一个应用中无缝使用。减少了开发和维护的人力成本和部署平台的物力成本。
4）兼容性：Spark可以非常方便地与其他的开源产品进行融合。比如，Spark可以使用Hadoop的YARN和Apache Mesos作为它的资源管理和调度器，并且可以处理所有Hadoop支持的数据，包括HDFS、HBase等。这对于已经部署Hadoop集群的用户特别重要，因为不需要做任何数据迁移就可以使用Spark的强大处理能力。

Spark运行模式

2.1 Spark官网

http://spark.apache.org/

2.2 Spark重要角色

2.2.1 Driver（驱动器）

Spark的驱动器是执行开发程序中的main方法的进程。它负责开发人员编写的用来创建SparkContext、创建RDD，以及进行RDD的转化操作和行动操作代码的执行。如果你是用spark shell，那么当你启动Spark shell的时候，系统后台自启了一个Spark驱动器程序，就是在Spark shell中预加载的一个叫作 sc的SparkContext对象。如果驱动器程序终止，那么Spark应用也就结束了。主要负责：
1）把用户程序转为作业（JOB）
2）跟踪Executor的运行状况
3）为执行器节点调度任务
4）UI展示应用运行状况

2.2.2 Executor（执行器）

Spark Executor是一个工作进程，负责在 Spark 作业中运行任务，任务间相互独立。Spark 应用启动时，Executor节点被同时启动，并且始终伴随着整个 Spark 应用的生命周期而存在。如果有Executor节点发生了故障或崩溃，Spark 应用也可以继续执行，会将出错节点上的任务调度到其他Executor节点上继续运行。主要负责：
1）负责运行组成 Spark 应用的任务，并将结果返回给驱动器进程；
2）通过自身的块管理器（Block Manager）为用户程序中要求缓存的RDD提供内存式存储。RDD是直接缓存在Executor进程内的，因此任务可以在运行时充分利用缓存数据加速运算。

2.3 Local模式

2.3.1 概述

Local模式就是运行在一台计算机上的模式，通常就是用于在本机上练手和测试。它可以通过以下集中方式设置Master。
local: 所有计算都运行在一个线程当中，没有任何并行计算，通常我们在本机执行一些测试代码，或者练手，就用这种模式;
local[K]: 指定使用几个线程来运行计算，比如local[4]就是运行4个Worker线程。通常我们的Cpu有几个Core，就指定几个线程，最大化利用Cpu的计算能力;
local[*]: 这种模式直接帮你按照Cpu最多Cores来设置线程数了。

2.3.2 安装使用

1）上传并解压spark安装包

[hadoop@hadoop101 softwares]$ tar -xf spark-2.4.8-bin-hadoop2.7.tgz -C /opt/modules/
[hadoop@hadoop101 modules]$ ln -s spark-2.4.8-bin-hadoop2.7 spark

2）官方求PI案例

[hadoop@hadoop101 spark]$ bin/spark-submit --class org.apache.spark.examples.SparkPi \
--executor-memory 1G --total-executor-cores 2 ./examples/jars/spark-examples_2.11-2.4.8.jar 100

...
22/01/07 20:56:39 INFO TaskSchedulerImpl: Removed TaskSet 0.0, whose tasks have all completed, from pool 
Pi is roughly 3.1418403141840314
22/01/07 20:56:39 INFO SparkUI: Stopped Spark web UI at http://hadoop101:4040
...

（1）基本语法

bin/spark-submit \
--class <main-class>
--master <master-url> \
--deploy-mode <deploy-mode> \
--conf <key>=<value> \
... # other options
<application-jar> \
[application-arguments]

（2）参数说明：
--class: 你的应用的启动类 (如 org.apache.spark.examples.SparkPi)
--master 指定Master的地址，默认为Local
--deploy-mode: 是否发布你的驱动到worker节点(cluster) 或者作为一个本地客户端 (client) (default: client)
--conf: 任意的Spark配置属性，格式key=value. 如果值包含空格，可以加引号“key=value”
application-jar: 打包好的应用jar
application-arguments: 传给main()方法的参数
--executor-memory 1G 指定每个executor可用内存为1G
--total-executor-cores 2 指定每个executor使用的cup核数为2个
3）WordCount测试案例
a. 准备文件

[hadoop@hadoop101 input]$ cat 1.txt 
hello world
hello spark
hello scala
[hadoop@hadoop101 input]$ cat 2.txt
hello jack
hello java

b. 启动spark-shell

[hadoop@hadoop101 spark]$ bin/spark-shell 
22/01/07 21:15:30 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
Spark context Web UI available at http://hadoop101:4040
Spark context available as 'sc' (master = local[*], app id = local-1641561335805).
Spark session available as 'spark'.
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.4.8
      /_/
         
Using Scala version 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_144)
Type in expressions to have them evaluated.
Type :help for more information.

scala>

c. 查看进程

[hadoop@hadoop101 spark]$ jps
2368 Jps
2270 SparkSubmit

d. 可登录hadoop101:4040查看程序运行

e. 运行WordCount程序

scala> sc.textFile("input").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect
res0: Array[(String, Int)] = Array((scala,1), (world,1), (hello,5), (jack,1), (java,1), (spark,1))

f. 可登录hadoop101:4040查看程序运行

g. WordCount程序分析

数据流分析：
textFile("input")：读取本地文件input文件夹数据；
flatMap(.split(" "))：压平操作，按照空格分割符将一行数据映射成一个个单词；
map((,1))：对每一个元素操作，将单词映射为元组；
reduceByKey(+)：按照key将值进行聚合，相加；
collect：将数据收集到Driver端展示。

2.4 Standalone模式

2.4.1 概述

构建一个由Master+Slave构成的Spark集群，Spark运行在集群中。

2.4.2 安装使用

1）进入spark安装目录下的conf文件夹

[hadoop@hadoop101 ~]$ cd /opt/modules/spark/conf

2）修改配置文件名称

[hadoop@hadoop101 conf]$ mv slaves.template slaves
[hadoop@hadoop101 conf]$ mv spark-env.sh.template spark-env.sh

3）修改slave文件，添加work节点：

[hadoop@hadoop101 conf]$ vim slaves
hadoop101
hadoop102
hadoop103

4）修改spark-env.sh，spark-config.sh 文件，添加如下配置：

[hadoop@hadoop101 conf]$ vim spark-env.sh

SPARK_MASTER_HOST=hadoop102
SPARK_MASTER_PORT=7077

[hadoop@hadoop101 sbin]$ vim spark-config.sh 
export JAVA_HOME=/opt/modules/jdk1.8

5）分发spark包

[hadoop@hadoop101 modules]$ xsync spark-2.4.8-bin-hadoop2.7/
[hadoop@hadoop101 modules]$ xsync spark/

6）启动

[hadoop@hadoop101 spark]$ sbin/start-all.sh

[hadoop@hadoop101 spark]$ jpsall
============hadoop101============
2769 Worker
2581 Master
============hadoop102============
2305 Worker
============hadoop103============
2427 Worker

7）网页查看：hadoop102:8080

8）官方求PI案例

[hadoop@hadoop101 spark]$ bin/spark-submit --class org.apache.spark.examples.SparkPi \
--master spark://hadoop101:7077 --executor-memory 1G --total-executor-cores 2 ./examples/jars/spark-examples_2.11-2.4.8.jar 100

22/01/07 21:50:36 INFO DAGScheduler: ResultStage 0 (reduce at SparkPi.scala:38) finished in 16.069 s
22/01/07 21:50:36 INFO DAGScheduler: Job 0 finished: reduce at SparkPi.scala:38, took 16.257592 s
Pi is roughly 3.141480314148031
22/01/07 21:50:36 INFO SparkUI: Stopped Spark web UI at http://hadoop101:4040
22/01/07 21:50:36 INFO StandaloneSchedulerBackend: Shutting down all executors

9）启动spark shell

[hadoop@hadoop101 spark]$ /opt/modules/spark/bin/spark-shell \
> --master spark://hadoop101:7077 \
> --executor-memory 1g \
> --total-executor-cores 2
22/01/07 21:54:08 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
Spark context Web UI available at http://hadoop101:4040
Spark context available as 'sc' (master = spark://hadoop101:7077, app id = app-20220107215412-0001).
Spark session available as 'spark'.
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.4.8
      /_/
         
Using Scala version 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_144)
Type in expressions to have them evaluated.
Type :help for more information.

scala>

参数：--master spark://hadoop101:7077 指定要连接的集群的master
执行WordCount程序

scala> sc.textFile("input").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect
res0: Array[(String, Int)] = Array((scala,1), (world,1), (hello,5), (jack,1), (java,1), (spark,1))

scala>

2.4.3 JobHistoryServer配置

1）修改spark-default.conf.template名称

[hadoop@hadoop101 conf]$ mv spark-defaults.conf.template spark-defaults.conf

2）修改spark-default.conf文件，开启Log：

[hadoop@hadoop101 conf]$ vim spark-defaults.conf 
spark.eventLog.enabled           true
spark.eventLog.dir               /opt/modules/spark/history

注意：HDFS上的目录需要提前存在。

3）修改spark-env.sh文件，添加如下配置：

[hadoop@hadoop101 conf]$ vim spark-env.sh 

export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=30 -Dspark.history.fs.logDirectory=/opt/modules/spark/history"

参数描述：
spark.eventLog.dir：Application在运行过程中所有的信息均记录在该属性指定的路径下；
spark.history.ui.port=18080 WEBUI访问的端口号为18080
spark.history.fs.logDirectory=/opt/modules/spark/history 配置了该属性后，在start-history-server.sh时就无需再显式的指定路径，Spark History Server页面只展示该指定路径下的信息
spark.history.retainedApplications=30指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。
4）分发配置文件

[hadoop@hadoop101 conf]$ xsync spark-env.sh 
[hadoop@hadoop101 conf]$ xsync spark-defaults.conf

5）启动历史服务

[hadoop@hadoop101 spark]$ sbin/start-history-server.sh

6）再次执行任务

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop101:7077 \
--executor-memory 1G \
--total-executor-cores 2 \
./examples/jars/spark-examples_2.11-2.4.8.jar  \
100

7）查看历史服务

2.4.4 HA配置

1）zookeeper正常安装并启动
2）修改spark-env.sh文件添加如下配置：

[hadoop@hadoop101 conf]$ vi spark-env.sh

注释掉如下内容：

#SPARK_MASTER_HOST=hadoop101
#SPARK_MASTER_PORT=7077

添加上如下内容：

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop101,hadoop102,hadoop103 -Dspark.deploy.zookeeper.dir=/spark"

3）分发配置文件

[hadoop@hadoop101 conf]$ xsync spark-env.sh

4）在hadoop101上启动全部节点

[hadoop@hadoop101 spark]$ sbin/start-all.sh

5）在hadoop102上单独启动master节点

[hadoop@hadoop102 spark]$ sbin/start-master.sh

6）spark HA集群访问

/opt/module/spark/bin/spark-shell \
--master spark://hadoop101:7077,hadoop102:7077 \
--executor-memory 2g \
--total-executor-cores 2

2.5 Yarn模式

2.5.1 概述

Spark客户端直接连接Yarn，不需要额外构建Spark集群。有yarn-client和yarn-cluster两种模式，主要区别在于：Driver程序的运行节点。
yarn-client：Driver程序运行在客户端，适用于交互、调试，希望立即看到app的输出
yarn-cluster：Driver程序运行在由RM（ResourceManager）启动的AP（APPMaster）适用于生产环境。

2.5.2 安装使用

1）修改hadoop配置文件yarn-site.xml,添加如下内容：

[hadoop@hadoop101 hadoop]$ vim yarn-site.xml 
        <!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
        <property>
                <name>yarn.nodemanager.pmem-check-enabled</name>
                <value>false</value>
        </property>
        <!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
        <property>
                <name>yarn.nodemanager.vmem-check-enabled</name>
                <value>false</value>
        </property>

2）修改spark-env.sh，添加如下配置：

[hadoop@hadoop101 conf]$ vim spark-env.sh

YARN_CONF_DIR=/opt/modules/hadoop/etc/hadoop

3）分发配置文件

[hadoop@hadoop101 conf]$ xsync /opt/modules/hadoop/etc/hadoop/yarn-site.xml
[hadoop@hadoop101 conf]$ xsync spark-env.sh

4）执行一个程序

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
./examples/jars/spark-examples_2.11-2.4.8.jar  \
100

注意：在提交任务之前需启动HDFS以及YARN集群。

2.5.3 日志查看

1）修改配置文件spark-defaults.conf
添加如下内容：

[hadoop@hadoop101 spark]$ vim conf/spark-defaults.conf

spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://cluster/user/spark/history
spark.yarn.historyServer.address=hadoop101:18080
spark.history.ui.port=18080

2）修改配置文件spark-defaults.conf
添加如下内容：

[hadoop@hadoop101 spark]$ vim conf/spark-env.sh 

export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=30 -Dspark.history.fs.logDirectory=hdfs://cluster/user/spark/history"

3）分发配置文件

[hadoop@hadoop101 spark]$ xsync conf/spark-defaults.conf 
[hadoop@hadoop101 spark]$ xsync conf/spark-env.sh

2）重启spark历史服务

[hadoop@hadoop101 spark]$ sbin/stop-history-server.sh 
stopping org.apache.spark.deploy.history.HistoryServer
[hadoop@hadoop101 spark]$ sbin/start-history-server.sh 
starting org.apache.spark.deploy.history.HistoryServer, logging to /opt/modules/spark/logs/spark-hadoop-org.apache.spark.deploy.history.HistoryServer-1-hadoop101.out

3）提交任务到Yarn执行

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
./examples/jars/spark-examples_2.11-2.4.8.jar  \
100

4）Web页面查看日志

2.7 几种模式对比

模式	Spark安装机器数	需启动的进程	所属者
Local	1	无	Spark
Standalone	3	Master及Worker	Spark
Yarn	1	Yarn及HDFS	Hadoop

查看全文

https://www.xamrdz.com/backend/3tt1939409.html

1 Spark概述

1.1 什么是Spark

1.2 Spark内置模块

1.3 Spark特点

Spark运行模式

2.1 Spark官网

2.2 Spark重要角色

2.2.1 Driver（驱动器）

2.2.2 Executor（执行器）

2.3 Local模式

2.3.1 概述

2.3.2 安装使用

2.4 Standalone模式

2.4.1 概述

2.4.2 安装使用

2.4.3 JobHistoryServer配置

2.4.4 HA配置

2.5 Yarn模式

2.5.1 概述

2.5.2 安装使用

2.5.3 日志查看

2.7 几种模式对比

相关文章：