-
修改spark-defaults.conf配置文件
-
spark.eventLog.enabled true
-
spark.eventLog.dir hdfs://192.168.9.110:9000/eventLogs
-
spark.eventLog.compress true
-
-
修改spark-env.sh配置文件
-
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://DEV-HADOOP-01:9000/sparkHistoryLogs"
-
-
以上两个配置中spark.eventLog.dir和SPARK_HISTORY_OPTS都用到了hdfs来存储历史任务的日志信息.所以需要提前在hdfs中新建这两个目录 hdfs://192.168.9.110:9000/eventLogs和hdfs://DEV-HADOOP-01:9000/sparkHistoryLogs
-
进入hadoop的bin目录 命令 : cd /data/server/hadoop-2.6.0/bin
-
新建hdfs://192.168.9.110:9000/eventLogs命令 : ./hadoop dfs -mkdir /eventLogs
-
新建hdfs://DEV-HADOOP-01:9000/sparkHistoryLogs命令 : ./hadoop dfs -mkdir /sparkHistoryLogs
-
-
重启spark集群
-
启动历史任务进程
-
sbin/start-history-server.sh
-
-
历史任务进程启动验证
-
执行jps命令,出现HistoryServer进程
-
-
查看历史任务Web UI
-
http://192.168.9.110:18080/
-
- 浏览: 75161 次
相关推荐
本文详细的描述了spark 的启动过程,帮助你快速了解spark
本文档详细的介绍了spark的shell启动命令,具体细节等要求
一种基于历史任务分析的Apache Spark应用自动化调优方法.pdf
web管理spark任务。scala代码编写.可视化。web管理spark任务。scala代码编写.可视化。
spark源码下载安装启动,包括遇到的问题,下载地址,.编译spark源码
windows中使用yarn-cluster模式提交spark任务,百度找不着的啦,看我这里。另外spark的版本要使用正确哦 更简单的方式参考: https://blog.csdn.net/u013314600/article/details/96313579
(2)启动Spark分布式集群并查看信息 (3)网页端查看集群信息 (4)启动spark-shell控制台 1:local模式启动 2:登录master服务器,在集群模式下启动 (5)访问http://localhost:4040可以看到spark web界面 (6)从...
spark任务task分析
使用命令./bin/spark-shell启动spark 图2启动spark 2. Spark读取文件系统的数据 (1) 在spark-shell中读取Linux系统本地文件“/home/hadoop/test.txt”,然后统计出文件的行数; 图3 spark统计行数 (2) 在spark-...
7.spark任务设计1
java提交spark任务到yarn平台的配置讲解共9页.pdf.zip
本例子包括spark count,sparksql,sparkstreaming的样例,本例子包括spark count,sparksql,sparkstreaming的样例,
项目概述:Fire框架是一款由中通大数据团队自主研发并贡献给开源社区的大数据处理利器,专门针对Spark与Flink任务的高效开发而设计。该框架采用Scala为主要编程语言,兼容Java、Shell和HTML等,总计包含1054个文件,...
spark-2.0.1集群安装及编写例子提交任务,包括集群安装包及例子代码加上安装文档, spark-2.0.1集群安装及编写例子提交任务,包括集群安装包及例子代码加上安装文档
│ 01-[了解]-Spark发展历史和特点介绍.mp4 │ 03-[掌握]-Spark环境搭建-Standalone集群模式.mp4 │ 06-[理解]-Spark环境搭建-On-Yarn-两种模式.mp4 │ 07-[掌握]-Spark环境搭建-On-Yarn-两种模式演示.mp4 │ ...
hdp spark
基于 Spark 任务流执行平台项目源码+使用说明.zip基于 Spark 任务流执行平台项目源码+使用说明.zip基于 Spark 任务流执行平台项目源码+使用说明.zip基于 Spark 任务流执行平台项目源码+使用说明.zip基于 Spark 任务...
5:启动Spark分布式集群并查看信息 6:启动9999端口 7:切换到jar包所在路径 8:提交程序到spark集群上运行 9:监测端口内容,每隔10秒钟输出一次,当有内容出现的时候,单词计数输出内容 10:退出监测,Ctrl+Z,...