下载APP
开源软件 问答 动弹 博客 翻译 资讯 Gitee代码托管 众包 活动 专区
登录 注册

软件作品

pre-agent
pre-agent
分布式链路追踪组件
3
patroller
patroller
分布式链路追踪组件
6

技能雷达

开发平台： Java EE, Java SE

Gitee 贡献

Gitee (gitee.com) 是 OSCHINA 推出的代码托管平台，支持 Git 和 SVN，提供免费的私有仓库托管。目前已有近 500 万的开发者选择 Gitee。

Gitee 贡献 反映用户在 Gitee 上评论、Fork、Star、Push等操作的次数。

免费开通 Gitee

1
2
3
4
5
6
7

连击 天

fork: star:

统计

今日访问：408
昨日访问：4872
本周访问：19749
本月访问：51762
所有访问：1537079
加载中
全部博文
4413 全部博文 15 网关 133 数据库 15 mongodb 27 抓包 5 div css 7 hbase 16 netty 25 测试 4 设计模式 4 canal 13 有趣的code 122 docker 22 sql 37 mesos 126 spark 31 linux 42 中间件 12 jenkins 36 hadoop 4 计算机网络 5 struts2 6 neo4j 53 service mesh 7 GO 22 监控遥测 2 vue 7 规则引擎 25 分布式事务 39 思考问题 23 sqoop 10 工作流 15 大数据分析 9 安全 10 虚拟化 5 股票 21 Mahout 2 php 79 异常 237 Kubernetes 13 etcd 2 oozie 64 jvm 3 Vert.x 39 开源框架 1 JGroups 267 搜索引擎，爬虫 248 spring 56 分布式计算 18 分词器 4 区块链 255 架构 114 缓存 39 工具 1142 java 3 web服务器 44 运维 129 mq 61 微服务 196 iteye 69 算法 7 c# 1 tapestry 2 memcached 1 房产 5 scala 11 mybatis 5 淘客 43 js 14 dubbo 16 分布式存储 1 驾照 98 操作系统 16 nginx 17 zookeeper 34 maven 16 深度学习 4 Android 18 分布式追踪 10 Hive 7 hibernate 1 工作日志 1 日常记录
热门博文 动态 动弹
原
eclipse spark 提交遠程任務异常

java.lang.IllegalStateException: Library directory scala-2.11\jars' does not exist; make sure Spark is built. package my.test; import java.io.IOException; import org.apache.spar...

apache sparkeclipsehadoopyarn
网关
昨天 16:32
39
0
原
eclipse spark

package my.test; import java.io.IOException; import org.apache.spark.deploy.SparkSubmit; import com.huangyueran.spark.utils.Constant; public class Main { public static void main...

apache sparkeclipsehdfsyarn
网关
昨天 16:28
19
0
原
Could not find or load main class org.apache.spark.deploy.yarn.ApplicationMaster

Spark YARN Cluster mode get this error “Could not find or load main class org.apache.spark.deploy.yarn.ApplicationMaster” spark.yarn.jars spark.yarn.archive 配置错误可能会导致...

apacheapache sparkyarndeployhdfs
spark
昨天 16:25
5
0
远程提交Spark应用到集群

介绍如何在集群之外提交Spark任务到集群。 Spark目前支持三种集群，分别是Spark自实现的standalone集群、mesos集群和YARN集群。 使用standalone集群，提交应用时使用–master参数指定集群地址...

yarnhadoop
spark
昨天 15:34
0
0
荐
windows下更新环境变量不需要重启系统快速生效的方法（原理篇）

本方式是针对windows的环境变量进行了修改，但是不希望重启windwos系统的解决方法以及原理的一些简单的介绍。 要了解和深入一件事我觉得应该是了解的全面一些比较的好，所以我这里写的比较的...

java
操作系统
昨天 11:45
1.5K
1
Java Web提交任务到Spark Standalone集群并监控

Java Web提交任务到Spark Standalone集群并监控 环境 工程下载路径 Spark任务提交流程 问题及问题解决 后记 Java Web提交任务到Spark Standalone集群并监控 1. 环境 软件 版本 备注 IDEA 14....

githubmavenyarnjavadefapache sparkhadoopdeploytipdmjdk
spark
前天 18:01
24
0
Spark启动时的master参数以及Spark的部署方式

我们在初始化SparkConf时，或者提交Spark任务时，都会有master参数需要设置，如下： conf = SparkConf().setAppName(appName).setMaster(master) sc = SparkContext(conf=conf) /bin/spark-s...

yarnapache spark
spark
前天 17:44
26
0
Spark之yarn-client与yarn-cluster

摘要：   spark有两种方式运行在yarn上，一种是yarn-client客户端模式，一种是yarn-cluster模式。两种模式有一定的不同点。 一、Application Master   为了更好的理解这两种模式的区别先...

yarnapache sparkutmdeploy
spark
前天 17:27
23
0
原
spark yarn 设置了spark.yarn.archive，还是会重新上传

[main] [INFO] [2021-04-13 15:32:59] Uploading resource hdfs://udp02:8020/user/zzm/spark-lib/arpack_combined_all-0.1.jar -> hdfs://cluster1/user/hadoop/.sparkStaging/application_...

apache sparkhdfsyarn
网关
04/13 18:45
40
0
原
spark yarn 提交任务 获取的是本地的机器名称

参考文章： https://www.cnblogs.com/fbiswt/p/4667956.html 1、客户端安装的机器一般是虚拟机，虚拟机的名称可能是随便搞的，然而，yarn-client模式提交任务，是默认把本机当成driver的。所...

apache sparkyarnspark-java
spark
04/13 17:20
30
0
Hadoop和Spark设置用户访问hdfs

简单记录一下，以备不时之需： 1.对于hadoop而言 如果hadoop没有启Kerberos或者从Kerberos获取的用户为null，那么获取HADOOP_USER_NAME环境变量，并将它的值作为Hadoop执行用户。如果我们没有...

apache sparkhdfskerberoshadoop
spark
04/13 10:29
21
0
spark on yarn，Application application failed 2 times due to AM Container for app解决方法

client token: N/A diagnostics: Application application_1543827900491_0008 failed 2 times due to AM Container for appattempt_1543827900491_0008_000002 exited with exitCode: 1 For...

apache sparkyarn
spark
04/12 18:49
47
0
利用HDFS来解决Spark On Yarn模式解决Jar乱飞情况

Spark的jar包比较多，如果直接修改spark的jars目录中的jar可能对用户造成jar包冲突，也不利于管理，因为可以利用HDFS存储功能解决jar问题 1、在本地创建zip文件，压缩jar包 # 进入到spark的j...

apache sparkhdfshadoopyarn
spark
04/12 18:43
33
0
原
spark yarn 提交任务 异常

Exception in thread "main" java.lang.IllegalStateException: Library directory 'C:\eclipse-workspace\SparkDemo\assembly\target\scala-2.11\jars' does not exist; make sure Spark is...

apache sparkyarneclipse
spark
04/12 18:14
36
0
原
spark yarn 提交异常

Exception in thread "main" java.lang.NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig at org.apache.hadoop.yarn.client.api.TimelineClient.createTimelineClient...

jerseyapache sparkyarn
spark
04/12 18:08
29
0
Missing artifact jdk.tools:jdk.tools:jar:1.6

问题： Missing artifact jdk.tools:jdk.tools:jar:1.6 Missing artifact jdk.tools:jdk.tools:jar:1.7 <!-- 解决Maven工程中报 Missing artifact jdk.tools:jdk.tools: --> <dependency> <...

javajdkmaven
异常
04/12 17:48
26
0
原
Exception in thread "main" org.apache.spark.SparkException: Could not parse Master URL: 'yarn'

Exception in thread "main" org.apache.spark.SparkException: Could not parse Master URL: 'yarn' https://stackoverflow.com/questions/41054700/could-not-parse-master-url 缺少jar包：...

apacheapache sparkyarn
spark
04/12 17:42
21
0
原
在Eclipse上运行Spark(Standalone,Yarn-Client)

原文链接：http://www.cnblogs.com/zdfjf/p/5175566.html 我们知道有eclipse的Hadoop插件，能够在eclipse上操作hdfs上的文件和新建mapreduce程序，以及以Run On Hadoop方式运行程序。那么我们...

apachejavahadoophdfs
spark
04/12 17:05
15
0
Spark中yarn模式两种提交任务方式（yarn-client与yarn-cluster）

Spark可以和Yarn整合，将Application提交到Yarn上运行，和StandAlone提交模式一样，Yarn也有两种提交任务的方式。 1.yarn-client提交任务方式 配置 在client节点配置中spark-env.sh添加Hadoo...

yarn
spark
04/12 16:33
25
0
配置spark sql查询hive

配置idea spark sql连接hive 1.首先将/etc/hive/conf/的hive-site.xml复制到项目的resources下 2.添加maven依赖到pom.xml文件，不仅需要添加spark-sql，还需要添加spark-hive，spark版本2.2...

apachehiveapache spark
spark
04/09 17:39
35
0

没有更多内容

加载失败，请刷新页面

删除文章

文章删除后无法恢复，确定删除此文章吗？

取消
确定
删除动弹

动弹删除后，数据将无法恢复

取消
确定
删除一条评论

评论删除后，数据将无法恢复

取消
确定
返回顶部
顶部