连击 天
fork: star:
常用存储相关技术组件 HDFS、Kafka、HBase、ElasticSearch 常用计算相关技术组件 MapReduce、Spark、Flink 新老OLAP生态技术组件 Hive、ClickHouse 集群资源管理调度组件 YARN、Spark stand...
网卡信息的配置 版本信息 VMware-workstation-14 CentOS Linux release 7.5.1804 (Core) windos网卡配置 vm的配置 配置ifcfg-ens33 TYPE=Ethernet PROXY_METHOD=none BROWSER_ONLY=no BOOTP...
常见的安全问题 钓鱼 伪造页面,骗取用户个人信息 篡改 攻破系统,篡改页面内容 暗链 攻破系统,在原网页植入隐藏链接,一般用于提升这些隐藏链接的排名目的(爬虫机器人) webshell 攻破后,...
创建节点 create(suxun:Person_{name:"苏洵",age:80,sex:"男"}) create(sushi:Person_{name:"苏轼",age:53,sex:"男"}) create(suzhe:Person_{name:"苏辙",age:51,sex:"男"}) create(suxiaome...
join方式 1、join 1 personDataFrame.join(orderDataFrame, personDataFrame("id_person") === orderDataFrame("id_person")).show() 2、join 2 df.join(df2, Seq("course","course"),"left_...
val spark = SparkSession .builder .appName("VectorAssemblerExample") .getOrCreate() // $example on$ val dataset = spark.createDataFrame( Seq((0, 18, 1.0, Vectors.dense(0.0, 10.0...
合并特征 trainData, testData = data.randomSplit([0.8, 0.2]) featuresArray = data.columns[:-1] assembler = VectorAssembler().setInputCols(featuresArray).setOutputCol("features") ...
首先构造数据 import scala.util.Random.{setSeed, nextDouble} setSeed(1) //创建对象 case class Record(foo: Double, target: Double, x1: Double, x2: Double, x3: Double) //生成10条记...
读取文件 val txt = spark.read.text("D:\\tmp\\log.txt") 拆分字符串 val dfSplit:DataFrame = txt.withColumn("split", split(col("value"), "\t")).select( $"split".getItem(0).as("tra...
没有更多内容
加载失败,请刷新页面
文章删除后无法恢复,确定删除此文章吗?
动弹删除后,数据将无法恢复
评论删除后,数据将无法恢复