常用存储相关技术组件 HDFS、Kafka、HBase、ElasticSearch 常用计算相关技术组件 MapReduce、Spark、Flink 新老OLAP生态技术组件 Hive、ClickHouse 集群资源管理调度组件 YARN、Spark stand...

网卡信息的配置 版本信息 VMware-workstation-14 CentOS Linux release 7.5.1804 (Core) windos网卡配置 vm的配置 配置ifcfg-ens33 TYPE=Ethernet PROXY_METHOD=none BROWSER_ONLY=no BOOTP...

常见的安全问题 钓鱼 伪造页面，骗取用户个人信息 篡改 攻破系统，篡改页面内容 暗链 攻破系统，在原网页植入隐藏链接，一般用于提升这些隐藏链接的排名目的（爬虫机器人） webshell 攻破后，...

创建节点 create(suxun:Person_{name:"苏洵",age:80,sex:"男"}) create(sushi:Person_{name:"苏轼",age:53,sex:"男"}) create(suzhe:Person_{name:"苏辙",age:51,sex:"男"}) create(suxiaome...

删除关系 match (n)-[r:created]-() detach delete r 查看节点 MATCH (e: Employee) RETURN e 统计数量标签总数 MATCH (e: interface) RETURN COUNT(e) 节点总数： match (n) return count(n...

异常一： 21/06/10 14:03:19 WARN scheduler.TaskSetManager: Lost task 1.0 in stage 1.0 (TID 2, 192.168.3.211, executor 1): java.lang.ClassCastException: cannot assign instance of ...

join方式 1、join 1 personDataFrame.join(orderDataFrame, personDataFrame("id_person") === orderDataFrame("id_person")).show() 2、join 2 df.join(df2, Seq("course","course"),"left_...

val spark = SparkSession .builder .appName("VectorAssemblerExample") .getOrCreate() // $example on$ val dataset = spark.createDataFrame( Seq((0, 18, 1.0, Vectors.dense(0.0, 10.0...

合并特征 trainData, testData = data.randomSplit([0.8, 0.2]) featuresArray = data.columns[:-1] assembler = VectorAssembler().setInputCols(featuresArray).setOutputCol("features") ...

首先构造数据 import scala.util.Random.{setSeed, nextDouble} setSeed(1) //创建对象 case class Record(foo: Double, target: Double, x1: Double, x2: Double, x3: Double) //生成10条记...

读取文件 val txt = spark.read.text("D:\\tmp\\log.txt") 拆分字符串 val dfSplit:DataFrame = txt.withColumn("split", split(col("value"), "\t")).select( $"split".getItem(0).as("tra...

基于Spark的FPGrowth（关联规则算法） 关联规则 关联规则：用于表示数据内隐含的关联性，例如：购买尿布的人往往会购买啤酒。 支持度（support） 支持度：{X, Y}同时出现的概率，例如：{尿布...

检测分类 1）误用检测 误用检测主要是根据已知的攻击特征直接检测入侵行为。首先对异常信息源建模分析提取特征向量，根据特征设计针对性的特征检测算法，若新数据样本检测出相应的特征值，则...