加载中
大数据生态圈-1

常用存储相关技术组件 HDFS、Kafka、HBase、ElasticSearch 常用计算相关技术组件 MapReduce、Spark、Flink 新老OLAP生态技术组件 Hive、ClickHouse 集群资源管理调度组件 YARN、Spark stand...

vm14 CentOS7.5 网卡配置 ifcfg-ens33

网卡信息的配置 版本信息 VMware-workstation-14 CentOS Linux release 7.5.1804 (Core) windos网卡配置 vm的配置 配置ifcfg-ens33 TYPE=Ethernet PROXY_METHOD=none BROWSER_ONLY=no BOOTP...

2021/09/14 10:17
183
web安全学习-常见安全事件

常见的安全问题 钓鱼 伪造页面,骗取用户个人信息 篡改 攻破系统,篡改页面内容 暗链 攻破系统,在原网页植入隐藏链接,一般用于提升这些隐藏链接的排名目的(爬虫机器人) webshell 攻破后,...

2021/08/23 15:03
96
neo4j-community-4.0.11 添加数据

创建节点 create(suxun:Person_{name:"苏洵",age:80,sex:"男"}) create(sushi:Person_{name:"苏轼",age:53,sex:"男"}) create(suzhe:Person_{name:"苏辙",age:51,sex:"男"}) create(suxiaome...

2021/07/07 17:01
61
neo4j-community-4.0.11 常用命令

删除关系 match (n)-[r:created]-() detach delete r 查看节点 MATCH (e: Employee) RETURN e 统计数量标签总数 MATCH (e: interface) RETURN COUNT(e) 节点总数: match (n) return count(n...

2021/07/05 10:47
240
spark2.2 AnalysisException: Undefined function: 'checkParamsLegal

异常一: 21/06/10 14:03:19 WARN scheduler.TaskSetManager: Lost task 1.0 in stage 1.0 (TID 2, 192.168.3.211, executor 1): java.lang.ClassCastException: cannot assign instance of ...

2021/06/10 14:22
101
Spark2.2.0 MLlib dataframe join

join方式 1、join 1 personDataFrame.join(orderDataFrame, personDataFrame("id_person") === orderDataFrame("id_person")).show() 2、join 2 df.join(df2, Seq("course","course"),"left_...

2021/06/07 15:20
43
Spark2.2.0 MLlib VectorAssemblerExample

val spark = SparkSession .builder .appName("VectorAssemblerExample") .getOrCreate() // $example on$ val dataset = spark.createDataFrame( Seq((0, 18, 1.0, Vectors.dense(0.0, 10.0...

2021/05/30 13:46
101
Spark2.2.0 MLlib RandomForestClassifier

合并特征 trainData, testData = data.randomSplit([0.8, 0.2]) featuresArray = data.columns[:-1] assembler = VectorAssembler().setInputCols(featuresArray).setOutputCol("features") ...

2021/05/28 19:55
255
Spark2.2.0 MLlib RDD 到 LabelPoint的转换

首先构造数据 import scala.util.Random.{setSeed, nextDouble} setSeed(1) //创建对象 case class Record(foo: Double, target: Double, x1: Double, x2: Double, x3: Double) //生成10条记...

spark2.2 拆分字符串

读取文件 val txt = spark.read.text("D:\\tmp\\log.txt") 拆分字符串 val dfSplit:DataFrame = txt.withColumn("split", split(col("value"), "\t")).select( $"split".getItem(0).as("tra...

2021/05/24 12:20
539
Spark2.2 机器学习库 关联规则

基于Spark的FPGrowth(关联规则算法) 关联规则 关联规则:用于表示数据内隐含的关联性,例如:购买尿布的人往往会购买啤酒。 支持度(support) 支持度:{X, Y}同时出现的概率,例如:{尿布...

2021/05/23 14:01
159
DDoS攻击流量检测方法

检测分类 1)误用检测 误用检测主要是根据已知的攻击特征直接检测入侵行为。首先对异常信息源建模分析提取特征向量,根据特征设计针对性的特征检测算法,若新数据样本检测出相应的特征值,则...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部