课程标准 简述数学在义务教学中的地位和作用 地位： 儿童应学好数学 德智体美 四有公民 作用： 基础和工具 工具学科 新大纲 确定数学课程内容依据 符合学生认知规律和数学的特点 重视数学过程...

https://yq.aliyun.com/articles/614709 https://www.shiyanlou.com/courses/944/learning/?id=3558 https://repo1.maven.org/maven2/org/apache/spark/ http://dblab.xmu.edu.cn/blog/spark...

问题 安装epel源rpm -iUvh http://dl.Fedoraproject.org/pub/epel/7/x86_64/e/epel-release-7-5.noarch.rpm 后，执行yum install ansible报错 One of the configured repositories failed (U...

监督学习 训练集包含正确的结果，有回归和分类算法 回归：已知若干面积和售价的数据集，预测指定面积房价 分类：已知肿瘤的大小对应良性/恶性的数据集，预测指定肿瘤的性质 无监督学习 只给出...

环境安装 python3.7 scrapy 爬虫开发 注意: scrapy开发使用普通windows的cmd进入或者git bash都可以，编辑完爬虫逻辑后 使用scrapy命令来运行 添加项目文件 scrapy startproject tutorial 在...

构建机器学习工作流 目的 查找出所有包含”spark”的句子，即将包含”spark”的句子的标签设为1，没有”spark”的句子的标签设为0 基本流程 构建训练数据集 定义 Pipeline 中的各个工作流阶段...

分隔符(;) 以下两个分号 结束case分支 . 等价于source bash sh命令，都可以执行sh文件 表示优先执行 cpmkdir back` hello.sh back : 冒号表示什么都不做 或者true #!/bin/bash while : do e...

问题说明 spark中运行项目有两种方式 在spark-shell中导入依赖，编写代码，执行 和在idea中写好应用，使用spark-submit方式提交到spark运行 在使用idea开发spark应用时，引入依赖总是失败，原...

监听文件流 创建文件 在log1.txt输入 A终端打开spark-shell,输入命令 此时监听端已打开 A终端创建新文件log2.txt I love Hadoop I love Spark Spark is slow A结果显示： spark监听套接字流 ...

spark-shell读取文件创建DataFrame parquet文件转换DataFrame DataFrame保存成parquet文件 spark通过JDBC连接mysql 复制mysql驱动到spark目录 mysql建表 mysql> create database spark; mysq...

现象 在开发、测试环境下载图片功能正常，在生产环境下下载出来图片不完整 解决办法 释放内存 磁盘空间 无法解决 可用内存对比 检查前端路径 重新发布前端代码 将生产所用分支 发布到开发环境...

环境 spark: 2.4.3 hbase: 1.1.5 步骤 启动hadoop-3.1.2,hbase2.2.0 把HBase的lib目录下的一些jar文件拷贝到Spark中，这些都是编程时需要引入的jar包，需要拷贝的jar文件包括：所有hbase开头...

文件准备 centOS下安装wget命令 yum -y install wget wget http://labfile.oss.aliyuncs.com/courses/832/weblog_entries.txt hdfs和本地文件相互复制（hadoop shell命令） 1、 在 HDFS 中创...

环境准备 Java JDK 1.8 hadoop3.1.2 spark2.4.3 cd /home/hadoop sudo chown -R hadoop:hadoop ./spark-2.4.3 cp ./conf/spark-env.sh.template ./conf/spark-env.sh 在spark-env.sh加入最后...

环境 hadoop3.1.2 centOS 7 mysql 5.1.32 安装 下载并解压到/home/hadoop，避免没有权限创建metastore_db文件 配置hive环境变量 修改配置文件 进入hive/conf mv hive-default.xml.template ...

hbase架构 环境准备 安装jdk1.8，配置/etc/profile下JAVA_HOME环境变量 安装并启动伪分布式模式hadoop,版本为hadoop-3.1.2，安装到/opt/hadoop-3.1.2目录，启动hdfs,mapreduce,yarn组件 安装...

线性结构 数组 链表 树 二分查找 用数组表示 二叉树 二叉树可以用链表表示 二叉树的遍历分递归和非递归方式； 递归分为前序遍历、中序遍历和后序遍历； 非递归可以使用堆栈方式和队列方式实现...

环境准备 安装JDK1.8，配置JAVA_HOME 下载hadoop_3.1.2，配置HADOOP_HOME 配置HDFS 修改hadoop-env.cmd 增加 set HADOOP_PREFIX=%HADOOP_HOME% set HADOOP_CONF_DIR=%HADOOP_PREFIX%\etc\ha...

ENVIRONMENT PREPARING standalone installation 配置环境变量 打开/etc/profile 加上 export HADOOP_HOME=/opt/hadoop-3.1.2 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin source...

Maven Resources Plugin Specifying resource directories <resources> <resource> <directory>resource1</directory> </resource> <resource> <directory>resource2</directory......