加载中
调查了一个星期的bug,竟然只是配置文件少了几个字母。反复查看也没发现。

惭愧啊惭愧。昼夜加班研究原理,反复猜想方法的调用逻辑。竟然只是一个浅显的错误。自己看N多遍配置文件也没发现问题。 谨以此篇博文告诫自己,有bug一定要细心排查。

01/20 17:22
176
深夜踩坑记录

本次问题在于本地疏通登录业务。 1.代码使用了request.getHeader("X-Requested-With")。 这需要在postman的Headers的key加入X-Requested-With,值为 XMLHttpRequest。模拟浏览器访问 2.使用r...

01/17 02:57
127
postgre的连接问题

postgre数据库如果连接mybatis,需要使用org.postgresql:postgresql:9.4.1212.jre7驱动。如果使用jdbc,会报jdbc4不支持连接方式的错误...

npm的connect ETIMEDOUT 104.16.22.35:443

安装node以后,觉得npm虽然下载慢一点,但是还能接受,就没有安装cnpm。直达自己从github clone了几个开源程序,发现npm install失败了。报错npm ERR! code ETIMEDOUT npm ERR! errno ETIMED...

01/05 15:52
2.1W
Node的一个问题

/usr/bin/env:node No such file or directory 为node增加链接 sudo ln -s /usr/bin/nodejs /usr/bin/node...

01/02 22:38
45
idea使用lombok的注意点

1.先下载lombok插件 2.开启Enable annotation processing 3.gradle引入lombok annotationProcessor 'org.projectlombok:lombok:1.18.8' compileOnly 'org.projectlombok:lombok:1.18.8' test...

xml无法读取properties的值

xml里的定义 <bean id="xxxx" class="org.apache.commons.dbcp2.BasicDataSource" destroy-method="close"> <property name="driverClassName" value="org.postgresql.Driver" /> <property...

java设置代理

公司的网络在访问Azure和AWS时,需要设置代理。 System.setProperty("https.proxyHost", "192.168.***.***"); System.setProperty("https.proxyPort", "8080");......

2019/11/07 11:05
18
备份数据的分布式历程

N多个数据库,每个库N个表。每个表每月插入上亿的数据。而数据库选用的是MySql,不适合这么大数据量的存储。这就需要数据的备份和删除。优化检索速度。 设计思路: 1.把每个表的备份删除逻辑...

2019/10/11 16:46
81
AWS的Https请求和负载均衡器,以及本地web开发环境搭建

需要在AWS上发送Https请求,从AWS官网看了看资料,发现必须还要搭建AWS的负载均衡器。不太明白原因。然后查了查Https的资料,发现有介绍通过搭建Negix结合Https使用的。 先放官网文档:与 AW...

2019/09/04 18:34
59
Spark在AWS集群上的优化

业务场景:从S3中读取大量小的Avro文件,进行简单处理,转换成parquet文件。 问题点:从S3读取文件,其实是一个文件一个请求发送到S3。并行度低。(当然S3也有并行设置,但是Spark集群每次处理...

2019/09/02 17:40
287
Azure和AWS的spark默认模式

Azure平台的spark默认是cluster模式。 AWS平台的spark默认是client模式。如果要改为cluster模式。方法1:建立集群的时候就修改为cluster。 方法2:加入参数"spark.submit.deployMode" : "cl...

2019/08/29 11:32
142
多线程清空下,尽量不要用静态变量和属性。

多线程场景下,静态变量极有可能变成共享的变量。从数据库的多个表中读取数据,定义了一个静态的id变量,结果共享了。不同表跳跃读取数据了。

2019/07/23 09:44
25
mysql数据库的copy

select insert 组合语句 使用SELECT INTO 和 INSERT INTO SELECT 表复制语句了。   1.INSERT INTO SELECT语句   语句形式为:Insert into Table2(field1,field2,...) select value1,val...

2019/06/20 15:15
1
Linux下的查看内存

1、top 可以查看很多内容 2、grep MemTotal /proc/meminfo # 查看内存总量 grep MemFree /proc/meminfo # 查看空闲内存量 https://blog.csdn.net/zhangliao613/article/details/79021606(转...

2019/06/20 15:14
220
mysql的一些操作

1、show processlist; 显示哪些线程正在运行https://www.cnblogs.com/wayne173/p/8079503.html(转载链接) 2、show variables like '%max_connections%'; 查看最大连接数 3、show global s...

2019/06/19 11:02
13
数据太大,一个map装不下

java.lang.OutOfMemoryError。这是一个继承VirtualMachineError类的Error。而VirtualMachineError又继承了Error。Error又继承Throwable。归根结底,OutOfMemoryError是一个Error,并且Error...

2019/06/19 10:51
201
联合索引

MySQL的复合索引遵循了最左前缀原则,当建立索引(index_A,index_B,index_C)时: 使用索引有效的字段为:'index_A’,'index_A,index_C’,'index_A,index_B’,'index_A,index_B,index_C’...

2019/05/28 16:00
424
大数据量插入Mysql的爬坑经历

性能测试阶段,预先插入一批数据到Mysql中。并分为三个阶段。 第一阶段:向Mysql的三张表里,插入有关联关系的18万+18 * 3万+18 * 4万的数据。 第二阶段:插入第一阶段数据量5倍的数据,即90万...

2019/05/22 17:27
45
大数据核心知识

#Spark和Hadoop的区别 #Spark任务提交过程。Hadoop任务提交过程。 #Zookeeper是什么。以及在hadoop中的作用。Kafka和HBase中的作用 #JS的作用:精简代码 #关系型和非关系型数据库的区别 #Hiv...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部