下载Hugging Face模型的时候无论是使用文件下载的方式还是git方式都会因为网络原因遇到一些问题，下载速度慢、中途断开等等。下面分享一个专门下载模型的python脚本，有失败重试，总体来说非...

前言 本文将通过ElasticSearch（简称ES）倒排索引的特性实现基于标签的兴趣推荐 前提 操作系统：ubuntu 20.04 Docker version 19.03.8 ElasticSearch 7.X 用到的工具 Curl工具，推荐Insomni...

一、远程服务端（shadowsocks服务） 远端服务服务器安装shadowsocks服务端，建议使用docker方式。 安装docker环境： curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun 安...

百分位数（percentile）的详细定义见百度百科。 在这里我用一个通俗的例子来补充解释， 例如今年有900万人参加了高考，自然有900万个成绩，某个学校计划择优招生分数最高的前900个，那么分数...

Nodejs下的IO操作都是异步的，有时候异步请求返回太慢，不想无限等待回调怎么办呢？我们可以给回调函数加一个超时限制，到一定时间还没有回调就表示失败，继续后面的步骤。 方案1：用async的...

微信小程序开发工具是用nw.js实现的，这玩意本来就可以跨平台的。搞不懂为什么微信只出了windows和mac版。今天我捣腾了一下，可以在linux下开发微信小程序了。以ubuntu为例： 首先要安装nwj...

微信小程序服务端使用websocket方式。socket.io已作为nodejs体系中被广泛应用的websocket解决方案，却因socket.io对websocket做了高级封装，不能兼容微信小程序所采用的websocket标准协议无法...

SparkSQL默认不支持hbase数据源, 可以通过自定义外部数据源(External DataSource)的方式来访问hbase. 本文在http://lxw1234.com/archives/2015/07/332.htm的代码基础上作少许改进....

Spark应用中经常会遇到这样一个需求: 需要将JAVA对象序列化并存储到HDFS, 尤其是利用MLlib计算出来的一些模型, 存储到hdfs以便模型可以反复利用. 下面的例子演示了Spark环境下从Hbase读取数据...

实例说明shell 中一些常见的日志统计方法: 查找, 抽取, 统计, 排重统计, 最大值/最小值/平均值统计, 分组统计.

允许google，baidu等正规爬虫，拒绝那些无节操扒数据的山寨爬虫。本文将探讨如何给网站加入优雅的实时反爬虫策略。

nodejs实现TCP反向代理的两种方式。

使用node-static、request、dns模块实现一个类似于nginx的反向代理

GIT很强大，网上有很多教程都能把人吓怕，其实常用的命令也就几个，入门需要循序渐进，我们按照一个项目的开发周期来展示git的应用，如果你有svn的基础将更容易理解。

举例有如下数据。 数据/维度 timing score boost Sorting A 1 2 3 ? B 1 3 2 ? C 2 3 1 ? D 3 2 1 ? E 3 1 9 ? F 100 100 100 ? 要将以上数据A,B,C,D,E,F进行排序，并满足（类似 mysql）”o...

shorturl实现常见的做法都是将原始Url存储到数据库，由数据库返回一个对应ID。 以下要实现的是不用数据库支持就对原始URL进行shorturl hash。说到这里我们很容易想到MD5，固定长度，冲突概率...

FastDFS非常适合存储大量的小文件，遗憾的是本身不支持自定义文件名，文件名是存储成功以后根据存储位置生成的一个file_id。很多应用场景不得不使用自定义文件名，在不修改其源码的情况下，可...

Deluge 是一个功能齐全的跨平台BitTorrent 客户端软件，可在Linux, OS X, Unix和Windows操作系统下工作。deluge-web则是它的web管理界面，你可以使用linux服务器来为你下载BT了，下载任务可以...

简单的日志统计是不需要使用重量级的Hadoop，我用python实现了日志的统计。原理是用fabric登录到远程linux，组合使用grep、uniq、sort、awk对日志进行操作，可以根据正则表达式指定规则抽取符...

用maven开发项目，想直接使用jar包，可以将jar包添加到你本机的仓库，和使用其他组件一样使用它。 命令： mvn install:install-file -DgroupId=org.ansj -DartifactId=ansj -Dversion=0.1 -D...