文档章节

go语言实现爬虫采集联想词

黄哥Python培训
 黄哥Python培训
发布于 2015/02/28 21:49
字数 248
阅读 700
收藏 7

/****************************************************

go语言实现爬虫_联想词 咨询:qq:1465376564

黄哥python培训班所写

python北京周末培训班

https://github.com/pythonpeixun/article/blob/master/beijing_weekend.md

python

上海周末培训班

https://github.com/pythonpeixun/article/blob/master/shanghai_weekend.md


*****************************************************/


package main


import (

"fmt"

"io/ioutil"

"net/http"

"regexp"

)


//定义新的数据类型

type Spider struct {

url    string

header map[string]string

}


//定义 Spider的方法

func (keyword Spider) get_html_header() string {


client := &http.Client{}


req, err := http.NewRequest("GET", keyword.url, nil)

if err != nil {

}


for key, value := range keyword.header {


req.Header.Add(key, value)

}


resp, err := client.Do(req)

if err != nil {

}

defer resp.Body.Close()

body, err := ioutil.ReadAll(resp.Body)

if err != nil {

}

return string(body)


}


func main() {

header := map[string]string{"Host": "sug.so.360.cn",

"Referer":    "http://www.so.com/",

"DNT":        "1",

"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36",

"Cookie":     "__huid=104rl%2B0HjG2YltBarbPPIz2w7HTbLrv43gETLeVtBdIEI%3D",

}

keyword := "科技"

url := "http://sug.so.360.cn/suggest?callback=suggest_so&encodein=utf-8&encodeout=utf-8&format=json&fields=word,obdata&word=" + keyword


spider := &Spider{url, header}


html := spider.get_html_header()

rp1 := regexp.MustCompile("{(.*?)}")

find_txt := rp1.FindAllString(html, -1)

fmt.Println(find_txt)

}


© 著作权归作者所有

共有 人打赏支持
黄哥Python培训
粉丝 39
博文 21
码字总数 14219
作品 0
海淀
私信 提问
python3简单爬虫实现代码

分享一个python实现的网络爬虫代码。转自:http://www.cnblogs.com/yes123/p/3761388.html 写了个python3的。代码非常简单就不解释了,直接贴代码。 #test rdp import urllib.request import...

mysoftsky
2014/05/30
191
0
刷下拉框优化软件

【项目背景】 一个新兴网站中需要完成模拟搜索功能。模拟搜索功能会单独部署在一台服务器上,使用自己的框架,独立存在于网站中,配合整个网站实现模拟搜素功能。 【需求情况说明】 1、模拟中...

zb1495086739249
2017/05/24
1
0
Python数据科学(五)- 数据处理和数据采集

传送门: Python数据科学(一)- python与数据科学应用(Ⅰ) Python数据科学(二)- python与数据科学应用(Ⅱ) Python数据科学(三)- python与数据科学应用(Ⅲ) Python数据科学(四)- 数据收...

_知几
2017/11/14
0
0
做了两年多的一个项目,第一次邀请测试,希望对您有用

之前没想过把他做成产品只是按照自己的实际需求做,断断续续用业余时间做了快两年,为了完成这个项目在去年12月断然离职到现在全职做了4个月, 现在总算是可以晒出来给大家用用了。 他是一款...

sohoer
2013/04/09
169
0
chinese-poetry:最懂唐诗宋词的数据库

题图:by click_vision from Instagram.jpg 世间最美的风景,是山水草木,是诗酒琴茶。清凉夏日,每日闲居梅庄,摘花煮茗,杯盏里,亦是满满的宋唐。 宋词之美,美在清理淡雅,婉约多情。唐诗...

猴哥Yuri
03/24
0
0

没有更多内容

加载失败,请刷新页面

加载更多

vue-cli 3 分环境打包

在vue-cli3的项目中, npm run serve时会把process.env.NODE_ENV设置为‘development’; npm run build 时会把process.env.NODE_ENV设置为‘production’; 此时只要根据process.env.NODE_...

灰白发
16分钟前
1
0
集合初始化,泛型及相关操作

集合初始化通常进行分配容量,设置特定参数等相关工作,推荐在任何情况下,都需要显式地设定集合容量的初始大小。 ArrayList 使用无参构造时,默认大小为 10 ,也就是说在第一次add的时候,分...

Canaan_
25分钟前
1
0
Sping之项目中pofile的应用

工程中,我们必须要面对的一件事就是, 开发环境中使用的数据库连接地址等与生产上的不同, 如果上线, 那么我们是否还要手动修改这些地址么, 这样做有很多弊端, 不方便, 这时我们就可以使用spr...

克虏伯
32分钟前
0
0
Linux中安装MySQL

Linux中安装MySQL 一、准备工作 此处准备的操作系统位CentOS 7。 MySQL安装包: MySQL-server-5.6.29-1.linux_glibc2.5.x86_64.rpm MySQL-client-5.6.29-1.linux_glibc2.5.x86_64.rpm 将准备......

星汉
37分钟前
1
0
深入理解Hadoop之HDFS架构

Hadoop分布式文件系统(HDFS)是一种分布式文件系统。它与现有的分布式文件系统有许多相似之处。但是,与其他分布式文件系统的差异是值得我们注意的: HDFS具有高度容错能力,旨在部署在低成...

架构师springboot
41分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部