(2017)新版爱站关键词采集Python脚本
(2017)新版爱站关键词采集Python脚本
wsdingzi17 发表于5个月前
(2017)新版爱站关键词采集Python脚本
  • 发表于 5个月前
  • 阅读 7
  • 收藏 0
  • 点赞 0
  • 评论 0

标题:腾讯云 新注册用户域名抢购1元起>>>   

爱站(aizhan)进入2017年经历了一次大改版,此前的采集脚本无法获取数据了,现在重新更新针对2017年新版爱站关键词采集工具。
python环境:python3.5

'''
@ 2017新版爱站采集
@ laoding
'''
import requests
from bs4 import BeautifulSoup
import csv

def getHtml(url):
    try:
        # 替换成自己的agent
        headers = {
            "Use-Agent":""
        }
        r = requests.get(url,headers=headers)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""

def writeToCsv(filepath,sj):
    with open(filepath,"a+",newline="") as f:
        f_csv = csv.writer(f)
        f_csv.writerow(tuple(sj))

def getSJ(url,filepath):
    html = getHtml(url)
    soup = BeautifulSoup(html,"html.parser")
    ls = soup.select("body > div.baidurank-wrap > div.tabs-content > div.baidurank-list > table > tbody")[0].find_all("tr")
    n = len(ls)
    for m in range(0,n):
        tr = ls[m]
        keyword = tr.find_all(class_="title")[0].get_text().strip()
        sj =[ele.get_text().strip() for ele in tr.find_all(class_="center")]
        sj.insert(0, keyword)
        writeToCsv(filepath,sj)
        print("%s done" %m)

def main():
    filepath = "F:/test.csv" # 替换成自己的导出结果的文件路径
    for n in range(1,51): 
        url = "http://baidurank.aizhan.com/baidu/xxx.com/-1/0/{}/".format(n) # xxx.com 替换成查询的地址
        getSJ(url,filepath)
        print("%s finish" %n)

if __name__ == '__main__':
    main()

结果如下:

标签: SEO Python
共有 人打赏支持
粉丝 0
博文 1
码字总数 243
×
wsdingzi17
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: