信息收集之后_es日志收集

信息收集之后_es日志收集一.摘要Censys提供了search、view、report、query、export以及data六种API接口。search接口的请求地址是https://www.censys.io/api/

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺

一.摘要

Censys提供了search、view、report、query、export以及data六种API接口。

search接口的请求地址是https://www.censys.io/api/v1/search/?,其中?的地方可以是ipv4、websites或者certificates,分别代表搜索ipv4主机、网站和证书。我们的POST请求应该是一组包含query、page、fields的json数据,其中query指的是相应的搜索语句;page代表返回的页码,Censys总是返回一页的数据;fields指的是你希望返回值中包含哪些字段,具体包含哪些字段你可以自己去看一下。

 

JSON有两种结构:
  对象在js中表示为“{}”括起来的内容,数据结构为 {key:value,key:value,…}的键值对的结构
  数组在js中是中括号“[]”括起来的内容,数据结构为 [“java”,”javascript”,”vb”,…]

信息收集之后_es日志收集

二.利用代码

# -*- coding: UTF-8 -*-
#https://www.censys.io/api/v1/search/ipv4
#post:{"query": "keyword", "page": 1, "fields": ["ip", "protocols", "location.country"]}
#query指的是相应的搜索语句;page代表返回的页码;fields指的是你希望返回值中包含哪些字段
import sys
import json
import requests
import time

API_URL = "https://www.censys.io/api/v1"
UID = "85e64536-7534-4177-8c72-9a383bf01f12"
SECRET = "9hCyul4KXJKXieyXeGIFT0lr04rbN9yQ"
page=1
PAGES=2
    
def getIp(page):
    iplist=[]
    data = {
                "query":"keyword", 
                "page":page, 
                "fields":["ip","protocols","location.country"]
            }        
    try:
        res = requests.post(API_URL + "/search/ipv4", data=json.dumps(data), auth=(UID, SECRET))
    except:
        pass
    try:
        results = res.json()
    except:
        pass
    if res.status_code != 200:
        print "error occurred: %s" % results["error"]
        sys.exit(1)
    #print "Total_count:%s" % (results["metadata"]["count"])
    iplist.append("Total_count:%s" % (results["metadata"]["count"]))
    for result in results["results"]:
        #print "%s in %s" % (result["ip"],result["location.country"][0])
        #iplist.append((result["ip"]+':'+i+' in '+result["location.country"][0]))
        for i in result["protocols"]:
            iplist.append(result["ip"]+':'+i+' in '+result["location.country"][0])    
    return iplist
    
if __name__ == '__main__':
    print "start..."
    with open('censys.txt','a') as f:
        while page <= PAGES:
            iplist=(getIp(page))
            print 'page is:'+str(page)
            page += 1
            time.sleep(1)
            for i in iplist:
                f.write(i+'\n')

    
    

首先request请求,post提交data和auth信息,返回json数据包,利用json数据结构找的所需信息,保存并返回一个列表。
主函数判断page大小,不够就调用getIp函数,最后循环写入结果。

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/166464.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • win10文件访问被拒绝_windows10已拒绝远程连接

    win10文件访问被拒绝_windows10已拒绝远程连接尝试以下方法:1)开启|关闭防火墙(这里需要关闭)sudoufwenable|disable2)开启远程服务在终端界面输入:servicesshdstart。结果显示:ssh:unrecognizedservice。输入查看命令:servicesshstatus显示也是unrecognizedservice。开启远程服务:终端界…

  • 初识lldp协议

    初识lldp协议1、背景:问题:CDN的场景下,同组cache机器规划不规范,额外产生级联带宽,造成级联带宽跑满,导致丢包和速度变慢;愿景:1、平台支持扫描cache机在网络中的物理位置信息,作为cache机规划的依据,避免产生级联带宽;2、支持出口带宽和级联带宽的报警,当出现出口带宽大于级联带宽时,能报警提醒。当前,交换机使用两层交换机堆叠,外网核心下接外网

  • jvm调优工具介绍

    jvm调优工具介绍jvm实战调优

  • RedHat Linux 挂载U盘

    RedHat Linux 挂载U盘先确定u盘的位置把u盘插到电脑的usb接口上fdisk-l观察命令运行的结果,看有没有与u盘容量相符的东西如果有,再寻找与/dev/sd*(*代表a,b,c…..)相类似的东西,如果是找到/dev/sdb创建挂载位置mkdir/mnt/usb一般挂载在/mnt文件夹之下mnt文件夹主要存放光盘,软盘等移动存储介质挂载mount-tvfat/dev/sdb1/mnt/usb参数-t

  • kali安装步骤

    kali安装步骤kali镜像下载地址:http://mirrors.ustc.edu.cn/kali-images/1.    新建虚拟机 -选择自定义选择虚拟机硬件兼容性(默认我的是12.0)选择下一步选择稍后安装操作系统-下一步选择linux内核3.x 64位-下一步修改虚拟机名称为kali2.0   路径为我自己在G创建的kali文件夹处理器 1核我本机物理内存不大够了所以设置512M-…

  • android studio简历Assets文件夹

    android studio简历Assets文件夹

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号