php 扫描url死链接 \033[31m ANSI Linux终端输出带颜色

php 扫描url死链接 \033[31m ANSI Linux终端输出带颜色

* 从Packagist上搜索需要的包

  https://packagist.org/

 

* 通过composer下载依赖包

composer require guzzlehttp/guzzle
composer require league/csv

  

* 使用composer自动加载器, 编写scan.php

<?php

// 1. 使用composer自动加载器
require ‘vendor/autoload.php’;

use GuzzleHttp\RequestOptions;

// 2. 实例Guzzle HTTP客户端
$client = new \GuzzleHttp\Client();

$options = [
    RequestOptions::TIMEOUT => 3,
    RequestOptions::DECODE_CONTENT => false,
    RequestOptions::HEADERS => [
        ‘User-Agent’ => ‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36’,
    ]
];

// 3. 打开迭代处理csv
// 或者传用户自定义命令行参数指定输入文件 $argv[1]
// $file = new SplFileObject(‘../data/t_video.csv’); /* $csvRow[4], $csvRow[5] */
$file = new SplFileObject(‘../data/urls.csv’);
$csv = \League\Csv\Reader::createFromFileObject($file);
foreach ($csv as $csvRow) {

    $url = $csvRow[0];
    echo ‘scanning ‘,$url,’… ‘;
    try {

        // 4. 发送http options请求
        $httpResponse = $client->request(‘GET’, $url, $options);

        // 5. 检查http相应的状态码
        $code = $httpResponse->getStatusCode();
        if ($code === 200) {

            echo “\033[32m[OK]\033[0m”,PHP_EOL;
        } else {

            throw new \Exception();
        }

    } catch (\Exception $e) {

        // 6. 把死链发给标准输出
        // echo $url.PHP_EOL;
        echo “\033[31m[ERROR]\033[0m “.$e->getMessage().PHP_EOL;
    }
}

  

* input csv:

../data/urls.csv

https://www.baidu.com
https://mail.qq.com/cgi-bin/frame_html?sid=CYcBjsDbOqznWhVO&r=375cccc57697ed7d00ae5d751663a71c
https://pan.baidu.com/disk/home?errno=0&errmsg=Auth%20Login%20Sucess&&bduss=&ssnerror=0&traceid=#/all?vmode=list&path=%2F05.php%2F25K%20PHP%E9%9D%A2%E8%AF%95%E8%A7%86%E9%A2%91%E6%95%99%E7%A8%8B
http://dict.youdao.com/w/eng/components/#keyfrom=dict2.index
http://php.net/manual/en/splfileobject.fwrite.php
https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=2&tn=baiduhome_pg&wd=ansi%20%E7%BB%88%E7%AB%AF%E9%A2%9C%E8%89%B2%20%5B%5C33&rsv_spt=1&oq=ansi%2520%25E7%25BB%2588%25E7%25AB%25AF%25E9%25A2%259C%25E8%2589%25B2&rsv_pq=8b17bd6e0027882b&rsv_t=fcf6oR2SbHi9Cpu2eThdv3AQvGwSDf7ecjv7QBvjXoZ3SMpBem3pdNzlNRNmuOW%2BEowe&rqlang=cn&rsv_enter=1&inputT=2640&rsv_sug3=68&rsv_sug2=0&rsv_sug4=3243
https://blog.csdn.net/SLASH_24/article/details/54846392
https://www.jb51.net/article/42358.htm
https://www.cnblogs.com/xudong-bupt/p/3721210.html
http://www.cnblogs.com/mingzhanghui/p/9314906.html
https://packagist.org/packages/maatwebsite/excel
https://www.phptherightway.com/#use_the_current_stable_version
https://doc.phpspider.org/methods.html
http://nosuchurl
http://deadurl

  

output:

 3[31m ANSI Linux终端输出带颜色">php 扫描url死链接3[31m ANSI Linux终端输出带颜色">

 

* 在Linux终端输出带颜色的文字的方法

  注意 echo “” 要用双引号, 单引号会原样输出 \033[32mxxx\033[0m
一、shell下的实现方法

只要设置输出属性,就可输出带颜色的文字 ,shell中的部分属性:

      \033[0m 关闭所有属性
      \033[1m 设置高亮度
      \033[4m 下划线
      \033[5m 闪烁
      \033[7m 反显
      \033[8m 消隐
      \033[30m 至 \33[37m 设置前景色
      \033[40m 至 \33[47m 设置背景色
      \033[nA 光标上移n行
      \033[nB 光标下移n行
      \033[nC 光标右移n行
      \033[nD 光标左移n行
      \033[y;xH设置光标位置
      \033[2J 清屏
      \033[K 清除从光标到行尾的内容
      \033[s 保存光标位置
      \033[u 恢复光标位置
      \033[?25l 隐藏光标
      \033[?25h 显示光标

 

————————————————————————–
      各数字所代表的颜色如下:
      字背景颜色范围:40—-49
      40:黑
      41:深红
      42:绿
      43:黄色
      44:蓝色
      45:紫色
      46:深绿
      47:白色

      字颜色:30—-39
      30:黑
      31:红
      32:绿
      33:黄
      34:蓝色
      35:紫色
      36:深绿
      37:白色

 

      使用,如:echo -e “\033[34mHello, world!” (-e作用是引导设置输出属性),

      恢复属性为默认值:echo -e  “\033[0m”,

      同类的多种设置项可以组合在一起,中间用分号(;)隔开。如下:

      echo -e “\033[20;1H\033[1;4;34mHello,world\033[0m”

 

===================================================================================

php 命令行脚本

http://php.net/manual/en/wrappers.php.php

http://php.net/manual/en/reserved.variables.argv.php

http://php.net/manual/en/reserved.variables.argc.php

 

====================================================================================

scanner.php

不在终端打印 返回数组

   

 1 <?php
 2 /**
 3  * Created by PhpStorm.
 4  * User: Mch
 5  * Date: 7/17/18
 6  * Time: 21:34
 7  */
 8 namespace Tsinghuadtv\ModernPHP\Url;
 9 
10 // composer require guzzlehttp/guzzle
11 require 'vendor/autoload.php';
12 
13 use GuzzleHttp\RequestOptions;
14 
15 class Sanner {
16     protected $urls;
17 
18     protected $httpClient;
19 
20     protected $options = [
21         RequestOptions::VERSION => 1.1,
22         RequestOptions::TIMEOUT => 3,
23         RequestOptions::DECODE_CONTENT => false,
24         RequestOptions::HEADERS => [
25             'User-Agent' => 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36'
26         ]
27     ];
28 
29     public function __construct(array $urls) {
30         $this->urls = $urls;
31         $this->httpClient = new \GuzzleHttp\Client();
32     }
33 
34     public function getInvalidUrls() {
35         $invalidUrls = [];
36         foreach ($this->urls as $url) {
37             try {
38                 $statusCode = $this->getStatusCodeForUrl($url);
39             } catch (\Exception $e) {
40                 $statusCode = 500;
41             }
42             if ($statusCode >= 400) {
43                 array_push($invalidUrls, [
44                     'url' => $url,
45                     'status' => $statusCode
46                 ]);
47             }
48         }
49         return $invalidUrls;
50     }
51 
52     protected function getStatusCodeForUrl($url) {
53         $httpResponse = $this->httpClient->request('get', $url, $this->options);
54         return $httpResponse->getStatusCode();
55     }
56 
57 }

 

scanner.php

调用scanner.php测试

假设这个包提交到 modernphp/scanner  https://packagist.org

composer require modernphp/scanner

  

 1 <?php
 2 /**
 3  * Created by PhpStorm.
 4  * User: Mch
 5  * Date: 7/17/18
 6  * Time: 21:41
 7  */
 8 // require 'vendor/autoload.php';
 9 include 'scanner.php';
10 
11 $urls = [
12     'http://www.apple.com',
13     'http://nosuchurl',
14     'https://www.cnblogs.com/mingzhanghui/p/9317179.html',
15     'https://www.baidu.com',
16     'http://jp2.php.net',
17     'http://sdfssdwerw.org'
18 ];
19 
20 $scanner = new \Tsinghuadtv\ModernPHP\Url\Sanner($urls);
21 print_r($scanner->getInvalidUrls());

 

index.php

output:

Array (

    [0] => Array ([url] => http://nosuchurl   [status] => 500 )

    [1] => Array([url] => http://sdfssdwerw.org  [status] => 500 )

)
———————
作者:fareast_mzh
来源:CSDN
原文:https://blog.csdn.net/fareast_mzh/article/details/81463854
版权声明:本文为博主原创文章,转载请附上博文链接!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/112662.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • Quartus II 13.0波形仿真

    Quartus II 13.0波形仿真之前一直找不到关于QuartusII13.0的波形仿真,然后百度的都是说quartusii9.0之后的版本就没有这个功能了,只能再下一个modelsim之类的仿真软件进行波形仿真。但是后来偶然看到了chaichai-icon大佬的QuartusII13.0sp1(64-bit)使用教程,发现不需要另下其他的软件也能够完成仿真。于是我又查阅了一些网络上的资料,基本说法是Quartus…

    2022年10月16日
  • SSM-Mybatis(3)[通俗易懂]

    SSM-Mybatis(3)[通俗易懂]复杂的sql查询环境搭建CREATE TABLE `teacher` ( `id` INT(10) NOT NULL, `name` VARCHAR(30) DEFAULT NULL, PRIMARY KEY (`id`)) ENGINE=INNODB DEFAULT CHARSET=utf8INSERT INTO teacher(id, name) VALUES (1,’秦老师’); CREATE TABLE `student` ( `id` INT(10) NOT NULL

  • socketpair的使用

    socketpair的使用

    2021年12月14日
  • 雅可比矩阵和行列式_雅可比行列式的意义

    雅可比矩阵和行列式_雅可比行列式的意义1,Jacobianmatrixanddeterminant在向量微积分学中,雅可比矩阵是向量对应的函数(就是多变量函数,多个变量可以理解为一个向量,因此多变量函数就是向量函数)的一阶偏微分以一定方式排列形成的矩阵。如果这个矩阵为方阵,那么这个方阵的行列式叫雅可比行列式。2,雅可比矩阵数学定义假设函数f可以将一个n维向量n⃗\vec{n}n(n∈Rnn\inR^nn∈Rn)变成一个…

    2022年10月25日
  • 自动化运维架构体系

    自动化运维架构体系转载于:https://www.cnblogs.com/xinghen1216/p/8493580.html

  • NFS修改2049端口号

    NFS修改2049端口号欢迎大家搜素微信公众号“东面而视”,分项技术及讨论技术《什么是NFS》   就是通过网络共享目录,让网络上的其他服务器能够挂载访问共享目录内的数据。(一般共享视频,图片等静态数据) 为什么修改NFS的2049端口1. 其他服务再用2049端口2. 由于某些规定(如端口号必须在10000以上)修改方法1. 检查LINUX是否按装NFS[root@CT5_6-32-22…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号