admin 发布的文章

  • 实现目的和效果

1:LINUX系统服务器上部署的docker服务,可以通过防火墙设置实现不同网段容器互访

2:通过NPM反代容器内网IP,关闭不必须开放的外部端口,添加防火墙策略,最大限度规避censys、fofa等爬虫的信息搜集

3:Docker或者Docker compoes部署容器的网络设置
censys

  • 实现方法

1:模拟场景1:Debian11系统安装了多个docker容器服务,Docker或者Docker compose部署在不同的内网网段(172.17.0.0/16、172.18.0.0/16)

sudo iptables -L FORWARD --line-numbers    查询防火墙配置信息
sudo iptables -I FORWARD -s 172.17.0.0/16 -d 172.18.0.0/16 -j ACCEPT 添加防火墙规则1
sudo iptables -I FORWARD -s 172.18.0.0/16 -d 172.17.0.0/16 -j ACCEPT 添加防火墙规则2
sudo apt-get install iptables-persistent   安装iptables-persistent实现系统重启后自动加载备份的防火墙配置
sudo iptables-legacy-save > /etc/iptables/rules.v4 保存防火墙配置信息

删除更改的规则可以输入:

sudo iptables -D FORWARD -s 172.17.0.0/16 -d 172.18.0.0/16 -j ACCEPT
sudo iptables -D FORWARD -s 172.18.0.0/16 -d 172.17.0.0/16 -j ACCEPT
sudo iptables-legacy-save > /etc/iptables/rules.v4

2:添加防火墙策略
模拟场景1:Debian11系统安装了多个docker容器服务、npm反代、域名套cloudflare CDN
按照censys爬虫官网发布的屏蔽说明
https://support.censys.io/hc/en-us/articles/360043177092-Opt-Out-of-Data-Collection(ip网段、用户代理描述)
从Cloudflare端和服务器侧都设置屏蔽规则:

Cloudflare端:

在对应域名的 安全性-WAF-工具 菜单下添加阻止censys爬虫的IP和用户代理

162.142.125.0/24

167.94.138.0/24

167.94.145.0/24

167.94.146.0/24

167.248.133.0/24

199.45.154.0/24

199.45.155.0/24

206.168.34.0/24

2602:80d:1000:b0cc:e::/80

2620:96:e000:b0cc:e::/80

2602:80d:1003::/112

2602:80d:1004::/112

Mozilla/5.0 (compatible; CensysInspect/1.1; +https://about.censys.io/)

服务器侧:

添加防火墙设置
sudo iptables -A INPUT -s 162.142.125.0/24 -j DROP
sudo iptables -A INPUT -s 167.94.138.0/24 -j DROP
sudo iptables -A INPUT -s 167.94.145.0/24 -j DROP
sudo iptables -A INPUT -s 167.94.146.0/24 -j DROP
sudo iptables -A INPUT -s 167.248.133.0/24 -j DROP
sudo iptables -A INPUT -s 199.45.154.0/24 -j DROP
sudo iptables -A INPUT -s 199.45.155.0/24 -j DROP
sudo iptables -A INPUT -s 206.168.34.0/24 -j DROP
sudo ip6tables -A INPUT -s 2602:80d:1000:b0cc:e::/80 -j DROP
sudo ip6tables -A INPUT -s 2620:96:e000:b0cc:e::/80 -j DROP

sudo apt-get install iptables-persistent
sudo iptables-legacy-save > /etc/iptables/rules.v4      保存IPV4防火墙配置
sudo iptables-legacy-save > /etc/iptables/rules.v6      保存IPV6防火墙配置

sudo iptables -L -v -n       查看IPV4防火墙规则配置是否已添加
sudo ip6tables -L -v -n      查看IPV6防火墙规则配置是否已添加

通过修改NPM项目nginx的配置文件,屏蔽censys爬虫的访问:

if ($http_user_agent ~* "^(?=.*censys)") {
            return 403;
        }

关闭服务器不必须开放的外部端口:
查询服务器端口开放和转发情况

sudo iptables-save

防火墙的4个链规则

INPUT:处理进入服务器的流量,控制外部主机如何访问本机。
OUTPUT:处理从服务器发出的流量,控制本机如何访问外部主机。
FORWARD:处理路由流量,控制经过本机的流量(不适用于本机的流量)。
nat:处理地址转换和端口转发,适用于改变数据包的目的地址或源地址。

因为DNAT防火墙规则优先于iptables防火墙规则,如果要关闭Debian系统的外部端口需要3步
第一步:设置DNAT防火墙规则

sudo iptables -t nat -L DOCKER -n -v        查询防火墙端口情况

sudo iptables -t nat -L DOCKER 4            查询第4行的DNAT防火墙规则

sudo iptables -t nat -D DOCKER 4            删除DNAT规则从而阻止外部端口的访问(容器映射外网端口的规则)

第二步:设置iptables防火墙规则

sudo iptables -A INPUT -p tcp --dport 外部端口号 -j DROP      iptables防火墙设置阻止外部端口的访问

第三步:保存DNAT和iptables防火墙规则的修改

sudo apt-get install iptables-persistent              下载iptables-persistent,可以重启后防火墙配置不丢失
sudo iptables-legacy-save > /etc/iptables/rules.v4    保存ipv4防火墙配置

另外如果要删除之前的防火墙设置:

sudo iptables -D INPUT -p tcp --dport 外部端口号 -j DROP

sudo iptables -t nat -A DOCKER -p tcp --dport 外部端口号 ! -i 内网网络号 -j DNAT --to-destination 内网IP:内网端口

3.docker和docker compose 网络设置
docker 网络有3个模式:Bridge、host、none,默认模式是Bridge

Bridge默认模式
docker run -d --name my_container nginx
host模式
docker run --network host -d nginx
none默认模式
docker run --network none -d nginx

查询Docker网络命令

docker network ls

查询指定Docker网络容器的IP

docker inspect <container_id> | grep "IPAddress"

如果是Docker compose 多容器配置模式的网络,则以docker-compose.yml配置文件所在目录名做为网络项目名的前缀

services:
  nginx:
    image: nginx
    ports:
      - "外部端口:80"   
    restart: always
    environment:
      - TZ=Asia/Shanghai
    volumes:
      - ./www:/var/www/html
      - ./nginx:/etc/nginx/conf.d
      - ./logs:/var/log/nginx
    depends_on:
      - php
    networks:
      - web

  php:
    build: php
    restart: always
    expose:
      - "7000"      
    volumes:
      - ./www:/var/www/html
    environment:
      - TZ=Asia/Shanghai
    depends_on:
      - mysql
    networks:
      - web

  mysql:
    image: mysql:5.7
    restart: always
    environment:
      - TZ=Asia/Shanghai
    expose:
      - "4406"  
    volumes:
      - ./mysql/data:/var/lib/mysql
      - ./mysql/logs:/var/log/mysql
      - ./mysql/conf:/etc/mysql/conf.d
    env_file:
      - mysql.env
    networks:
      - web

networks:
  web:

假设docker-compose.yml是放在服务器的www文件夹下面,则这个网络项目名为:www_web,属于Bridge模式,新增的www_web与系统默认的docker0(默认是172.17.0.0/16网段)不在同一个内网网段,docker-compose.yml可以用

network_mode: "bridge"

使用系统默认网段分配内网IP,但是不能指定内网IP。

总结:
通过配置iptables规则,实现不同网段容器间的互访。Nginx Proxy Manager反代内网IP,并通过防火墙策略减少外部端口暴露,增强安全性。结合Cloudflare WAF和服务器端iptables,有效阻止Censys等爬虫的扫描。Docker支持bridge、host、none三种网络模式,默认bridge模式适合大多数场景。Docker Compose可通过network_mode指定网络类型。最终实现安全、高效的容器间通信和外部访问控制。

  • 效果展示

浏览器地址栏输入@google 后面输入空格键再输入要搜索关键字,直接从地址栏快速进入搜索

地址栏快捷搜索

  • 进入设置的快捷方法,直接在浏览器地址栏访问

EDGE
edge://settings/searchEngines

谷歌
chrome://settings/searchEngines

地址栏快捷搜索设置

Google:
{google:baseURL}search?q=%s&{google:RLZ}{google:originalQueryForSuggestion}{google:assistedQueryStats}{google:searchboxStats}{google:searchFieldtrialParameter}{google:language}{google:prefetchSource}{google:searchClient}{google:sourceId}{google:contextualSearchVersion}ie={inputEncoding}

EDGE收藏夹:
edge://favorites/?q=%s

Perplexity:
https://www.perplexity.ai/search?s=o&q=%s

360AI搜索:
https://so.chat.360.cn/search?q=%s

秘塔:
https://metaso.cn/?q=%s

天工AI搜索:
https://tiangong.cn/result/?q=%s

Thinkany:
https://thinkany.ai/zh/search?q=%s

小红书:
https://www.xiaohongshu.com/search_result?keyword=%s

公众号:
https://weixin.sogou.com/weixin?ie=utf8&s_from=input&_sug_=n&_sug_type_=1&type=2&query=%s

抖音:
https://www.douyin.com/search/%s

Youtube:
https://www.youtube.com/results?search_query=%s

豆瓣:
https://search.douban.com/movie/subject_search?cat=1002&search_text=%s

淘宝:
https://s.taobao.com/search?q=%s

京东:
https://search.jd.com/Search?keyword=%s

  • 部署效果

国内机器可以使用docker pull 自定义域名代理地址/镜像地址 正常拉取到docker仓库镜像。

  • 部署方式

需要注册一个cloudflare账号,可以没有域名,pages部署可以使用dynv6.com免费域名,那么自定义域名代理地址将是一个如 xxxx.xxx.dynv6.net的三级域名

  • 部署代码
// _worker.js

// Docker镜像仓库主机地址
let hub_host = 'registry-1.docker.io'
// Docker认证服务器地址
const auth_url = 'https://auth.docker.io'
// 自定义的工作服务器地址
let workers_url = 'https://你的域名'

// 根据主机名选择对应的上游地址
function routeByHosts(host) {
        // 定义路由表
    const routes = {
        // 生产环境
        "quay": "quay.io",
        "gcr": "gcr.io",
        "k8s-gcr": "k8s.gcr.io",
        "k8s": "registry.k8s.io",
        "ghcr": "ghcr.io",
        "cloudsmith": "docker.cloudsmith.io",
        
        // 测试环境
        "test": "registry-1.docker.io",
    };

    if (host in routes) return [ routes[host], false ];
    else return [ hub_host, true ];
}

/** @type {RequestInit} */
const PREFLIGHT_INIT = {
    // 预检请求配置
    headers: new Headers({
        'access-control-allow-origin': '*', // 允许所有来源
        'access-control-allow-methods': 'GET,POST,PUT,PATCH,TRACE,DELETE,HEAD,OPTIONS', // 允许的HTTP方法
        'access-control-max-age': '1728000', // 预检请求的缓存时间
    }),
}

/**
 * 构造响应
 * @param {any} body 响应体
 * @param {number} status 响应状态码
 * @param {Object<string, string>} headers 响应头
 */
function makeRes(body, status = 200, headers = {}) {
    headers['access-control-allow-origin'] = '*' // 允许所有来源
    return new Response(body, { status, headers }) // 返回新构造的响应
}

/**
 * 构造新的URL对象
 * @param {string} urlStr URL字符串
 */
function newUrl(urlStr) {
    try {
        return new URL(urlStr) // 尝试构造新的URL对象
    } catch (err) {
        return null // 构造失败返回null
    }
}

function isUUID(uuid) {
    // 定义一个正则表达式来匹配 UUID 格式
    const uuidRegex = /^[0-9a-f]{8}-[0-9a-f]{4}-[4][0-9a-f]{3}-[89ab][0-9a-f]{3}-[0-9a-f]{12}$/i;
    
    // 使用正则表达式测试 UUID 字符串
    return uuidRegex.test(uuid);
}

async function nginx() {
    const text = `
    <!DOCTYPE html>
    <html>
    <head>
    <title>Welcome to nginx!</title>
    <style>
        body {
            width: 35em;
            margin: 0 auto;
            font-family: Tahoma, Verdana, Arial, sans-serif;
        }
    </style>
    </head>
    <body>
    <h1>Welcome to nginx!</h1>
    <p>If you see this page, the nginx web server is successfully installed and
    working. Further configuration is required.</p>
    
    <p>For online documentation and support please refer to
    <a href="http://nginx.org/">nginx.org</a>.<br/>
    Commercial support is available at
    <a href="http://nginx.com/">nginx.com</a>.</p>
    
    <p><em>Thank you for using nginx.</em></p>
    </body>
    </html>
    `
    return text ;
}

export default {
    async fetch(request, env, ctx) {
        const getReqHeader = (key) => request.headers.get(key); // 获取请求头

        let url = new URL(request.url); // 解析请求URL
        workers_url = `https://${url.hostname}`;
        const pathname = url.pathname;
        const hostname = url.searchParams.get('hubhost') || url.hostname; 
        const hostTop = hostname.split('.')[0];// 获取主机名的第一部分
        const checkHost = routeByHosts(hostTop);
        hub_host = checkHost[0]; // 获取上游地址
        const fakePage = checkHost[1];
        console.log(`域名头部: ${hostTop}\n反代地址: ${hub_host}\n伪装首页: ${fakePage}`);
        const isUuid = isUUID(pathname.split('/')[1].split('/')[0]);
        
        const conditions = [
            isUuid,
            pathname.includes('/_'),
            pathname.includes('/r'),
            pathname.includes('/v2/user'),
            pathname.includes('/v2/orgs'),
            pathname.includes('/v2/_catalog'),
            pathname.includes('/v2/categories'),
            pathname.includes('/v2/feature-flags'),
            pathname.includes('search'),
            pathname.includes('source'),
            pathname === '/',
            pathname === '/favicon.ico',
            pathname === '/auth/profile',
        ];

        if (conditions.some(condition => condition) && (fakePage === true || hostTop == 'docker')) {
            if (env.URL302){
                return Response.redirect(env.URL302, 302);
            } else if (env.URL){
                if (env.URL.toLowerCase() == 'nginx'){
                    //首页改成一个nginx伪装页
                    return new Response(await nginx(), {
                        headers: {
                            'Content-Type': 'text/html; charset=UTF-8',
                        },
                    });
                } else return fetch(new Request(env.URL, request));
            }
            
            const newUrl = new URL("https://registry.hub.docker.com" + pathname + url.search);

            // 复制原始请求的标头
            const headers = new Headers(request.headers);

            // 确保 Host 头部被替换为 hub.docker.com
            headers.set('Host', 'registry.hub.docker.com');

            const newRequest = new Request(newUrl, {
                    method: request.method,
                    headers: headers,
                    body: request.method !== 'GET' && request.method !== 'HEAD' ? await request.blob() : null,
                    redirect: 'follow'
            });

            return fetch(newRequest);
        }

        // 修改包含 %2F 和 %3A 的请求
        if (!/%2F/.test(url.search) && /%3A/.test(url.toString())) {
            let modifiedUrl = url.toString().replace(/%3A(?=.*?&)/, '%3Alibrary%2F');
            url = new URL(modifiedUrl);
            console.log(`handle_url: ${url}`)
        }

        // 处理token请求
        if (url.pathname.includes('/token')) {
            let token_parameter = {
                headers: {
                    'Host': 'auth.docker.io',
                    'User-Agent': getReqHeader("User-Agent"),
                    'Accept': getReqHeader("Accept"),
                    'Accept-Language': getReqHeader("Accept-Language"),
                    'Accept-Encoding': getReqHeader("Accept-Encoding"),
                    'Connection': 'keep-alive',
                    'Cache-Control': 'max-age=0'
                }
            };
            let token_url = auth_url + url.pathname + url.search
            return fetch(new Request(token_url, request), token_parameter)
        }

        // 修改 /v2/ 请求路径
        if (/^\/v2\/[^/]+\/[^/]+\/[^/]+$/.test(url.pathname) && !/^\/v2\/library/.test(url.pathname)) {
            url.pathname = url.pathname.replace(/\/v2\//, '/v2/library/');
            console.log(`modified_url: ${url.pathname}`)
        }

        // 更改请求的主机名
        url.hostname = hub_host;

        // 构造请求参数
        let parameter = {
            headers: {
                'Host': hub_host,
                'User-Agent': getReqHeader("User-Agent"),
                'Accept': getReqHeader("Accept"),
                'Accept-Language': getReqHeader("Accept-Language"),
                'Accept-Encoding': getReqHeader("Accept-Encoding"),
                'Connection': 'keep-alive',
                'Cache-Control': 'max-age=0'
            },
            cacheTtl: 3600 // 缓存时间
        };

        // 添加Authorization头
        if (request.headers.has("Authorization")) {
            parameter.headers.Authorization = getReqHeader("Authorization");
        }

        // 发起请求并处理响应
        let original_response = await fetch(new Request(url, request), parameter)
        let original_response_clone = original_response.clone();
        let original_text = original_response_clone.body;
        let response_headers = original_response.headers;
        let new_response_headers = new Headers(response_headers);
        let status = original_response.status;

        // 修改 Www-Authenticate 头
        if (new_response_headers.get("Www-Authenticate")) {
            let auth = new_response_headers.get("Www-Authenticate");
            let re = new RegExp(auth_url, 'g');
            new_response_headers.set("Www-Authenticate", response_headers.get("Www-Authenticate").replace(re, workers_url));
        }

        // 处理重定向
        if (new_response_headers.get("Location")) {
            return httpHandler(request, new_response_headers.get("Location"))
        }

        // 返回修改后的响应
        let response = new Response(original_text, {
            status,
            headers: new_response_headers
        })
        return response;
    }
};

/**
 * 处理HTTP请求
 * @param {Request} req 请求对象
 * @param {string} pathname 请求路径
 */
function httpHandler(req, pathname) {
    const reqHdrRaw = req.headers

    // 处理预检请求
    if (req.method === 'OPTIONS' &&
        reqHdrRaw.has('access-control-request-headers')
    ) {
        return new Response(null, PREFLIGHT_INIT)
    }

    let rawLen = ''

    const reqHdrNew = new Headers(reqHdrRaw)

    const refer = reqHdrNew.get('referer')

    let urlStr = pathname

    const urlObj = newUrl(urlStr)

    /** @type {RequestInit} */
    const reqInit = {
        method: req.method,
        headers: reqHdrNew,
        redirect: 'follow',
        body: req.body
    }
    return proxy(urlObj, reqInit, rawLen)
}

/**
 1. 代理请求
 2. @param {URL} urlObj URL对象
 3. @param {RequestInit} reqInit 请求初始化对象
 4. @param {string} rawLen 原始长度
 */
async function proxy(urlObj, reqInit, rawLen) {
    const res = await fetch(urlObj.href, reqInit)
    const resHdrOld = res.headers
    const resHdrNew = new Headers(resHdrOld)

    // 验证长度
    if (rawLen) {
        const newLen = resHdrOld.get('content-length') || ''
        const badLen = (rawLen !== newLen)

        if (badLen) {
            return makeRes(res.body, 400, {
                '--error': `bad len: ${newLen}, except: ${rawLen}`,
                'access-control-expose-headers': '--error',
            })
        }
    }
    const status = res.status
    resHdrNew.set('access-control-expose-headers', '*')
    resHdrNew.set('access-control-allow-origin', '*')
    resHdrNew.set('Cache-Control', 'max-age=1500')

    // 删除不必要的头
    resHdrNew.delete('content-security-policy')
    resHdrNew.delete('content-security-policy-report-only')
    resHdrNew.delete('clear-site-data')

    return new Response(res.body, {
        status,
        headers: resHdrNew
    })
}

以上代码保存为:_worker.js,然后压缩为:_worker.zip

  • CF部署

新建一个pages 项目,上传_worker.zip,点继续部署,然后绑定域名,到dynv6.com网站免费注册一个账号,新增一个二级域名:xxx.dynv6.net,到cf pages绑定域名页面,填写一个你刚申请的三级域名,比如:xxxx.xxx.dynv6.net,提交后会生成一行信息,到dynv6.com网站在Records记录里面添加一条CNAME记录,域名填入:xxxx,注意:Data处粘贴的地址最后面要加一个英文的点.,要稍等一会,绑定的域名生效,然后还需要点击右上角的创建部署,再次上传_worker.zip,这样才算部署完成,然后去需要拉取镜像的国内机器上输入docker pull xxxx.xxx.dynv6.net/镜像地址直接拉取了。

  • 补充说明

如果需要代理的系统是Debian\Ubuntu 系统,也可以设置修改文件 /etc/docker/daemon.json(如果不存在则创建)

sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://xxxx.xxx.dynv6.net"]  # 请替换为您自己的Worker自定义域名
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker

如果是istoreOS 软路由系统,可以进入后台docker的配置菜单下面,直接添加注册表镜像xxxx.xxx.dynv6.net就可以直接使用了,不用加前缀也可以直接拉取镜像。

  • 前提
    需将安卓子系统开发者选项打开,本地PC端开启v2rayN,并设置局域网代理(如果没有找到这个功能,需升级到最新版本),假设局域网http代理端口是10811
  • 本地调试
    下载一个ADB工具(https://developer.android.com/studio/releases/platform-tools)解压到一个纯英文路径下,比如C:/platform-tools
    在资源管理器中打开C:/platform-tools,在路径栏里直接输入cmd,回车,打开命令提示行输入以下命令:

    adb connect 127.0.0.1:58526
adb devices
adb -s 127.0.0.1:58526 shell "settings put global http_proxy `ip route list match 0 table all scope global | cut -F3`:10811"

取消代理命令:

adb kill-server
adb start-server
adb connect 127.0.0.1:58526
adb -s 127.0.0.1:58526 shell settings put global http_proxy :0

注:ADB能连接的前提是你有启动安卓子系统,所以你只要有至少一个APP正在运行

  • chatGPT发布了4o版本,可以免费体验

PC端访问:https://chatgpt.com/?model=gpt-4o

     国内需要魔法上网,登录后即可体验,文件输入功能有次数限制

IOS端安装: 需要删除ChatGPT老版本(建议从通用-iphone存储空间里面删除APP),美区账号安装到最新版本
gpt-4o

  • 通过网站访问AI(chatGPT4、4o、Claude3-Opus、Gemini)的网站,有40次免费体验

AI-1
网站:https://mychandler.bet/chat

  • 通过网站访问AI(chatGPT4、4o)的网站,注册有200电量免费体验

AI-2
网站:https://myshell.ai