面试 限流

面对突发流量：系统、软件层限流手段

面对突发流量：系统、软件层限流手段

Posted by 锐玩道 on May 14, 2021

如果❤️我的文章有帮助，欢迎点赞、关注。这是对我继续技术创作最大的鼓励。更多往期文章在我的个人博客

本文为 应对突防流量 系列文章，以下为相关基友篇

简介

在信息时代，什么最值钱？信息和流量，内容产出方式形式不尽相同不是本文的内容，所以我们来说下流量。

网站、媒体都在追逐热点追逐流量，但有时候流量增加不一定是好事。 网站流量暴增大致为以下几种情况

  1. 网站被恶意刷量
  2. CDN 回源抓取数据
  3. 合作业务平台调取平台数据等
  4. 突然爆发的社会热点
  5. 营销活动的宣传

4、5 网站喜欢的流量；2、3 属于业务合作；唯独第 1 点需要防御

但在开始之前需要明确一点，我把机房分为两种分云机房、自建机房。

  • 对外业务部署在云机房比较稳妥，因为厂商有更多资源（加机器、扩容量、加带宽）、配套方案（换ip/上高防）应对流量波动以及流量攻击。
  • 自建机房一般用于公司内部系统，业务数据收集、统计储存。通过ip白名单就能限定只有 自己的云服务器才能访问自建机房。从而降低被攻击的可能

本文是刷题后，整理记录下自己收集到的方法。说不定后面骚操作用到了呢

iptables 对 ip/端口 限流

限制指定端口并发数

输入命令 service iptables stop 关闭iptables（注意：iptables可能会有问题，貌似在旧版本中不被认为是一个服务，而是防火墙）

限制端口并发数很简单，IPTABLES就能搞定了，假设你要限制端口8388的IP最大连接数为5; 限制端口1024-10240的IP最大连接数两句话命令：

iptables -I INPUT -p tcp --dport 8388 -m connlimit --connlimit-above 5 -j DROP
iptables -I OUTPUT -p tcp --dport 8388 -m connlimit --connlimit-above 5 -j DROP

iptables -I INPUT -p tcp --dport 1024:10240 -m connlimit --connlimit-above 10 -j DROP
iptables -I OUTPUT -p tcp --dport 1024:10240 -m connlimit --connlimit-above 10 -j DROP

其他端口以此类推，然后保存IPTABLES规则 service iptables save。

输入命令service iptables start启动即可

最后用命令查看是否生效iptables -L -n -v

限制指定端口传输速度

输入命令 service iptables stop 关闭 iptables

限制端口并发数很简单，IPTABLES就能搞定了，假设你要限制端口5037的最大连接速度为60个包每秒，两句话命令：

iptables -A INPUT -p tcp --sport 5037 -m limit --limit 60/s -j ACCEPT
iptables -A INPUT -p tcp --sport 5037 -j DROP

也就是限制每秒接受60个包，一般来说每个包大小为64—1518字节(Byte)。

限制IP的访问速度

原理：每秒对特定端口进行速度控制，比如每秒超过700个的数据包直接DROP，从而限制特定端口的速度

iptables -A FORWARD -m limit -d 208.8.14.53 --limit 700/s --limit-burst 100 -j ACCEPT 
iptables -A FORWARD -d 208.8.14.53 -j DROP

Linux下通过iptables限制流量

可以通过以下脚本即可实现（首先需要将这台机器配置成网关）。下面给出一个脚本的简单示例：

#限制网段
for ((i = 1; i < 253; i++))  
do
/sbin/iptables -A FORWARD -s 192.168.2.$i -m limit \ --limit 60/s -j ACCEPT 
/sbin/iptables -A FORWARD -s 192.168.2.$i -j DROP

done
#限制单个ip 
/sbin/iptables -A FORWARD -s 192.168.1.135/32 -m limit \ --limit 60/s -j ACCEPT 
/sbin/iptables -A FORWARD -s 192.168.1.135/32 -j DROP 
  
#当流量小于60/s的时候，iptables 接受并转发。当流量大于60/s 的时候，iptables丢弃数据包

最后说一下如何解决防火墙重启后失败的问题

iptables-save >/etc/sysconfig/iptables echo ‘iptables-restore /etc/sysconfig/iptables’ » /etc/rc.local chmod +x /etc/rc.d/rc.local

nginx 限流

对域名限速

ngx_http_limit_req_module 模块提供限制请求处理速率能力，使用了漏桶算法(leaky bucket)。下面例子使用 nginx limit_req_zone 和 limit_req 两个指令，限制单个IP的请求处理速率。

在 nginx.conf http 中添加限流配置：

格式：limit_req_zone key zone rate

http {
    limit_req_zone $binary_remote_addr zone=myRateLimit:10m rate=10r/s;
}

配置 server，使用 limit_req 指令应用限流。

server {
    location / {
		limit_req zone=myRateLimit;
        proxy_pass http://my_upstream;
    }
}
  • key ：定义限流对象，binary_remote_addr 是一种key，表示基于 remote_addr(客户端IP) 来做限流，binary_ 的目的是压缩内存占用量。
  • zone：定义共享内存区来存储访问信息， myRateLimit:10m 表示一个大小为10M，名字为myRateLimit的内存区域。1M能存储16000 IP地址的访问信息，10M可以存储16W IP地址访问信息。
  • rate 用于设置最大访问速率，rate=10r/s 表示每秒最多处理10个请求。Nginx 实际上以毫秒为粒度来跟踪请求信息，因此 10r/s 实际上是限制：每100毫秒处理一个请求。这意味着，自上一个请求处理完后，若后续100毫秒内又有请求到达，将拒绝处理该请求。

处理突发流量

上面例子限制 10r/s，如果有时正常流量突然增大，超出的请求将被拒绝，无法处理突发流量，可以结合 burst 参数使用来解决该问题。

server {
    location / {
		limit_req zone=myRateLimit burst=20;
        proxy_pass http://my_upstream;
    }
}

burst 译为突发、爆发，表示在超过设定的处理速率后能额外处理的请求数。当 rate=10r/s 时，将1s拆成10份，即每100ms可处理1个请求。

此处，**burst=20 **，若同时有21个请求到达，Nginx 会处理第一个请求，剩余20个请求将放入队列，然后每隔100ms从队列中获取一个请求进行处理。若请求数大于21，将拒绝处理多余的请求，直接返回503.

不过，单独使用 burst 参数并不实用。假设 burst=50 ，rate依然为10r/s，排队中的50个请求虽然每100ms会处理一个，但第50个请求却需要等待 50 * 100ms即 5s，这么长的处理时间自然难以接受。

因此，burst 往往结合 nodelay 一起使用。

server {
    location / {
		limit_req zone=myRateLimit burst=20 nodelay;
        proxy_pass http://my_upstream;
    }
}

nodelay 针对的是 burst 参数，burst=20 nodelay 表示这20个请求立马处理，不能延迟，相当于特事特办。不过，即使这20个突发请求立马处理结束，后续来了请求也不会立马处理。burst=20 相当于缓存队列中占了20个坑，即使请求被处理了，这20个位置这只能按 100ms一个来释放。

这就达到了速率稳定，但突然流量也能正常处理的效果。

限制连接数

ngx_http_limit_conn_module 提供了限制连接数的能力，利用 limit_conn_zone 和 limit_conn 两个指令即可。下面是 Nginx 官方例子：

limit_conn_zone $binary_remote_addr zone=perip:10m;
limit_conn_zone $server_name zone=perserver:10m;

server {
    ...
    limit_conn perip 10;
    limit_conn perserver 100;
}

limit_conn perip 10 作用的key 是 $binary_remote_addr，表示限制单个IP同时最多能持有10个连接。

limit_conn perserver 100 作用的key是 $server_name，表示虚拟主机(server) 同时能处理并发连接的总数。

需要注意的是：只有当 request header 被后端server处理后，这个连接才进行计数。

对网站路径限速(下行)

找到nginx配置文件nginx.conf

[root@localhost ~]# find ./ -name "nginx*"
[root@localhost ~]# whereis nginx
nginx: /usr/local/nginx

使用vim进行编辑


		......
server {
		......
        location / {
        	#表示每个连接允许的速率为1Mbit，最大连接数10个
        	limit_conn one 10;
            limit_rate 1m;
        	···
        }
        location ~/group([0-9])/ {
    			···
            #表示在不限流10Mbit后开始限流
            limit_rate_after 10m;
            #限流后的网速
            limit_rate 2m;
            ····
       }
}

修改了nginx.conf文件后重新加载配置文件

[root@localhost /]# /usr/local/nginx/sbin/nginx -s reload ngx_http_fastdfs_set pid=7988

设置白名单

限流主要针对外部访问，内网访问相对安全，可以不做限流，通过设置白名单即可。利用 Nginx ngx_http_geo_module 和 ngx_http_map_module 两个工具模块即可搞定。

在 nginx.conf 的 http 部分中配置白名单：

geo $limit {
    default 1;
    10.0.0.0/8 0;
    192.168.0.0/24 0;
    172.20.0.35 0;
}

map $limit $limit_key {
    0 "";
    1 $binary_remote_addr;
}

limit_req_zone $limit_key zone=myRateLimit:10m rate=10r/s;

geo 对于白名单(子网或IP都可以) 将返回0，其他IP将返回1。

map 将 limit 转换为 limit 转换为 limit_key，如果是 $limit 是0(白名单)，则返回空字符串；如果是1，则返回客户端实际IP。

limit_req_zone 限流的key不再使用 binaryremoteaddr，而是binary_remote_addr，而是 binaryremoteaddr，而是 limit_key 来动态获取值。如果是白名单，limit_req_zone 的限流key则为空字符串，将不会限流；若不是白名单，将会对客户端真实IP进行限流。

限速

除限流外，ngx_http_core_module 还提供了限制数据传输速度的能力(即常说的下载速度)。

例如：

location /flv/ {
    flv;
    limit_rate_after 20m;
    limit_rate       100k;
}

这个限制是针对每个请求的，表示客户端下载前20M时不限速，后续限制100kb/s。

CATALOG
    FEATURED TAGS
    golang 面试 限流 职场
    FRIENDS