Наткнулся та такой вот совет:
если надо ограничить количество одновременных подключений с одного адреса на определенный порт, то делается так(в примере для POP3):
iptables -A INPUT -p tcp --dport 110 -m state --state NEW -m recent --name pop --rsource --update --seconds 60 --hitcount 5 -j DROP
iptables -A INPUT -p tcp --dport 110 -m state --state NEW -m recent --name pop --rsource --set -j ACCEPT