Наткнулся та такой вот совет:

если надо ограничить количество одновременных подключений с одного адреса на определенный порт, то делается так(в примере для POP3):

iptables -A INPUT -p tcp —dport 110 -m state —state NEW -m recent —name pop —rsource —update —seconds 60 —hitcount 5 -j DROP

iptables -A INPUT -p tcp —dport 110 -m state —state NEW -m recent —name pop —rsource —set -j ACCEPT