このサンプルだと1.のブラックリストをダウンロードしてくるところは毎回実行されてしまいますが、本来はダウンロードしたものをローカルに一度保存し、それを使い回すということを想定しています。保存する方法は A) シリアライズされたデータをファイルに書き込んで、次回以降はそのファイルを読み込む、 B) 永続性のあるデータストア（現在パッケージに取り込んでいるのはAWSのDynamoDBのみ）をバックエンドに使う、の2通りがあります。詳しい使い方についてはレポジトリの README を御覧ください。
監視している対象のサービスやシステム内で発生したイベントの情報から、セキュリティ上問題がある事象をみつけだすことを「検知」とします。たとえばアンチウィルスソフトウェアはディスクに保存されたファイルの内容からマルウェアを検知するというのが分かりやすい事例かと思います。他にもイベントが記録として残ったログを集めて分析し、不審な行動を探し出すSIEM（Security Information and Event Manager）も検知の機能があるといえます。また、機械ではなく人間がログや現在進行中のイベントなどをみて根性で怪しい現象に気づく、というのも検知にあたります（定常的にこれをやるのはあまりお勧めできません）。
AWS Security Hub はGuardDutyをはじめとするAWS、あるいはサードパーティのセキュリティ監視検知結果を統合する機能を持っています。
また、AWSのベストプラクティスを元にしたCIS（Center for Internet Security）ベンチマークという機能もあり、AWS上のセキュリティ関連設定の不備について通知してくれます。
以前に似たようなアーキテクチャを考えていたときは、基本的にデータの収集と分析を密結合させて、最終的な結果だけをfluentdに流す、という方法をとっていました。言わずもがなですが、その構成だと分析方法の追加や変更、削除をするたびにデータ収集の部分をいじる必要がでてきてしまい、うかつに触れなくなってしまいます。また、データ収集と分析の処理を同じ環境で実施しようとすることで、負荷の重い方がリソース（CPUやメモリ）の制約を受けやすくなってしまう、ということもあります。具体的には後述しますが、そういった理由からマネージドサービスなストレージであるSimple Storage Service (S3) にまずデータ（今回は通信を記録したpcapファイル）を投げ込み、その通信に何が含まれていたか？という処理は後ろ側に任せる、というような構成をとりました。
ハニーポット本体が設置してあるパートです。さすがに「TCPのSYNパケットを受けて偽装したSYN+ACKを返す」という処理をマネージドサービスで実現するのは困難だったので、そこはEC2インスタンスを使いました。ハニーポットには管理用と監視用、2つのネットワークインターフェースを接続しています。EC2は自前で2つ以上のネットワークインターフェースを接続すると標準で割り当てられるパブリックIPアドレスが使えなくなってしまうため、Elastic IP Address を2つ確保し、それぞれのネットワークインターフェースに割り当てて*1います。これらは全てCloudFormationを使ってデプロイ可能なようにしています。（ CloudFormationのテンプレート）
Elastic IP addressを自動更新するようにする : このような定点観測型のハニーポットの弱点はIPアドレスが固定だと攻撃者に気づかれて、そもそもアクセスを敬遠される、という恐れがあります。ただ、これはAWSを利用することで解決可能で、定期的にEIPをつけかえれば（同じ観測点ではないものの）攻撃者に観測点を常に特定されている、という状況を回避できます。一方でこの仕組を作ろうとするとCloudFormationと相性があまり良くない、という問題があります。スタックを削除する際に付け替えるために新たに取得したアドレスをちゃんと片付けられるようにしないとならず、それについてはちょっと頭を悩ませるところです
使用するElastic IP addressの数を減らす：AWS ではデフォルトでEIPの利用がアカウントごとに5個までと制限されています。この仕組は1つのセンサーをデプロイするだけで2つも消費してしまうため、最大で2つまでしか利用することができなくなっています。このことからEIPを1つだけで運用する、もしくはEC2 インスタンスに標準で付与されるIPアドレスを利用してうまくできないか、というのは検討の余地があるかなという状況です。
$ cat test.log
Feb 1 07:56:49 pylon sshd[5153]: pam_unix(sshd:auth): authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=192.168.0.3 user=root
Feb 1 07:56:51 pylon sshd[5153]: Failed password for root from 192.168.0.3 port 7176 ssh2
Feb 1 07:56:51 pylon sshd[5153]: Connection closed by 192.168.0.3 [preauth]
Feb 1 08:01:26 pylon sshd[5156]: Invalid user upload from 192.168.0.3
Feb 1 08:01:26 pylon sshd[5156]: input_userauth_request: invalid user upload [preauth]
Feb 1 08:01:26 pylon sshd[5156]: pam_unix(sshd:auth): check pass; user unknown
Feb 1 08:01:26 pylon sshd[5156]: pam_unix(sshd:auth): authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=192.168.0.3
Feb 1 08:01:28 pylon sshd[5156]: Failed password for invalid user upload from 192.168.0.3 port 51058 ssh2
Feb 1 08:01:28 pylon sshd[5156]: Connection closed by 192.168.0.3 [preauth]
Feb 1 08:05:01 pylon CRON[5159]: pam_unix(cron:session): session opened for user root by (uid=0)
Feb 1 08:05:01 pylon CRON[5159]: pam_unix(cron:session): session closed for user root
Feb 1 08:05:54 pylon sshd[5162]: pam_unix(sshd:auth): authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=192.168.0.3 user=root
Feb 1 08:05:56 pylon sshd[5162]: Failed password for root from 192.168.0.3 port 33005 ssh2
Feb 1 08:05:56 pylon sshd[5162]: Connection closed by 192.168.0.3 [preauth]
Feb 1 08:10:28 pylon sshd[5165]: Invalid user mythtv from 192.168.0.3
Feb 1 08:10:28 pylon sshd[5165]: input_userauth_request: invalid user mythtv [preauth]
Feb 1 08:10:28 pylon sshd[5165]: pam_unix(sshd:auth): check pass; user unknown
Feb 1 08:10:28 pylon sshd[5165]: pam_unix(sshd:auth): authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=192.168.0.3
Feb 1 08:10:30 pylon sshd[5165]: Failed password for invalid user mythtv from 192.168.0.3 port 59978 ssh2
Feb 1 08:10:30 pylon sshd[5165]: Connection closed by 192.168.0.3 [preauth]
Feb 1 08:15:01 pylon CRON[5168]: pam_unix(cron:session): session opened for user root by (uid=0)
Feb 1 08:15:01 pylon CRON[5168]: pam_unix(cron:session): session closed for user root
Feb 1 08:15:26 pylon sshd[5171]: pam_unix(sshd:auth): authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=10.2.3.4 user=root
Feb 1 08:15:28 pylon sshd[5171]: Failed password for root from 10.2.3.4 port 60733 ssh2
Feb 1 08:15:28 pylon sshd[5171]: Connection closed by 10.2.3.4 [preauth]
Feb 1 08:17:01 pylon CRON[5173]: pam_unix(cron:session): session opened for user root by (uid=0)
Feb 1 08:17:01 pylon CRON[5173]: pam_unix(cron:session): session closed for user root
Feb 1 08:20:35 pylon sshd[5177]: pam_unix(sshd:auth): authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=10.2.3.4 user=root
Feb 1 08:20:37 pylon sshd[5177]: Failed password for root from 10.2.3.4 port 44877 ssh2
Feb 1 08:20:37 pylon sshd[5177]: Connection closed by 10.2.3.4 [preauth]
Feb 1 08:25:01 pylon CRON[5180]: pam_unix(cron:session): session opened for user root by (uid=0)
Feb 1 08:25:01 pylon CRON[5180]: pam_unix(cron:session): session closed for user root
Feb 1 08:25:16 pylon sshd[5183]: Invalid user user from 10.2.3.4
このデータを入力させると以下のような出力をします。
./logptn test.log
2018/05/20 13:30:55 arg:test.log
4 [4ffb267b] Feb 1 *:*:* pylon sshd[*]: pam_unix(sshd:auth): authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=* user=root
4 [845f4659] Feb 1 *:*:* pylon sshd[*]: Failed password for root from * port * ssh2
6 [847ccf35] Feb 1 *:*:* pylon sshd[*]: Connection closed by * [preauth]
3 [de051cd9] Feb 1 08:*:* pylon sshd[*]: Invalid user * from *
2 [8e9e2a13] Feb 1 08:*:* pylon sshd[*]: input_userauth_request: invalid user * [preauth]
2 [22190c74] Feb 1 08:*:* pylon sshd[*]: pam_unix(sshd:auth): check pass; user unknown
2 [83fba2bf] Feb 1 08:*:* pylon sshd[*]: pam_unix(sshd:auth): authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=192.168.0.3
2 [f1ba83ea] Feb 1 08:*:* pylon sshd[*]: Failed password for invalid user * from 192.168.0.3 port * ssh2
4 [e4a6f815] Feb 1 08:*:01 pylon CRON[*]: pam_unix(cron:session): session opened for user root by (uid=0)
4 [5256845b] Feb 1 08:*:01 pylon CRON[*]: pam_unix(cron:session): session closed for user root
