1.背景、動機
最近、EUがGDPRとかうるさいことを言い出したので、そんならアクセスしてもらわなくて良いよ、と自分の運用するサイトにパケットフィルタを設定することにした。
しかし実際にフィルタを設定しようとしたら、Google Application Engine (今回の対象サイトの公開サービス提供元。以下GAE)には「フィルタは千件まで」という制約があり、そのままではフィルタを全部登録できないことがわかった。
そこで、フィルタをなんとか千件以内にまとめる方法を検討した。
2.フィルタの考え方
今回のフィルタの考え方は基本的に2通りある。どちらかが実現できれば十分である。
・日本からのアクセスだけを通す。(日本以外からのアクセスをはじく)
・EU加盟国からのアクセスをはじく。
両者の違いは、通しても通さなくても良い国の扱いがどうなるかにある。前者では、どちらでも良い国からのアクセスははじかれる。後者では通す。
しかし上記2つのどちらか(だけ)を採用するとフィルタが千件で足りなくなったので、折衷案を考えた。
2.1.案1
例えば、IPアドレスの範囲が表1のように並んでいて、日本からのアクセスを通すようにフィルタを作成する場合、機械的にそのままフィルタを作成すると2件のフィルタが必要になる。しかし間に挟まれた、通しても通さなくても良い国(例では”US”)のアドレス範囲を、通して良いフィルタに含めるなら、1件にまとめられる。
表1
|
国コード
|
アドレス
|
アドレス範囲
|
そのままフィルタ作成
|
フィルタをまとめる
|
|
JP
|
xxx.yyy.zzz.000
|
xxx.yyy.zzz.000/32
|
xxx.yyy.zzz.000/32 Allow
|
xxx.yyy.zzz.000/30 Allow
|
|
US
|
xxx.yyy.zzz.001
|
xxx.yyy.zzz.001/32
|
|
|
JP
|
xxx.yyy.zzz.002
|
xxx.yyy.zzz.002/31
|
xxx.yyy.zzz.002/32 Allow
|
|
JP
|
xxx.yyy.zzz.003
|
なお表2のように、通してはならない国(例では”FR”)が挟まれている場合はアドレス範囲をまとめられない。
表2
|
国コード
|
アドレス
|
アドレス範囲
|
フィルタ
|
|
JP
|
xxx.yyy.zzz.000
|
xxx.yyy.zzz.000/32
|
xxx.yyy.zzz.000/32 Allow
|
|
FR
|
xxx.yyy.zzz.001
|
xxx.yyy.zzz.001/32
|
xxx.yyy.zzz.000/32 Deny
|
|
JP
|
xxx.yyy.zzz.002
|
xxx.yyy.zzz.002/31
|
xxx.yyy.zzz.002/31 Allow
|
|
JP
|
xxx.yyy.zzz.003
|
案1のやり方でフィルタの件数はかなり減らせるが、千件以下にするにはまだ足りなかったので、次のような追加の方法を考えた。
2.2.案2
案1でまとめた後のIPアドレス範囲を見ると表3のような例が多いことに気がついた。
表3
|
国コード
|
アドレス
|
アドレス範囲
|
そのままフィルタを作成
|
フィルタ実行順を考慮
|
|
NC
|
xxx.yyy.zzz.000
|
xxx.yyy.zzz.000/32
|
|
xxx.yyy.zzz.000/32 Deny
|
|
JP
|
xxx.yyy.zzz.001
|
xxx.yyy.zzz.001/32
|
xxx.yyy.zzz.001/32 Allow
|
xxx.yyy.zzz.000/29 Allow
|
|
JP
|
xxx.yyy.zzz.002
|
xxx.yyy.zzz.002/31
|
xxx.yyy.zzz.002/31 Allow
|
|
JP
|
xxx.yyy.zzz.003
|
|
JP
|
xxx.yyy.zzz.004
|
xxx.yyy.zzz.004/30
|
xxx.yyy.zzz.004/30 Allow
|
|
JP
|
xxx.yyy.zzz.005
|
|
JP
|
xxx.yyy.zzz.006
|
|
JP
|
xxx.yyy.zzz.007
|
表3では、ニューカレドニアのアドレス範囲があるせいで、下3つの日本のアドレス範囲を(CIDRの表記的に)1つにまとめることができない。その結果、フィルタは3件になる。(ちなみにニューカレドニアはフランスの海外領土)
ここで、フィルタの実行順を考慮すればフィルタの件数を減らせる。上の例では、ニューカレドニアの範囲をはじくフィルタを作成して先に実行するよう指定すると、残りのJPの範囲を1つにまとめて(その際、ニューカレドニアの範囲も含まれる)、通すように指定しても同じ動作になる。こうすることで上記の例ではフィルタを2件に減らせる。
なお、上記の例はニューカレドニアをはじくフィルタが1件増える代わりにより多くのフィルタを減らせるのでやる価値があるが、場合によっては減る数より、増える数の方が多くなるかもしれないので、その場合はこの案を適用すべきでない。案2は、フィルタ件数の増減を確認しながら適用の可否を判断する必要がある。
3.実装
案1と案2のように、アドレス範囲をまとめる処理をPython, AWK, シェルスクリプトで書いた。
「ipv4.zip」をダウンロード
出来上がったフィルタの確認も含めて、処理は6段階になり、それらのスクリプトの実行順と大まかな機能とを以下に説明する。
3.1.段階1
|
動作概要
|
国別ipアドレスリストから、日本と、ブラックリスト掲載国のアドレス範囲のみ抽出し、アドレス範囲の順にソートする。
|
|
入力
|
・country_ipv4cidr.txt (国別IPアドレスリスト、詳細は補足で説明)
・blacklist.txt (フィルタで通したくない国のリスト、詳細は補足で説明)
|
|
出力
|
aaa.txt
|
|
実行方法
|
ターミナルから次のコマンドを入力
$ python 001.py | sort -k 2 >aaa.txt
|
|
補足
|
国別ipアドレスリストは、タブ区切りテキストで次の形に整形しておく。
凡例
国コード IPアドレス範囲(CIDR形式)
例
AD 46.172.224.0/19
ブラックリストはタブ区切りテキストで次の形に自分で作成する。文字コードはUTF-8。
凡例
国コード コメント ×(通す場合は◯)
例
AD アンドラ ×
|
国別ipアドレスリストは、インターネットで「国別ipアドレス」などと検索すると見つかる。国別ipアドレスはまだ変更が続いているようなので、定期的に更新すべきである。
また、ブラックリストは自分の用途に合わせて作成する。
サンプルの掲載国がEUだけでないのは、この際だから悪質なアクセスが多いロシアとウクライナもはじくことにしたためだ。(多分ウクライナのアドレスは、ロシアが隠れ蓑として使っているのだろう。)
同じように中国もはじきたかったが、それではフィルタを千件に収められないのと、GAEへは中国はあまりアクセスしてこないので割愛した。
3.2.段階2
|
動作概要
|
案1に書いた方針で、日本のアドレス範囲同士、またはブラックリスト掲載国のアドレス範囲同士でまとめられるものをまとめる。
|
|
入力
|
aaa.txt (段階1の出力)
|
|
出力
|
bbb.txt
|
|
実行方法
|
ターミナルから次のコマンドを入力
$ python 002.py aaa.txt >bbb.txt
|
3.3.段階3
|
動作概要
|
案2に書いた方針で、日本のアドレス範囲をまとめる。その際、まとめられるか調べる範囲(まとめた後のマスク長)を、31から2へ減らしながら順に試していく。
|
|
入力
|
bbb.txt (段階2の出力)
|
|
中間出力
|
cccXX.txt (XXは31〜02の数字)
|
|
出力
|
ccc.txt
|
|
実行方法
|
ターミナルから次のコマンドを入力
$ sh unite.sh
$ mv ccc02.txt ccc.txt
|
3.4.段階4
|
動作概要
|
段階3の処理の結果から、事前にはじくアドレス範囲(例ではニューカレドニアとしているもの)を抜き出す。その際、フィルタ条件としてGAEに設定するコマンドの形に変換する。
|
|
入力
|
・bbb.txt (段階2の出力)
・ccc.txt (段階3の出力)
|
|
出力
|
filter.txt
|
|
実行方法
|
ターミナルから次のコマンドを入力
$ diff bbb.txt ccc.txt | awk -f 004.awk - >filter.txt
|
段階4の出力は、GAEへフィルタを設定するコマンドの形になっている。他のプロバイダでは当然別の形のコマンドになっているだろう。場合によっては、そもそもコマンドでは設定でないかもしれない。その時は自分で方法を見つけてくれ。
3.5.段階5
|
動作概要
|
段階3の処理の結果から、通すアドレス範囲を抜き出す。その際、フィルタ条件としてGAEに設定するコマンドの形に変換する。
|
|
入力
|
ccc.txt (段階3の出力)
|
|
出力
|
filter.txtに追加
|
|
実行方法
|
ターミナルから次のコマンドを入力
$ awk -f 005.awk ccc.txt >>filter.txt
|
3.6.段階6
|
動作概要
|
得られたフィルタが正しいことを確認する。
|
|
入力
|
・filter.txt (段階5の出力)
・country_ipv4cidr.txt
・blacklist.txt
|
|
出力
|
結果を画面に表示する。 ・問題があればそのアドレスを表示する。 ・問題がなければ何も表示しないで終了する。
|
|
実行方法
|
ターミナルから次のコマンドを入力
$ python test.py filter.txt | awk -f confirm.awk -
|
|
補足
|
確認するのは以下の2点
・日本のIPアドレスがもれなく通過すること。
・ブラックリストの国のIPアドレスをもれなくはじくこと。
ただし、アドレス一つ一つをチェックすると大変時間がかかるので、アドレス範囲それぞれの先頭と末尾の2つのアドレスのみをチェックする。
|
4.IPv6
以上はIPv4用フィルタの作成方法であったが、同様の考え方でIPv6のアドレス範囲もまとめられる。IPv6用のスクリプト、サンプルの国別IPv6アドレスリスト、ブラックリストも添付する。
「ipv6.zip」をダウンロード
5.その他
フィルタをつけてサイトを運用してみて気がついたのだが、検索エンジンのクローラー(ボット)のことを忘れていた。ボットがアクセスできないとその検索エンジンに自分のサイトが表示されなくなる。
これは、社員や会員向けなど、アクセスするメンバーが決まっているサイトでは問題ないが、広く公開するサイトでは問題だ。今回の対象サイトは日本からのアクセスだけ通れば良いのだが、日本の検索エンジンのボットだけ通せば良いわけではない。Googleやbingのボットは”US”のIPアドレスからクロールしにきて、日本国内からの検索結果にも影響する。
そこで、うちのサイトの過去のWebアクセスログから文字列”bot”で抽出し、ロシア、ヨーロッパの検索サイトを除いてみると、だいたいGoogleとbingからのアクセスがほとんどであることが分かった。
Who isを活用してそれらの会社がボットに使用しているアドレス範囲をいくつか見つけて、通すようにフィルタの先頭に追加した。この方法ではボットが使用するアドレス範囲を網羅していないが、開けた穴からボットはアクセスしているし、実際、検索エンジンでも表示されているので、問題はないようだ。