« 2018年8月 | トップページ | 2018年10月 »

2018年9月

2018年9月14日 (金)

iOS用SDカードリーダーでできるファイル操作

とある事情で、出先で渡されるSDカードの中身(ファイル)をコピーしたり移動したりする要求が発生した。それも一度きりでなくて、定期的に何度かやらなければならない。ノートパソコンを持っていけば簡単だが、荷物は軽くしたい。
そこでiOS機器でできないかと検討してみた結果、下のような条件でできることが分かった。

◯必要な機器の検討
iPhoneやiPadにはSDカードスロットはないので、少なくとも外付けのカードリーダーが要る。今ならLightningインターフェースを使うものになるだろう。(実は以下の検討をした後で、Bluetooth経由のリーダーもありうると気がついたが、今回は探していない。)
Lightning SDカードリーダーには、下のようにいくつか製品が出ている。
・MS Products LEPLUS LP-LNRW02BK
・BELEX BLDVAC0001 iStorager
・サンワサプライ ADR-IPLSDW
・ロジテックLMR-MB15SV
これらの中から、標準サイズSDカード対応とexFAT対応していることを理由に、サンワサプライ ADR-IPLSDWを試してみることにした。ADR-IPLSDW以外の製品は、マイクロSDにしか対応してなかったり、FAT32フォーマットまでしか対応していなかったりするのだ。

◯必要なソフト
今回試したADR-IPLSDW以外も含めて、カードリーダーはそれぞれに専用のアプリをApp Storeから落として使用する。ハードとソフトの組み合わせを替えた場合の互換性はないようだ。iOS11には「ファイル」という名前のアップル純正のファイル操作アプリが付いてくるが、このアプリでもADR-IPLSDWは認識されなかった。
ADR-IPLSDW の専用アプリはPowerDriveという。どうやら中国製らしい。多分、ハードも含めて中国製で、サンワサプライはOEMで扱っているだけなのだろう。
先ほど「ハードとソフトの組み合わせを替えたら互換性はない」と言ったが、PowerDriveには無印と2.0の二種類があり、どちらでもADR-IPLSDWを動作させられる(ただし、アプリを切り替えるには、バックグラウンドに残ってるもう片方のアプリを完全に終了させる必要がある。) 。できることはほぼ同じで、2.0の方が少しだけ洗練されている気がする。2.0があるのに無印も公開されたままでいる理由ははっきりしないが、OEM先との関係があるのかもしれない。

◯検証したファイル操作
以下、×は不可、◯は可、◎は複数対象の一括操作も可、の意味
いずれのファイル操作も、SDカード内でのファイル/ディレクトリ操作のみ検証。iOSデバイスとの間のコピー、移動は未検証。
  ファイル
    新規作成 ×
    名前変更 ×
    コピー ◎
    移動 ◎
    削除 ◎
  ディレクトリ
    新規作成 ◯
    名前変更 ×
    コピー ◎
    移動 ◎
    削除 ◎

◯漢字ファイル名について
漢字ファイル名、ディレクトリ名の表示が可能。
ディレクトリに漢字ディレクトリ名をつけることが可能。
ただし、UnicodeのNFC、NFDの区別には注意。
ADR-IPLSDW + PowerDriveではNFC、NFDのどちらの漢字ディレクトリ名も表示できるし、名前をつけられるが、そのSDカードをMacに持ってくるとNFDのディレクトリは表示されない。
同様に MS-Windows に持って行った場合も異常がありうる。(同名ディレクトリが2つあるように見えるなど。詳細はこちらを参照)

◯その他、気がついたこと
・操作後にアプリがフリーズすることが多い。一旦終了して、バッグラウンドからも消して再起動すれば直る。
・刺したSDカードのトップディレクトリに、写真、動画、文書、音楽の4つのディレクトリを問答無用で作る。カード空き容量が足りなくて作れない場合は、起動できない。
・ハードには動作中を示すインジケーターがない。
・PowerDrive無印には処理中を示す表示がない。そのため、長い処理があると(例えば多数のファイルが入っているカードを挿して起動しただけで)、アプリがフリーズしたように見える。
・PowerDrive2.0にはディスクのアンマウントの操作がない。

2018年9月11日 (火)

今さらKindle

今さらKindle(キンドル)を使って見た。

◯Kindleとは
Kindleはアマゾンの電子書籍リーダーで、初登場は2007年だからもう10年経つ。もちろんその間にバージョンアップはあって、私が買ったのはKindle Paperwhiteの第3世代。
Kindleには液晶画面のモデルもあるが、基本は電子ペーパー(E-Inkとも言う)で白黒。表示の更新が液晶よりずっと遅い代わりにバックライトなしでもよく見えて、表示を更新しない間は電力を消費しない、電池が小さくて良いから端末も軽い、というのが売りだ。
同じく電子ペーパーを使った端末に楽天KOBOがあって、書店の店頭で展示してあるのをよく見るが、Kindleの方は露出がずっと少なく、アマゾン直販のみで電機店でも売ってないし、展示もない。
私は、こんな電子ペーパー端末の日常的な使用感が気になって使って見たくなった。KOBOでも良かったのだが楽天のアカウントは持ってないのでKindleになった。

◯第一印象
・思ったより画面が小さい。
・思ったより重い。
  以上2点については、楽天KOBOのイメージがあったのかもしれない。
・思ったより画面がくすんでいる。
  直射日光下なら問題ないが、室内ではLEDライトを点けたくなる。

◯書籍データ
Kindle Storeで入手できる書籍データはアマゾン専用形式(拡張子AZW)。
当然他のプラットフォームでは見られない。将来、Kindleプラットフォームが廃(すた)れたら、買った書籍も見られなくなる。
まあこれは、Kindleに限らず電子書籍全般に共通する課題だ。というのは、たとえファイル形式の問題がなくても、著作権管理付きのデータならば販売元が違えば非互換だからだ。
なお世間では、アマゾン専用形式をPDFやEPUBに変換してくれる、と称するアプリやサイトを見かけるが、なぜか説明の日本語がたどたどしい。なにやら悪い予感がするので、利用したことはない。

◯可読性
文字の大きさを変えられるので、自分の見やすい大きさにしてスラスラ読める。
しかし、挿絵は大きさを変えられない。ただの挿絵でなくて、意味のある図表だったりすると細かいところが読めずに、話の本筋の理解に影響することもある。また、場合によっては紙の書籍には載ってる図が、電子書籍版では省かれることもある。(それでも値段は紙の書籍と同じ)

◯パーソナル・ドキュメント
Kindleハードは、Kindle Storeで買った電子書籍だけでなく、ユーザーが自分で用意したデータを表示することもできる。そう言ったデータは「パーソナル・ドキュメント」と呼んで、Kindle Storeで買った電子書籍と区別される。
Kindleに自前のデータを送るには、メールにデータを添付して特定のアドレスに送る。
PDFデータをKindleで見た場合、(多くの場合)A4サイズのページを6インチ画面に表示するので、画面を拡大しないと文字が見えない。そこでページ全体を見るのにいちいちスクロールしまくり、画面表示の遅さとあいまって大変疲れる。
PDFデータを電子書籍の形式に変換することもできて、その場合は文字は見やすいが、ページの配置は崩れる。目次情報もなくなる。そのため、小説のような読み物なら良いかもしれないが、リファレンスや取説など必要な箇所を素早く読みたい本には向かない。

◯Kindleアプリ
Kindle storeで買った電子書籍は、Kindleハード以外にパソコンやスマフォでも見ることができる。そのためには、パソコンやスマフォに「Kindleアプリ」または「Kindle無料アプリ」というものをインスートルする。書籍データは、アマゾンのKindle用Cloudを経由してパソコンやスマフォに「配信」する。(通常は特に意識しなくても「同期」するが、意図的に「配信」もできる。)
前述の「パーソナル・ドキュメント」も同様にパソコンやスマフォのKindleアプリに配信できるはずなのだが、なぜかスマフォにはできてパソコンにはできなかった。
前述の通りパーソナル・ドキュメントでは目次情報が無くなるので、代わりになる「コメント」やしおりなどをパソコン上で付けたかったのだが。

◯まとめ
電子ペーパーは独特の見え方をして、液晶の欠点を補うのに良い表示デバイスだと思った。
しかし、電子書籍の将来性には疑問を持った。データの可搬性や、表示などで紙の書籍に劣るのが原因である。小説などの読み物ではまだ良いのだが、リファレンス、取説、学術書では影響が大きい。
そのため「これから本は電子書籍で買おう」と思ってた気持ちはすっかり萎(な)えてしまった。

2018年9月10日 (月)

ファイアーウォールのフィルタをまとめて数を減らす

1.背景、動機
最近、EUがGDPRとかうるさいことを言い出したので、そんならアクセスしてもらわなくて良いよ、と自分の運用するサイトにパケットフィルタを設定することにした。
しかし実際にフィルタを設定しようとしたら、Google Application Engine (今回の対象サイトの公開サービス提供元。以下GAE)には「フィルタは千件まで」という制約があり、そのままではフィルタを全部登録できないことがわかった。
そこで、フィルタをなんとか千件以内にまとめる方法を検討した。

2.フィルタの考え方
今回のフィルタの考え方は基本的に2通りある。どちらかが実現できれば十分である。
・日本からのアクセスだけを通す。(日本以外からのアクセスをはじく)
・EU加盟国からのアクセスをはじく。
両者の違いは、通しても通さなくても良い国の扱いがどうなるかにある。前者では、どちらでも良い国からのアクセスははじかれる。後者では通す。
しかし上記2つのどちらか(だけ)を採用するとフィルタが千件で足りなくなったので、折衷案を考えた。

2.1.案1
例えば、IPアドレスの範囲が表1のように並んでいて、日本からのアクセスを通すようにフィルタを作成する場合、機械的にそのままフィルタを作成すると2件のフィルタが必要になる。しかし間に挟まれた、通しても通さなくても良い国(例では”US”)のアドレス範囲を、通して良いフィルタに含めるなら、1件にまとめられる。

表1
国コード アドレス アドレス範囲 そのままフィルタ作成 フィルタをまとめる
JP xxx.yyy.zzz.000 xxx.yyy.zzz.000/32 xxx.yyy.zzz.000/32 Allow xxx.yyy.zzz.000/30 Allow
US xxx.yyy.zzz.001 xxx.yyy.zzz.001/32  
JP xxx.yyy.zzz.002 xxx.yyy.zzz.002/31 xxx.yyy.zzz.002/32 Allow
JP xxx.yyy.zzz.003

なお表2のように、通してはならない国(例では”FR”)が挟まれている場合はアドレス範囲をまとめられない。

表2
国コード アドレス アドレス範囲 フィルタ
JP xxx.yyy.zzz.000 xxx.yyy.zzz.000/32 xxx.yyy.zzz.000/32 Allow
FR xxx.yyy.zzz.001 xxx.yyy.zzz.001/32 xxx.yyy.zzz.000/32 Deny
JP xxx.yyy.zzz.002 xxx.yyy.zzz.002/31 xxx.yyy.zzz.002/31 Allow
JP xxx.yyy.zzz.003

案1のやり方でフィルタの件数はかなり減らせるが、千件以下にするにはまだ足りなかったので、次のような追加の方法を考えた。

2.2.案2
案1でまとめた後のIPアドレス範囲を見ると表3のような例が多いことに気がついた。

表3
国コード アドレス アドレス範囲 そのままフィルタを作成 フィルタ実行順を考慮
NC xxx.yyy.zzz.000 xxx.yyy.zzz.000/32   xxx.yyy.zzz.000/32 Deny
JP xxx.yyy.zzz.001 xxx.yyy.zzz.001/32 xxx.yyy.zzz.001/32 Allow xxx.yyy.zzz.000/29 Allow
JP xxx.yyy.zzz.002 xxx.yyy.zzz.002/31 xxx.yyy.zzz.002/31 Allow
JP xxx.yyy.zzz.003
JP xxx.yyy.zzz.004 xxx.yyy.zzz.004/30 xxx.yyy.zzz.004/30 Allow
JP xxx.yyy.zzz.005
JP xxx.yyy.zzz.006
JP xxx.yyy.zzz.007

表3では、ニューカレドニアのアドレス範囲があるせいで、下3つの日本のアドレス範囲を(CIDRの表記的に)1つにまとめることができない。その結果、フィルタは3件になる。(ちなみにニューカレドニアはフランスの海外領土)
ここで、フィルタの実行順を考慮すればフィルタの件数を減らせる。上の例では、ニューカレドニアの範囲をはじくフィルタを作成して先に実行するよう指定すると、残りのJPの範囲を1つにまとめて(その際、ニューカレドニアの範囲も含まれる)、通すように指定しても同じ動作になる。こうすることで上記の例ではフィルタを2件に減らせる。
なお、上記の例はニューカレドニアをはじくフィルタが1件増える代わりにより多くのフィルタを減らせるのでやる価値があるが、場合によっては減る数より、増える数の方が多くなるかもしれないので、その場合はこの案を適用すべきでない。案2は、フィルタ件数の増減を確認しながら適用の可否を判断する必要がある。

3.実装
案1と案2のように、アドレス範囲をまとめる処理をPython, AWK, シェルスクリプトで書いた。

「ipv4.zip」をダウンロード

出来上がったフィルタの確認も含めて、処理は6段階になり、それらのスクリプトの実行順と大まかな機能とを以下に説明する。
3.1.段階1

動作概要 国別ipアドレスリストから、日本と、ブラックリスト掲載国のアドレス範囲のみ抽出し、アドレス範囲の順にソートする。
入力 ・country_ipv4cidr.txt (国別IPアドレスリスト、詳細は補足で説明)
・blacklist.txt (フィルタで通したくない国のリスト、詳細は補足で説明)
出力 aaa.txt
実行方法 ターミナルから次のコマンドを入力
$ python 001.py | sort -k 2 >aaa.txt
補足 国別ipアドレスリストは、タブ区切りテキストで次の形に整形しておく。
 凡例
  国コード IPアドレス範囲(CIDR形式)
 例
  AD 46.172.224.0/19

ブラックリストはタブ区切りテキストで次の形に自分で作成する。文字コードはUTF-8。
 凡例
  国コード コメント ×(通す場合は◯)
 例
  AD アンドラ ×

国別ipアドレスリストは、インターネットで「国別ipアドレス」などと検索すると見つかる。国別ipアドレスはまだ変更が続いているようなので、定期的に更新すべきである。
また、ブラックリストは自分の用途に合わせて作成する。
サンプルの掲載国がEUだけでないのは、この際だから悪質なアクセスが多いロシアとウクライナもはじくことにしたためだ。(多分ウクライナのアドレスは、ロシアが隠れ蓑として使っているのだろう。)
同じように中国もはじきたかったが、それではフィルタを千件に収められないのと、GAEへは中国はあまりアクセスしてこないので割愛した。
3.2.段階2

動作概要 案1に書いた方針で、日本のアドレス範囲同士、またはブラックリスト掲載国のアドレス範囲同士でまとめられるものをまとめる。
入力 aaa.txt (段階1の出力)
出力 bbb.txt
実行方法 ターミナルから次のコマンドを入力
$ python 002.py aaa.txt >bbb.txt

3.3.段階3

動作概要 案2に書いた方針で、日本のアドレス範囲をまとめる。その際、まとめられるか調べる範囲(まとめた後のマスク長)を、31から2へ減らしながら順に試していく。
入力 bbb.txt (段階2の出力)
中間出力 cccXX.txt (XXは31〜02の数字)
出力 ccc.txt
実行方法 ターミナルから次のコマンドを入力
$ sh unite.sh
$ mv ccc02.txt ccc.txt

3.4.段階4

動作概要 段階3の処理の結果から、事前にはじくアドレス範囲(例ではニューカレドニアとしているもの)を抜き出す。その際、フィルタ条件としてGAEに設定するコマンドの形に変換する。
入力 ・bbb.txt (段階2の出力)
・ccc.txt (段階3の出力)
出力 filter.txt
実行方法 ターミナルから次のコマンドを入力
$ diff bbb.txt ccc.txt | awk -f 004.awk - >filter.txt

段階4の出力は、GAEへフィルタを設定するコマンドの形になっている。他のプロバイダでは当然別の形のコマンドになっているだろう。場合によっては、そもそもコマンドでは設定でないかもしれない。その時は自分で方法を見つけてくれ。
3.5.段階5

動作概要 段階3の処理の結果から、通すアドレス範囲を抜き出す。その際、フィルタ条件としてGAEに設定するコマンドの形に変換する。
入力 ccc.txt (段階3の出力)
出力 filter.txtに追加
実行方法 ターミナルから次のコマンドを入力
$ awk -f 005.awk ccc.txt >>filter.txt

3.6.段階6

動作概要 得られたフィルタが正しいことを確認する。
入力 ・filter.txt (段階5の出力)
・country_ipv4cidr.txt
・blacklist.txt
出力 結果を画面に表示する。
・問題があればそのアドレスを表示する。
・問題がなければ何も表示しないで終了する。
実行方法 ターミナルから次のコマンドを入力
$ python test.py filter.txt | awk -f confirm.awk -
補足 確認するのは以下の2点
・日本のIPアドレスがもれなく通過すること。
・ブラックリストの国のIPアドレスをもれなくはじくこと。
ただし、アドレス一つ一つをチェックすると大変時間がかかるので、アドレス範囲それぞれの先頭と末尾の2つのアドレスのみをチェックする。

4.IPv6
以上はIPv4用フィルタの作成方法であったが、同様の考え方でIPv6のアドレス範囲もまとめられる。IPv6用のスクリプト、サンプルの国別IPv6アドレスリスト、ブラックリストも添付する。

「ipv6.zip」をダウンロード

5.その他
フィルタをつけてサイトを運用してみて気がついたのだが、検索エンジンのクローラー(ボット)のことを忘れていた。ボットがアクセスできないとその検索エンジンに自分のサイトが表示されなくなる。
これは、社員や会員向けなど、アクセスするメンバーが決まっているサイトでは問題ないが、広く公開するサイトでは問題だ。今回の対象サイトは日本からのアクセスだけ通れば良いのだが、日本の検索エンジンのボットだけ通せば良いわけではない。Googleやbingのボットは”US”のIPアドレスからクロールしにきて、日本国内からの検索結果にも影響する。
そこで、うちのサイトの過去のWebアクセスログから文字列”bot”で抽出し、ロシア、ヨーロッパの検索サイトを除いてみると、だいたいGoogleとbingからのアクセスがほとんどであることが分かった。
Who isを活用してそれらの会社がボットに使用しているアドレス範囲をいくつか見つけて、通すようにフィルタの先頭に追加した。この方法ではボットが使用するアドレス範囲を網羅していないが、開けた穴からボットはアクセスしているし、実際、検索エンジンでも表示されているので、問題はないようだ。

2018年9月 7日 (金)

北海道電力の大規模停電の原因は

北電大規模停電の原因は、つきつめると北電の規模が小さいせい、ということのようだ。
規模が小さいから一カ所の火力発電所の比重が大きくなる。だから1カ所が止まると影響が大きいのだ。
実は、北海道と本州の間には電力ケーブルが引いてあって、本州側から北海道に電力を融通する仕組みがあるのだが、今回のような緊急時に対応するには問題が2つある。
まず容量が90万kwで、今回止まった発電所の容量に足りない。これでは不十分だろう。せめてどの発電所でも1カ所が止まるだけなら大丈夫なところまで容量を増やすべき 。
2つめは、電力融通は一瞬にはできず、電力会社の間で話をしないとならないことだ。夏場の東電が電力融通を受ける場合ならば、あらかじめ他の会社に話を通してあってスムーズに行くだろうが、こういう突発事態ではそうはいかない。少なくとも本州側で発電所の出力を上げるまで数分はかかるはずだ。これに対応するには、即応できる一時的な電源が要る。東電の場合は大容量のNAS電池を設置しているので、それにならって北電も投資しないとならないだろう。
また今回は「需給バランスが崩れたから全部止めた」のだが、そうではなくてバランスできるように停電の範囲を限れば、他の火力まで止めることはなかったろうし、多くの発電所で再起動の問題は起きなかったはずだ。そういう制御方法にシステムを変えるべきだろう。

以上から、大規模停電のより深い原因は、火力発電所が1カ所止まるという十分想定可能な事態に北電がマジメに対策せず、その結果、電力融通の容量も非常電源の設置もシステムも不十分なままで置いておいたことなのだろう。

(2018/9/16追記)
テレビで「もし泊原発が動いていたら今回のような大規模停電はなかった。」と言ってる人がいるが、私には彼らの論理がわからない。
彼らの主張によると、苫東厚真発電所が地震で止まっても、泊原発が動いていたら発電力の余裕があって大規模停電にはならなかったと言う。
しかし、この説の通りに大規模停電にならずに済むにはいくつか前提があるはずだ。一番大きいのは「北電が日頃から、需要を上回る電力を発電していること」だ。(余剰の電力量としては、どこか発電所一カ所が止まっても対応できるだけあるのが望ましい。)
彼らは、もし泊原発が動かせたら北電はそうしていたはずだ、と言いたいのかもしれないが、私にはそう思えない。なぜなら実際の北電は、苫東厚真発電所がもし止まったら一大事になることを認識していたのに、他のいくつかの発電所を止めていたからだ。別に定期点検があったわけでもないのに。
してみると、もし泊原発が動かせたとしても、北電はやはり他の発電所を止めて需要ギリギリの発電しかしなかっただろう。それで地震で止まるのが泊原発だったら、結局今回と同じように大規模停電になるしかない。
北電になかったのは、設備容量ではなくて、経営余力ではないのか。明け透けに言うと、無駄に捨てる電気のために燃料や発電所の稼働に払う金だ。

« 2018年8月 | トップページ | 2018年10月 »