読者です 読者をやめる 読者になる 読者になる

ある研究者の手記

セキュリティとかゲームとかプログラミングとかそのへん

悪意のあるドメイン名のブラックリストをまとめて取得・管理するツール mdstore を公開しました

悪意のあるドメイン名のブラックリストを取得・管理する mdstore というツールを作って公開しました。

github.com

世の中にはフィッシング詐欺マルウェアによる攻撃に使われるドメイン名のブラックリストを公開しているサービスがいくつかあります(参考)。近年はDGA(Domain Generation Algorithm)を利用したマルウェアもあるためブラックリスト化だけでは追いつかない場合もありますが、それでも既知の攻撃に利用されるドメイン名の名前解決を発見もしくは防止できれば、水際で攻撃による被害を食い止められる可能性があります。

ただ、このようなブラックリストは提供しているサイトによってカバーしている領域などが違うため、ブラックリストごとに違うドメインが扱われています。多くのドメインを網羅しようとすると複数のサイトからデータを取得する必要がありますが、フォーマットが異なるなどの理由から一手間必要です。

このツールは複数のブラックリストをローカルにダウンロードし、DBに投げ入れて管理・利用することで、この一手間を簡略化しようというものです。2017年1月7日現在、以下の3サイトからデータを取得します。

注意:ブラックリストを提供している各サイトの利用規約では基本的にinternalな利用は認めているようですが、特に商用利用などをする場合には詳細をご自身でよく確認してください。

使い方

セットアップ

本ツールはnodeで動作し、redisにデータを格納します。動作を確認しているバージョンは以下のとおりです。

  • node: v7.2.1, v6.0, v6.1
  • redis: v3.2.6

インストールは環境に合わせてよしなにやってください。その後、npmを使ってmdstoreをインストールします。

$ npm install -g mdstore

パスを通すのが面倒でなければカレントディレクトリへのインストール(上記コマンドから-g を抜く)でも問題ありません。

さらにツール利用前にredis-serverが動作していることを確認してください。

  1. install mdstore by npm npm install -g mdstore
  2. start redis server, e.g. redis-server &

またデフォルトのredis server接続先 (localhost, port 6379, db 0) 以外を使いたい場合はオプションで指定できます。

  • -s or --host: redis server host
  • -p or --port: redis server port
  • -d or --db: redis server db

ブラックリストの更新

update コマンドを使うことで各サイトのブラックリストをダウンロードし、DBへの格納までを実施します。すでに対象のドメイン名が存在する場合は、取得したという履歴が追記されます。現在サポートしているサイトは3サイトだけですが、hpHostsが特に件数が多いため完了までに2〜3分かかります。

$ mdstore update
update: OK

ドメインを探す

get コマンドを使うことであるドメイン名が存在するかどうかを調べることができます。下記では例として 151.ru というドメイン名が存在しているかどうかをクエリしています。

% mdstore get 151.ru
2017-01-06T14:44:05.347Z { source: 'hphosts', ts: 1483713845.347 }

左のカラムが対象となるブラックリストをダウンロードした時刻になります。右側のtsのフィールドがタイムスタンプでこれをDateに変換したものです。ドメイン名がブラックリストに追加された時刻ではない点に注意してもらえればと思います。sourceはブラックリストの取得元を表しており、hphostsdnsbhmvpsのように表示されます。

その他、データの取得元で掲載されている項目に応じて追加のメタ情報が表示されます。

/etc/hosts の生成

ローカルのredisに保存してあるデータをもとに、悪意のあるドメイン名を 127.0.0.1 に強制的に変換する /etc/hosts を生成します。これを /etc/hosts と置き換えることで悪意のあるサーバと通信する可能性を低減させることができます。

$ mdstore hosts > hosts.txt
$ head hosts.txt
127.0.0.1       localhost
::1     localhost
127.0.0.1       www.wwsupport.net
127.0.0.1       www.memdesign.co.uk
127.0.0.1       www.titanweb.net
127.0.0.1       www.livingston.rs
127.0.0.1       iphonesupport.co.uk
127.0.0.1       up1702.info
127.0.0.1       dcstest.wtlive.com
127.0.0.1       ad.doubleclick.net.34325.9225.302br.net
$ sudo cp hosts.txt /etc/hosts         # Linuxの場合
$ sudo cp hosts.txt /private/etc/hosts # macOSの場合

データへのアクセス

CLIでアクセスする以外には、ローカルのredisに格納したデータはmdstoreのライブラリを使って参照することができます。以下のようなnodeのコードでアクセスできます。DNSの問い合わせログを持っている場合、自分でコードを書くことで不審なサイトへのアクセスがなかったかを確認できます。

var mdstore = new (require('mdstore')).Redis();
mdstore.update((err) => {
  // synced
        mdstore.get('is.the.domain.malicious.com', (err, res) => {
          if (res.length > 0) {
                  console.log('yes, the domain name is malicious');
          } else {
                  console.log('no, this is benign');
                }
        });
});

また、当然ですがredis serverに直接クエリすることも可能です。ただし、履歴データはMessagePackでエンコードされているので直接人間が読むのはちょっと難しいです。一応、以下のような1 linerで表示させることはできます。

$ redis-cli --raw lindex 151.ru 0 | node -e "process.stdin.pipe(require('msgpack-lite').createDecodeStream()).on('data', console.log);"

Oculus Riftはいいぞ。最高だ

f:id:mztnex:20160502221750j:plain

1月ごろ事前予約開始したのを偶然知り、9万円以上という値段に一瞬たじろぎながらも完全にノリと勢いだけで注文したOculus Riftがついに先週自宅に届いたのですが、この一週間毎日遊んだ感想をまとめておきたいと思います。ひとことで言うと、自分がこの十年の間に触ったガジェットの中では最高に興奮しました。やばい。Oculus Riftやばい。

ご存じない方のために念のため説明しておくと、Oculus RiftHMD(ヘッドマウントディスプレイ)の一種です。これまでのHMDは頭を動かすと自分の頭についているHMD本体も一緒に動くため、映像も一緒に動いてしまうので単純に「頭に普通のディスプレイをくっつけているだけ」に等しい状態でした。しかしOculus Riftは内部・外部にセンサーがあり「頭を動かすと見えている映像も追随して動く」という機能を実現しています。このような製品は総称してVR(バーチャルリアリティHMDなどと呼ばれており、HTC VivePlayStation VRもその仲間です。どういうことが起きるのかの雰囲気は以下の動画からどうぞ。

www.youtube.com

まず総評

自分の語彙のなさが歯がゆいのですが、とにかくまず言えることは没入感が半端なくすごいです。センサーで頭の動きを追跡して映像を追随させる、と言われると「どうせ微妙に位置がずれたり反応がぶれたりするんでしょう?」と思うかもしれません。というか、自分自身がそう思っていたのですが、使ってみると完璧と言って差し支えないほどの精度で映像が動くという点に驚愕しました。格ゲーをやりこんでいるような人だとフレームレートの違いが認識できるらしいので、そのレベルになるとひょっとしたら違和感を感じるのかもしれませんが、私のような一般人にしてみると映像の動きはリアルと全く変わらないと感じました。一人称視点の映像だと完全にその世界に入りこんで「どこだここ!?」みたいになります。

もう一つすごいと思ったのはコンテンツの可能性の幅の広さです(コンテンツそのものの量はまだそれほど多くない)。今までVRはゲームに使うものだよね的な議論が多かったような気がしていますが、思った以上にいろいろな分野で応用できるのではないかと感じました。ゲームも一人称視点のものに限られるかと考えていたのですが、三人称視点のゲームとかシムシティのようなシミュレーションゲーム、あるいはリアルタイム戦略ゲーム(RTS)にも応用できる可能性があります。詳しくは後述。

とにかくこればかりはいくら言葉で語っても伝わらないかもしれないので、ひとりでも多くの人に体験してもらえればと思う次第です。

やってみたコンテンツ

ここからは実際に自分がさわってみたゲームと感想をつらつらと載せていきます。

EVE: Valkyrie

www.youtube.com

一人称視点のシューティングゲームです。有名どころで言うとエースコンバットみたいな感じですね。ゲームとしては昔からあるようなものなのですが、Oculus Riftによる没入感で「俺、パイロットになってる!!」感が味わえます。最初に発進で射出される場面などは思わず「うわあああああ」って声がもれてしまうような迫力ですし、右や左、さらには後ろをみても宇宙空間が広がっており、完全に気分はマクロスとか宇宙戦艦ヤマトの戦闘機です。これでロボットだったらガンダムだったんだが、、、と思うところではありますが、間違いなく近々ロボット版をどこかが開発・発売すると確信できるほどロボットものとVRは相性がいいと思わせてくれるゲームでもあります。グラフィックスも綺麗なので、迫力があって楽しいです。

ゲームとしては3次元空間を飛び回って敵を撃墜したりしていくのですが、プレイとしての大きな違いは視野の大きさと視点移動の概念が大きく変わった点でしょう。Oculus Riftは視野角が100〜110度あるらしいので、格段に目でとらえることができる範囲が広がっています。さらには視点も現実と同じ感覚で動かせるので、レーダーだけに頼らず360度敵を目で追いながら戦うということができます。レーダー機能ももちろなるのですが、近距離で高速旋回する相手のユニットを目で追いながら戦えるだけで全然違う体験でした。

単純にゲーム性としてはだいぶ難しくてまだ撃墜されるばかりなのですが、毎日こつこつやっています。全体的にみるとこれまでプレイした中で一番完成度が高いゲームだと感じています。

Lucky's Tale

www.youtube.com

3D空間でキャラクターを動かしてステージをクリアしていく、いわゆるNINTENDO 64ゲームキューブのマリオに近いゲームです。三人称視点なんだから別にこんなHMDつけてやらなくても、と思うかもしれませんが、自分の目の前にそのフィールドそのものがあるというのは想像以上の新鮮さを与えてくれました。いってみれば、自分の机の上に箱庭があって、そこでキャラクターを動かしているような感じでプレイができます。ゲーム性でみても単純にキャラクターを動かしてステージをクリアしていくだけなんですが、これがVR視点になったとたん思った以上に楽しい。マリオなどの視点移動もかなりよく出来ていたとは思いますが、これをプレイすると今まで3Dの三人称視点のゲームでどれだけ視点移動・調整にストレスを感じていたのか気付かされます。

あと、これはゲームやコンテンツによって違うので一概には言えないようですが、このゲームではいわゆる「覗き込み」ができます。つまり体を乗り出すことによって建物の裏側にあるアイテムが見えたり、体を動かして少し先にあるステージの状況が見えたりします。なので自分が動きながら「何かを探す」というアクションができ、ゲームの幅が広がるなと感じました。このあたりは本来は広い空間を動きまわることを想定したHTC Viveの方が強いのかもしれませんが、Oculus Riftでも十分に仮想空間を感じ取れました。

また、このような「箱庭のようなものを三人称視点で見ながらゲーム」というコンテンツがVRで成り立つとすると、かなりいろいろなジャンルに応用ができるのではと思います。例えばシムシティのようなシミュレーションであっても、自分が作った街を上空から覗き込みながらプレイするというやりかただと違った楽しみ方が生まれると思います。さらにVR HMDと組み合わせて使うVR用グローブも開発中のようなので、シムシティでも模型を置いたり取り除いたりするような感覚で街を作る、というようなインターフェースも実現できると考えられます。他にもリアルタイム戦略シミュレーション(RTSエイジ・オブ・エンパイア シリーズStarCraftシリーズなど)も、これまではマウスを使ってユニットや建造物の操作をしていましたが、例えばイメージとしては動くミニチュアを手で操作しながら戦わせる、というようなインターフェースも考えられると思います。さらにはオンラインのカードゲーム(HearthStoneなど)であっても、本当に対戦相手と対峙しているかのような空間でプレイでき、FaceRigのような技術と組み合わせれば「対面にいるのはゲームキャラクターなんだけどちゃんと対戦相手の表情が伝わってくる」というようなゲーム空間が作り出せます。(それでプレイヤーが楽しくなるかキレやすくなるかは難しいところですが 苦笑)

www.youtube.com

なにはともあれ、そういった観点から新鮮な驚きを与えてくれるゲームでした。

Windlands

www.youtube.com

こちらは一人称視点で飛んだり跳ねたりしてステージを進んでいくタイプのアクションゲームです。ワイヤーのようなものを木に引っ掛けながら飛び回るのが特徴です。古い人間なんでゼルダの伝説のフックショットみたいなもの、というのをまず連想したのですが、スパイダーマンの蜘蛛の糸や進撃の巨人にでてくる立体機動装置をつかって飛び回る…といったほうがイメージとして近いかもしれません。このゲームはHTC Viveだと両手でそれぞれ持つ専用インターフェースを使ってプレイするようなのですが、Oculus RiftでもXbox用のコントローラで普通にプレイできます。

一人称視点のアクションゲームであり、(ちょいグラフックは雑な感じがするものの)世界を冒険するみたいな感じのプレイ内容になっており、まさにVRの本懐!といったようなゲームなのですが、実際のところ個人的にはこれが一番激しく酔って辛かったです。VRに限らずこの手のアクションゲームではよくあることですが、プレーヤーに人間離れした跳躍力があるため激しく飛んで激しく落ちていきます。ゲーム性の点からは別に不自然でもなんでもないのですが、リアルな映像として脳に入ってくると「視覚は動いていると言っているのに、体は動いてない(加速度を感じない)よ?」ということになり、お脳が混乱します。万人が同じ感想を持つかわかりませんが、夢のなかで落下しているという状況に近い気持ち悪さがあります。また、EVE: Valkyrieのような広い空間を高速に移動するのではなく、床や壁などがかなり近くにあり、「視覚が移動している」ということを強烈に認識しやすいことも原因だと思います。ひっとしたらジェットコースターとかが好きな人だとわりと大丈夫なのかもしれません(自分はジェットコースター駄目派です)。あと、飛ぶだけではなく落下を繰り返すということもあって緊張しているのか、このゲームだけめちゃくちゃ手汗をかきました。

ということで、体験としてはなかなかおもしろいのですが圧倒的に消耗が激しく、自分は1日あたり20分くらいのプレイが限界でした。でも刺激的です。

動画再生・デスクトップ表示アプリ

このあたりを試してみました。

www.youtube.com

Windowsのデスクトップそのものやただの動画をVR上の空間に投影するだけのアプリケーションなのですが、これもまたいろいろと可能性を感じます。これまで、VRではないHMDを使った動画再生は映画館のような迫力があると言われつつも、頭を動かすと画像も動いてしまう違和感があり微妙と言われてきた気がします。これらのアプリケーションはデスクトップや動画を仮想空間にうかぶ空中ディスプレイのように表示したり、仮想空間上の壁面に投影したりします。例えばCINEVEOは映画館での上映を模したVR空間に動画をスクリーン投影しますが、Oculus Riftの没入感に加えてわざわざ映像の光が壁に反射するのを再現していたり、当然ながら頭を動かせば他のお客さんが見える、といった演出から本当に映画館にいるような錯覚を覚えます。

f:id:mztnex:20160503121719p:plain http://www.mindprobelabs.com/cineveo_themes.htmlより

CINEVEOはmp4などの動画ファイルを用意する必要がありますが、BigScreenはデスクトップの映像をそのまま表示するので、直接VRに対応していないWeb系のストリーミングサービス(ニコ動、バンダイチャンネル、AbemaTVなど)でも映画館のような環境で再生可能です。また、Whirligigは魚眼レンズ x 2で撮影したような動画を擬似的な3DとしてOculus RIftで見ることができます(この場合、映像の範囲は前方180度に限られていました)

空中ディスプレイにデスクトップが移るので、攻殻機動隊の電脳世界のようにこれで作業できたらカッコいいのに…!と思ったのですが、解像度があまりよくないという問題(後述します)があるため、例えば空中ディスプレイ上でコードを書くというのは現状かなり厳しいのではという状況です。ただ、先述したVRグローブ等と組み合わせることで新しいユーザインターフェースが期待できるため、あるいは現在マウスでやっているようなアプリケーションの作業をVRに置き換えるという時代は来るかもしれません。

その他

その他に以下のようなゲームを試してみました。

InCell VR

InMind VR

www.youtube.com

それぞれVRのサンプルのような位置づけのコンテンツです。ゲーム性は大してないのですが「VRで仮想空間を高速移動する」という体験ができます。

MIND Path

www.youtube.com

あまりのホラー感に開始3分で音を上げました(お化け屋敷ダメです)これは別にホラーというわけではないのですが、あまりに没入感すごいので、暗い屋敷みたいな空間でいきなりゾンビとかが脅かしにでてきたら心臓が止まる自信があります。今後も自分はホラー系をプレイしないですが、逆に好きな人には最高だと思います。

www.youtube.com

MocuMocuDance

MMDのモデルを表示するソフト。まじかで見る等身大ミクさんかわいいです。 Leap motionと組み合わせてボーンの操作ができるようで、はやくも手の動きをセンスするインターフェースとの組み合わせの良さを見せてくれています。

Oculus Riftの課題

さて、散々持ち上げた後でなんですが…ぶっちゃけ結構いろいろな課題があると思います。

お値段

非常に高価だと思います。まず本体が送料込みで94,600円、さらに接続先のPCの最低推奨スペックとしてCPU i5-4590+Graphci Card: NVIDIA GTX970以上を要求してくるので、コアPCゲーマでもないかぎりは少なく見積もっても10万強のPCに買い換える必要があります。よって現状では合計20万円以上の初期投資が必要であり、なかなかハードルが高いというのは否めません。

画質がいまいち

没入感すごい!という話をさせてもらったのですが、よくよく画面をじーっと見つめると結構粗が目立つ解像度として見えます。screen-door effect(網戸効果)というらしいのですが、そもそもディスプレイ部分に眼球が近すぎるため本来の解像度より粗く見えてしまうようです。そういう意味ではふと画像の粗さに気づいて「あ、仮想空間なんだな」と時々思い出すレベルになっています。逆に高い解像度で見えるようになったら現実より現実っぽい仮想空間ができあがるのではと思うので、今後の技術の向上に期待です。

メガネ

当方完全にメガネ野郎なので結構深刻な問題です。構造的には顔に密着するようになっているため、持っているメガネを無理やり装着しようとするとすべからくフレームがへしゃげそうになり、そのまま使うのを断念しました。結局どうしたかというと、ひとまずは昔のメガネを分解してレンズの前におき、無理くり対応しています。いろいろな対応策が考えられてはいるようですが、個人的には生まれて初めてコンタクトレンズの購入を検討しているところです。

f:id:mztnex:20160503000921j:plain こんな感じ。意外と置いただけでもまあまあなんとかなる。

酔う

正直なところ、これが最大の問題だと思います。Windlandsの解説でも書いた通り、そもそも移動がともなうコンテンツだと「視覚情報では加速度がかかっているはずの状態なのに体は加速度を感じていない」というミスマッチが必ずおきるので、体に負担?がかかっているような気がしてきます。ここ数年乗り物酔いや普通のディスプレイでFPSとかのゲームをやって一切酔ったことがない自分でも、ものによっては1時間ぐらいでちょっとキツくなってきます。これはもう人類が進化して三半規管とかがそういう視覚情報と体感加速度のギャップとかに対応するとかしないといけないのかもしれませんが、どうにか解消してくれないかなぁと思う点ではあります。

まとめ

買いか買いじゃないか、と聞かれたらまだ普及期には至っていない、というのが正直な感想です。お値段+諸問題と得られる効果を考えるとちょっと面白そう、というノリで買えるおもちゃではないと思います。しかし、個人的には十分なインパクトがありVRの可能性を大いに実感できる製品だったことは間違いありません。例えるなら、1980年代に給料一月分ぐらいするようなコンピュータを一部のマニア層だけが買って、可能性を感じながらもほそぼそといじっていた黎明期に近いと思います。このOculus Riftが現行の値段・性能でそのまま普及するとは自分も思いませんが、5年後、あるいは10年後にVRというものがなんらかの形で社会の一部で使われているだろう、ということは確信できます。

ということで、Oculus RiftにかぎらずHTC ViveでもPlayStation VRでもいいのですが、ぜひこれらの製品に触れられる機会があれば一度体験することをお勧めします!

『見て覚えろ』の後ろには屍の山がある

仕事 ポエム

www.recomtank.com

ちょうど職場でも新しいメンバーの教育問題がいろいろ議論されているところで、この記事を見て思ったこともいくらかあったのでつらつら書きなぐってみます。

上の人がみんな「俺は見て覚えた」というのは生存者バイアス(の可能性が高い)

どことは言いませんが、マニュアル化された教育法がない世界では確かに「自分は先輩を見て覚えた。だからお前もそうしろ」という言説をよく見かけます。できる上の人達はみんな口をそろえて言うため、それに従えば自分もできる人になれるのか、と思ったり思い込んだりしてします。しかしそれは「上を目指していた人たちが全員そのように上へあがっていた」のではなく「そのような教育方法でも生き残った人たち」なのであり、ただの生存者バイアスに過ぎません。そのやり方についていけなかった人たちがその組織・業界を去っていった結果、残った人たちなのであって、その後ろには屍の山が築かれています。個人的な経験の中でもそういった人たちをいろいろな場面で見てきました。

育てたい人物像をイメージ出来ているか

『最初から教えてばかりだと、考える能力が身につかない』という論もあり、この言葉が完全に間違いではないと思います。ただ、まずこれは程度問題であり、育てたい人物像と設定するハードルの高さのバランスを考える必要があると思います。

例えば本当の超少数精鋭を育てたいのであれば、ほぼ突き放してついてこれた人だけがその組織・業界に残る、ということもあり得ると思います。ただし先程も書いた通り、その後ろには山のような屍が築かれ、その道を志した100人に1人とか、もっとひどければ10000人に1人しか残らない、みたいな話もありえると思います。HxHのハンター試験みたいなものです。貪欲に自分で学習し、人のスキルなどを盗んでいく超逸材だけが残っていくことでしょう。ただし、このモデルは本当に人数を増やす必要が無い場合か、それだけ厳しい道でも志願する人が後を絶たない、といったような状況でなければ成立しないでしょう。

一方で超逸材がいなくてもいいが(いてもいいけど)仕事として100点満点中80点をちゃんととれる人が増えてほしい、という場合だと、全て「自分で勝手に学べ」モデルは非常に相性が悪いと思われます。一般的な企業や組織はほとんどがこちらに該当すると思われます。特に事業などの規模を拡大させたい場合は100人雇って1人しかものになりませんでした、では話になりません。こういった場合は先のブログで書かれていた通り、マニュアル化された作業手順や教育方法があってしかるべきだと考えます。

そもそも「マニュアル化できない」とはどういうことなのか

ちょっと自分のいる業界に偏ってしまいますが、基本的にマニュアル化できない仕事というのは、人によって過程や結果が異なることを許容する 仕事だと考えられます。以下、その例をあげてみます。

  1. 何かを自ら創造するような仕事(システム・ソフトウェア設計、新しい企画の立案)
  2. 前提条件の想定が難しく条件の組み合わせも複雑であり、条件の網羅が困難なもの(トラブルシューティング、インシデントレスポンス)
  3. 試行錯誤しながら進めないといけないもの(新しい機器の検証、探索的データ分析)

確かに上記のような仕事について全てマニュアル化するのはかなり難しいとは思います。しかし、全てをマニュアル化するのは難しいとしても、部分的にはいろいろマニュアル化(ないしは定型的な教育によって身につけた手順によってできるもの)できそうではないでしょうか? 例えばソフトウェアの設計などはどのような道筋でやるべきかという教本はいろいろありますし、トラブルシューティングでもまずはこれをチェックしろ、みたいな初動のマニュアルは作成できそうです。

最終的に人間が考え、発想し、創造する必要のある仕事は確実にあると思います。しかしそのためには、どこからが機械的に作業して(あるいはもう機械に作業させてもいいわけで)どこからが人間の判断の力を発揮しなければいけないか、という線引をすることが重要なのではと思います。

あと、基礎力の必要性などについてもちょっと書きたかったですが、夜更かしが過ぎてきたのでこの辺で。

博士の愛した就活(採用プロセス編)

ポエム 仕事

前回からの続き。

ちょうど経団連的新卒採用プロセスがはじまったということで、博士課程をしている後輩によく話していることをまとめました。この話は私が経験した情報科学系のごく狭い範囲の知見を元に書いていますが、現在博士課程の人やこれから博士課程に進もうと考えている人の参考になれば幸いです。また、主に企業への就職を中心に話をします。

前回は就職先の選び方について書きましたが、では実際に就職しよう!として動き出した時にどういうアプローチで内定をもらうか、という部分についてです。1) 新卒採用プロセスに乗る、2) 中途枠・オープンポジションを狙う、3) つてを頼る という三本立てでお送りします。

1) 新卒向け採用プロセスに乗る

いわゆる説明会に参加して、エントリーシートをだし、何度か面接を経て採用、という学部生や修士生と同じパターンです。博士の場合は例外扱いになるケースも有りますが、こういった新卒採用プロセスを持っている会社の場合はだいたいそこに組み込まれることが多いと思います。細かい対策については学部や修士のものとほぼ変わらないのでSPI対策本などを読んでおく感じでしょう。

時期的な制約が強い

このアプローチで気をつけなければいけないのは、プロセスに乗れる時期が1年のうちに限られているという点です。2017年卒の場合は2016年6月から採用試験がはじまるので、2017年3月に卒業することを前提に2016年6月から就職活動をはじめなければなりません。

学部や修士過程では単位を落とすなどのミスをしないかぎりは決まった時期に卒業できるので「お前は何を言っているんだ」という感じかもしれませんが、ほぼ学内で卒業までが完結する学部や修士と違い、博士課程の卒業審査は学外の要素がからんでくるため、卒業時期が不安定になりやすいというリスクがあります。博士課程の在籍経験がある人はよくご存知かと思いますが、博士過程を卒業するためには研究をして博士論文を書くだけではなく、論文誌への掲載や国際学会での発表という要件が明示的・暗黙的かを問わず存在します。論文誌や国際学会での採択は学内でコントロールできるものではなく、外部の査読者に掲載や発表を了承してもらわなければなりません。これは容易なことではなく、1度の投稿には構想・実験・論文執筆に数ヶ月を要しますし、下手をすると何度投稿しても掲載・発表拒否となることもあります。こういったものが卒業条件(あるいは卒業を決めるためのプロセスの条件)に加わることで希望通りの時期に卒業できないというケースが起こりえます。そのためこの新卒向けプロセスに乗る場合、(例えば2017年卒予定だとすれば)2016年6月には論文誌や国際発表が完了・あるいは見通しが立っている状態にして、6月からは就職活動に時間を割き、その後に研究まとめ、博士論文執筆や発表をこなすということを手際よく進め、2017年3月にちゃんと卒業する、というところまでをやりとげなければなりません。

採用プロセスの課程が分かりやすい

このアプローチは時期の制約が厳しい代わりに、採用プロセスが比較的分かりやすいと言えます。中途枠や例外的な扱いになると他に参考事例が無いので、自分が今どういう状況に立っているのか(採用が進んでいるのか停滞しているのか)ということが不明瞭になりがちです。これが(ある程度大きい企業に限るかもですが)新卒採用のプロセスになると同じプロセスをやっている別の学生が一定数以上いることになります。就職希望の他の学生の方と状況をシェアできることもあるかもしれませんし、過去の事例からおおよその状況を把握できます。あくまで自分の立ち位置がわかるという程度のものですが、戦略的に複数の企業の採用面接を受けている時にはメリットになると考えられます。

2) 中途枠・オープンポジションを狙う

外資ベンチャーだと、そもそもあまり体系だてて新卒採用を実施しておらず、誰でも応募できるオープンポジションという形で募集をしているケースが多く見られます。また日本企業でも中途採用という形で新卒以外の採用希望者を雇用しているため、そこから採用プロセスに乗せてもらうというアプローチがあります。

業務内容が明確で採用プロセスも比較的柔軟

中途枠・オープンポジションはそれぞれ求められる技能や採用後の業務内容について、ほとんど事前に明示的に説明されています。前回でも少し書きましたが、新卒採用プロセスによる就職は採用後の業務内容が明示されないケースが少なからずあります。また、例えば面接中に口頭で説明されれる場合もありますが、所詮は口約束なので会社の都合によっていつの間にかに変わっている場合もあります。もちろん会社都合による業務の内容は中途枠・オープンポジションでも発生する可能性はありますが、最初から業務内容が曖昧な採用プロセスと明確なプロセスでは対応が違ってくると思われます。

また、面接・雇用タイミングの融通がききやすいというアドバンテージもあります。先述の通り、新卒採用のプロセスでは面接などの時期が限られており、内定、ないしは内々定から実際の雇用までにかなり期間があります。経団連の施策によってかなり後ろだおしされたものの、それでも約半年ほどの差があります。それに対して中途やオープンポジションの場合は採用決定後、かなり早い時期で雇用が始まると聞いています。そのため、例えば博士号の審査に関するどたばたも終わり、卒業までのいくらかの期間の間に就職活動をして就職する、というような流れもありえます。

タイミングよく求職している業務経験者

じゃあ新卒プロセスは忘れて、中途枠・オープンポジションを狙うのがいいのか?という話になりますが、もちろんデメリットもあります。

まず、中途枠やオープンポジションでは「業務経験者」を条件にしている場合が多く、そのケースでは博士課程卒はこれに該当するのか?という問題があります。博士課程での専門にマッチしていれば下手な業務経験者よりも技術的な面については優っているケースは多々あると思います。また、博士課程の学生でも研究プロジェクトをまわす経験があるのだからそういった面でも業務と比べて遜色ない、と主張する方もいらっしゃします。ただ、自分も博士課程を卒業して企業に就職して5年ほどたった今考えても、やはり経験の質は若干違うと感じています。特に中途枠という設定の窓口に多いと思いますが、そういったことを採用担当の方が懸念される場合は「新卒採用の窓口があるのでそちらからどうぞ」と突っ返されるリスクがあります。

また、受けたいときに受けられる可能性が高い事と、受けたいときに希望する職種を募集しているかというのは全く別問題になります。企業側としていつでも採用希望を受け入れるということは(適切な人材がいれば)早く採用して働き始めてほしいということの裏返しでもあります。追加で募集するということもありますが、多くの場合は人が見つかればその募集は打ち切ることになるので、この辺りの動きはかなり流動的です。また企業側の方針転換などで誰も採用しないままの打ち切りということもありえます。自分の希望する企業の希望する職種が都合の良い時期に募集しているかは完全に運である、というところにリスクがあります。

3) つてを頼る

前述の中途枠を狙う、に若干近いところがありますが、知り合いの会社の中の人経由で採用面接をうけさせてもらうケースです。博士課程の学生となると企業とのプロジェクトや学会参加などでその人なりの人脈を築いている場合が多いと思います。そういった人たちに紹介してもらい、面接を受けさせてもらいます。多くの場合、紹介してもらう人に人事権がなかったりするので、紹介=即採用みたいにはならない(というかそのケースはヤバイ)のですが、いくつか中途採用やオープンポジションに比べて有利な点があります。

面接にたどり着きやすい、というアドバンテージ

外資系に多いパターンだと思いますが、レジュメだけ登録させて「空きができたら会社から連絡を出すね」というのを見かけます。こういうのは大手ほど大量のレジュメが登録されることになるので、特別な業績などあれば別でしょうが、待てども待てども連絡がこないのはざらです。その点、紹介の場合は比較的面接プロセスまではたどり着きやすく、同じような内容が書かれた大量のレジュメの中から選ばれるのを待つよりは、面接官に直接自分をアピールできるチャンスが得やすいと言えます。これは採用する側からも、どこのだれだかわからない応募者より、同じ会社で働く社員の紹介のほうが安心感があります。そのため、大企業でも応募者が面接をパスして入社したら紹介した人に褒賞がでる紹介制度がある、という話をよく聞きます。

一朝一夕ではどうにもならない

つてを頼る時の難しさは、当然ですが自分の人脈を学生時代どれくらい築けたかによって頼れる範囲が変わってくることです。これは少なくとも大学の研究室などに所属してからどのように活動してきたか、すなわち対外発表や外部講演、勉強会での交流などをどれくらい積極的にこなしてきたかということに依存します。そのためそれなりに長い期間がかかっていることが重要であり、エントリーシートのように今日明日で何十社にアプローチできるというものではありません。

自分の状況・ペースにあわせた就活を

長々と書きましたが、結局のところ博士課程にいる時点でいわゆる「みんなで足並み揃えて」何かをするという道からは外れていると思います。それぞれ学生さんごとに状況・ペースが違うので、いろいろなやり方のメリット・デメリットを勘案して自分にあった方法を選ぶと良いと思います。

博士の愛した就活(就職先の選び方編)

ポエム 仕事

タイトルは思いつきです。

博士課程にいる後輩によく話していることをまとめました。この話は私が経験した情報科学系のごく狭い範囲の知見を元に書いていますが、現在博士課程の人やこれから博士課程に進もうと考えている人の参考になれば幸いです。また、企業への就職を中心に話をします。

博士課程を修了した後に企業への就職を考えている場合、企業を選択するにあたって以下のことをチェックするとよいのでは、という点をまとめてみました。

就職後の業務は明確か?

就職したとして自分の専門を活かした仕事ができるかというのは、その会社の採用形態によって異なります。外資系などの場合は新卒採用の場合でもある程度は業務内容を明確にしたうえで募集しているところが多いと思います。さらにオープンポジションのような形式で募集している場合は、より具体的に業務内容が明示されていることが多く、自分の専門が活かせるかどうかということについて判断しやすいでしょう。

逆に日本企業の場合は「とりあえずとるだけとって後から事業部や部署に振り分ける」という形式をとっているところが比較的多い印象です。こういう場合、自分が専門でやっていた分野を得意とする企業であっても研究職などにはつけず、営業など研究開発とは遠い部門へ配属されるということも普通にありえます。

特に日本企業では定期的に部門を移っていくことでキャリアアップするといった、官僚のシステムに近い会社もあるようです。いろいろなことを広く経験したい、という方にとってはそういうシステムはいいのかもしれませんが、博士に進んだ人で自分の専門をずっとやっていたい、という方にとってはミスマッチになる可能性があります。そういう観点から就職後、どのようなキャリアパスが用意されているかということも確認しておくのがよいでしょう。

会社として博士号を評価してくれるか?

血の滲むような思いをしてとった博士号を評価してくれるかどうかというのは、博士課程の学生にとって重要な関心事だと思います。残念ながら、企業によっては博士号をプラスに捉えてもらえないどころか、マイナスの評価になる場合すらあります。博士号を持っている人は専門指向の強い人と捉えられがちなので、ポジションとのミスマッチがあるとそれがマイナスイメージに働くことがあります。また、単純に学部生に比べて歳を重ねているという現実もあり、新卒採用主義の企業からすると敬遠されやすい傾向があります。企業によっては正規ルートでは博士の学生は就職できないということすら聞いたことがあるため、もし博士課程後に特定の企業へ就職しようと考えている学生さんがいらっしゃる場合、事前に確認しておくべきです。

しかし一方で博士号をプラスに評価してくれる企業もあります。主観的な意見ですが、やはり外資系やベンチャー企業などに多いと思います。博士号取得の過程ではある分野への専門性だけではなく、他分野にも応用が効く問題発見・設定や解決能力などが養われるので、そういった点を見てもらえるようであれば採用に対しても有利に働く面があると思います。

給与面での優遇はあるか?

また採用過程だけでなく、給与面に反映があるかも重要な点です。学部卒と修士卒で給与がわかれているというケースは多く見かけますが、博士卒に対して給与面での優遇がある企業もまれに見かけます。博士卒の給与が書かれていない企業は、そもそも博士の応募が少ないので例外的な扱いになっており給与面については応相談な場合と、そもそも修士と同じ扱いである場合があるかと思います。博士課程は在籍中に毎年学費を払わなければなりませんし、就職すればそれだけ給与を稼げたであろう3年以上の在籍期間を消費しています。就職に際して給与が全てとは思いませんが、給与は会社に対する貢献へのフィードバックの一つの形ではあるため、給与が修士卒と同じということは、博士号についてはあまり評価してくれていないと考えるのが自然かもしれません。

また、働いた経験がないと実感しにくいと思いますが、給与というのは同じ会社で働き続けるにしても後から転職するにしても、最初の年収というのが後々に響いてきます。昇給は元の給与に対してN%加算みたいな形式になるかと思いますし、転職するにしても元の給与に+N百万みたいな形で増えれば上々、普通はほぼ同額、みたいになると噂に聞きます(これは業界によって大きく違うかもしれませんが)。あまり給与だけみて就職先を決めても不幸になることが多々ありそうですが、その一方で給与を甘く見ない、ということも非常に重要です。

全く違う分野を考える場合

上記3点は自分の専門をある程度意識した就職の話になりますが、全く違う分野を考える場合は年齢がやはり重要なポイントになってきます。学部卒と比べると通常で約5年、在籍期間が長ければそれ以上の差がついています。年齢が上になった人が全て新しいことを学ぶのに不向きだということはありませんが、経験則的には年齢が若い方が学習にも意欲的で飲み込みも早いという側面はあります。そういったことから採用に不利になったり、新卒採用に対してそもそも年齢制限が加えられるというケースもあります。

博士課程はこじらせると6年、あるいはそれ以上かかるケースがあり、その場合は学部・修士で浪人・留年がなかったとしても卒業時点で30歳を超えてしまいます。これは違う分野に行く場合だと大きなハンデキャップになってしまう可能性が高く、個人的には途中で見切りをつけるという選択肢も検討するべきではと思います。

インターネット通信データ量をd3jsのツリーマップで可視化してみた

ネットワーク 分析

練習などを兼ねてちょいと書いてみました。

自分のMacBookProで作業をしていた時に取得した通信データから、通信相手をドメイン名で判定し、送受信量をもとにツリーマップにしてみました。通信からのデータ取得は自作ツールを使い、出力結果をPythonごにょっといじった後にd3jsで描画しました。通信データは約5時間ほど。

HTML版はここに公開しています。細かい通信量とか見えます。

送信データ量のツリーマップ

送信データ量と受信データ量は一度に表現するのが難しいので、今回は分けてみました。まずは送信データ量から。

f:id:mztnex:20151114163953p:plain

解説を入れるとこんな感じです。

f:id:mztnex:20151114164009p:plain

送信データ量そのものは多くないのですが、作業していたソースコードDropbox配下にあったので頻繁にDropboxにデータを送信していたため、Dropboxがとても大きく出ています。といっても、送信データ量はDropboxの島を全部あわせて70MB程度ですね。どうということはありません。さらに、作業時にずっとみていたニコ動の通信が目立って見えるのがわかります。これも送信データ量としては少なく、トータルで20MB強というところでしょうか。これはこちらから生中継をするようなデータを流していたわけではないため、ほぼTCPのack(受信確認)のパケットだけでこれぐらいの容量になっていることが伺えます。

受信データ量のツリーマップ

一方、受信側はこんな感じです。

f:id:mztnex:20151114165102p:plain

解説付きだとこんな感じになります。

f:id:mztnex:20151114165134p:plain

さっきより顕著にニコ動の通信がデータ量を占めているのがわかります。マイリスト登録していた動画をBGM代わりに受信しつづけていたので、その配信される動画のデータががつんと乗ってきている状態ですね。全体で約2.5GBほどあり、携帯キャリアの回線(テザリング)などを使っていたらあっというまに帯域制限にひっかかったでしょう。(この時はカフェに設置されてるWiFiを使っていました)

次に大きなポーションになっているのが左下のBlizzard社からの通信です。これはBlizzard社が制作、発売しているHeathstoneのパッチが落ちてきたためだと考えられます。Hearthstoneはゲームとしてとてもシンプルなのですが、演出などが豊富なためアプリ・パッチのサイズがとても大きいというのが若干ネックになっている気がします。でもゲーム内容はとても面白いのでおすすめですよ(脈絡のない宣伝)

他に注目すべき点としては右下にあるtwimgからのトラフィックでしょうか。そこまでtwitterの画像をずっと見続けた記憶はないので、Twitterクライアント(Tweetbot)がサムネイル(および画像本体?)を取得する通信だけで約100MBほどを受信しているのがわかります。ちなみにツイートの受信であるuserstream.twitter.comからの受信は右上にある青の細長い部分で、受信は20MB程度です。写真投稿などが多い昨今だと通信データ量だけでみればかなりtwimgに負荷がかかっているようです。

ということで、通信を無制限に使える環境であれば特に気にすることのないものですが、データ量制限のある環境ではどの通信がどれくらいの割合をしめているかということがわかると通信データ量の節約がはかどるのではと思います。(一部当然のことですが)今回の知見としては以下のとおりです。

  • 動画垂れ流して見ているのは非常にインパクトがでかい
  • アプリケーションのパッチも種類によってはそれなりに重い
  • ツイート取得はそうでもないが、画像閲覧はそれなりに重いようなのでクライアントの設定しだいではデータ量を節約できるかも?

こちらからは以上です。

自動化するときに考えるべきこと3つ

技術

自分の経験を元にメモ書き。

1. 自動化の目的は「属人性排除」「ヒューマンエラーの除去」「高速化」のいずれか、もしくは全てである

属人性排除

「この作業は○○さんしかできないから」みたいなものをなくすのが属人性排除。 これは自動化することによって作業の一部、あるいは全てをほかの人でもできるようにすることで達成される。 職場における人の入れ替わりで秘伝の技が途絶えてしまったり、引き継ぎの労力を少なくすることによって 組織としての靭性を高めることができる。 また自動化する過程で、ある人物しか理解していなかったロジックや、そもそも作業をしている本人ですら説明できないような手順や理論を解き明かし、再現性のある形へ落とし込めるという副次的な成果がある。これが手順書という形だと解釈の違いによる間違いなどが発生する可能性があるが、コードによって自動化されていることで誤解を生む可能性を極小化する。(ただし0になるわけではない)

ヒューマンエラーの除去

プログラムによって自動化された作業でも当然例外やバグによって思わぬ挙動をすることがあるが、人間も言うに及ばずしょっちゅう間違いをおこす。 しばしば「集中力が足りない」「もっと注意する」「気合」などの精神論で解決できると信じている人がいるが、個人的な経験則でいうと、どれだけ注意深く作業したとしてもだいたい最低0.01〜0.1%程度の確率でミスをする。プログラムのバグの発生も同程度、あるいはもっと高い確率かもしれないが、最大の違いは(バグ修正すれば)プログラムは同じ間違いを二度起こさないことである。人間の場合、同じ人物が同じミスをしてしまうこともあるし、作業者が入れ替わると同じミスを起こすかもしれない。

高速化

単純作業やロジックが決まっているものについては、それを得意とする機械にやらせるべきである。

2. 自動化の目的は「コスト削減」であってはならない

よく「自動化によってコストが削減されます」という言い方がされているが、だいたいの場合こういうプロジェクトは失敗する傾向が強い。 これは、この文脈ででてくる「コスト」とはすなわち「人件費」のことであり、「コスト削減」といは「人員整理・リストラ」につながるからである。 多くの場合、自動化するためには今その仕事をしている人物から作業のロジックやノウハウを教えてもらわなければならないが、 プロジェクトの最終目的がリストラだとすると、教えてもらう人たちがまさのその対象になるわけである。 これでは協力してノウハウを教えてもらうどころか、その人達が抵抗勢力になってしまうため、プロジェクトが進まなくなってしまう。

結局のところ自動化とは人間の作業を機械にやらせることになるので、コスト削減が最終目的ではないとしても少なからず上記のような問題を引き起こしやすい。ただし、以下のようなケースでは比較的スムーズにすむ。

  1. 他にやるべき作業があるにも関わらず、現在は自動化対象の作業に業務時間が圧迫されている場合
  2. 全てを完全に自動化できず、最終的に人間の判断などが必要な作業の場合

(1) は例えば、目先の作業に振り回されてしまって先行投資的な作業に取り掛かれていないような状況である。(2) は例えば現実世界や人物間の文脈をもとに最終的な判断しなければいけない作業だったり、一定確率でしか正解が導かれるが外した時の影響が大きいので人間が責任を負う必要があるようなケースである。こういう類のものは結果が導かれるまでの過程を正しく理解している人物が必要になるので、単純に機械を人に置き換えられるものではない。

3. 自動化は「熟練の作業者」ではなく「未熟な作業者」に対して効果が高い

なぜか自動化の話がでると「専門家(熟練の作業者)」「それ以外」という登場人物しかでてこなかったりすることが多いのだが、現実にはその中間たる「未熟な作業者」がいる。最初の目的に挙げた「属人性排除」「ヒューマンエラーの除去」「高速化」は、もちろん熟練の作業者に対しても有効だが、それ以上に「未熟な作業者」に対してはより大きい効果を生みやすい。これは作業を完全自動化するわけではなく、未熟な作業者がとりかかる一部だけでもその効果がでやすいという観点もある。(熟練の作業者の一部の作業を置き換えると、逆に効率が下がってしまうことがしばしばある)ただし、先述した判断が必要な作業などもあるため、自動化された作業について無知でよいというわけではない、ということについては注意が必要である。