ビッグデータ時代に不可欠な「Webスクレイピング」を行うための「クローラー」の実装方法が分かりやすく説明されています。

近年ではビッグデータの有効利用がさけばれていますが、
ビッグデータの収集方法として
「Webスクレイピング」が注目されています。

インターネット上に存在する膨大なページからビッグデータに相当するデータを収集する事を指します。

ツイッターのつぶやきデータの収集等が有名な例としてあげられると思います。


本書では、
この「Webスクレイピング」を実現するために「クローラー」を作成するとの流れになっています。


本書を読む事で
・「クローラー」の概要と作成する上で基本となる考え方
・「クローラー」作成に必要なライブラリの利用方法と生データの解析方法(形態素解析を含む自然言語処理)の概要
・より実用的な「クローラー」に育てて行くための考え方
・目的別「クローラー」の作成方法
・「クローラー」の運用方法
等の知識が学べます。


利用しているライブラリは「nokogiri」、
「anemone」となっています。

「nokogiri」はHTMLやXMLをパース(解析)するためのライブラリです。

「anemone」は「クローラー」作成用のライブラリ(フレームワークの方が相応しい！？)です。


「クローラー」を初めて作る人を意識して書かれており、
全般的に私には理解しやすかったです。

説明の順番も、
まず動くものを提示し、
その後に実際の実装方法の説明、

応用、
各論的な内容が来て、
最後に実際の運用方法の説明でしめるという流れが理想的であると感じます。