2012年11月9日
Acroquest Technology、
Hadoop/HBaseの内部動作を可視化する
ソフトウェア「halook」をオープンソースとして公開。
WGP1.0β/ENdoSnipe5.0βを同時リリース
ネットワークインフラ向けにミッションクリティカルシステム開発/コンサルティングを行うAcroquest Technology株式会社(以降、Acroquest)は、2012年11月9日、Hadoop/HBaseの内部動作を可視化するソフトウェア「halook」をオープンソースソフトウェア(以降、OSS)として公開し、合わせてWGP1.0βおよびENdoSnipe5.0βをリリースしました。
大量データ(ビッグデータ)を分散処理するためのフレームワークであるHadoopは、数十~数百のサーバ/プロセスが連携して動作します。Hadoopは分散処理を容易に実現可能とし、マシンを追加するだけでスケールアウトすることが可能です。しかし、その一方で、数十~数百のサーバ/プロセスにデータや処理が分散するため、問題が発生した際に、どこに問題があるのかを調査することが非常に困難になります。「halook」はこのような問題を解決するため、Hadoop/HBaseの内部動作を可視化し、ビジュアルにシステム全体の動作状況や問題の把握を可能とします。
■DataNode間のデータ偏りを見える化
Hadoop分散ファイルシステム(HDFS)はクラスタを構成するDataNodeにデータを分散して保存します。halookのHDFS DataDistributionViewでは、DataNode間におけるデータの偏り具合をビジュアルに可視化します。また、現在の状態だけでなく、過去の利用状況も時間をさかのぼって確認できるため、Hadoopクラスタ内での利用推移を容易に把握することができます。
■MapReduce Taskの動作状況を見える化
MapReduceはクラスタを構成するTaskTrackerが分散してTaskを並列処理します。従来では各Taskの動作状況や関連性を確認するには、ログを解析する必要があり手間のかかる作業でした。halookのMapReduce TaskChartViewは、MapReduce Taskの並列性やTaskTracker間での負荷分散度合いなどを直観的に確認することができるように可視化します。
■HBase Regionの配置状況を見える化
HBaseはクラスタを構成するRegionServerにRegionを分散して保持します。halookのHBase RegionDistributionViewでは、RegionServer間におけるRegionの偏り具合をビジュアルに可視化します。通常では「現時点でのRegionの配置」しか分かりまでしたが、過去の時間にさかのぼってRegionの保持量を確認できるため、RegionServerの負荷分散やRegion分割の妥当性の確認を容易に行うことができます。
■アーキテクチャ
halookはJavaの内部動作を可視化するソフトウェアであるENdoSnipeの基盤テクノロジーを用いてMapReduce Taskの実行状況やHBaseのRegion情報を収集し、WGP(Web Graphical Platform)のグラフィカルなWeb-UIによって、Hadoop/HBaseの内部動作の可視化を実現しています。本ソフトウェアの概要は以下の通りです。
・ENdoSnipeについて( http://www.endosnipe.com/ )
ENdoSnipeはAcroquestが開発/販売しているJavaシステムの内部動作を可視化するソフトウェアで、システムに潜むパフォーマンス問題や品質問題の原因を自動的に検出し、見える化します。halookの開発に合わせてENdoSnipeは5.0βにバージョンアップし、次世代ENdoSnipeに向けて基盤部分となるJavelin/DataCollector/DashboardをOSS化しました。
・WGPについて( http://wgp.sourceforge.net/ )
WGP(Web Graphical Platform)はAcroquestが開発し、OSSとして公開しているHTML5+CSS3+JavaScriptによるグラフィカルなWebUIを開発するためのライブラリです。halookの開発に合わせて、WGPも1.0βにバージョンアップし、Backbone.jsの導入、およびWebSocketを用いたバイナリ通信に対応しました。
■動作確認環境
halookはCDH 3u4, 3u5での動作確認を行っています。これ以外のバージョンや、他のディストリビューションについても要望に応じて対応予定です。
■公開URL
halookは以下のサイトにて公開しています。
URL: http://www.acroquest.co.jp/OSS/halook/
■開発の経緯
halookは、Acroquestが2012年夏期インターンシップとして企画した、オープンソースコーディングサマーの開発テーマです。インターンシップに参加した学生とAcroquestのメンバが一緒になって基本部分をインターンシップ期間内で開発し、その後Acroquestメンバが継続した機能開発を行いました。
インターンシップについては以下をご覧ください。
URL: http://www.acroquest.co.jp/recruit/fresh/column/internship2012.html
<会社概要>
【代表者】新免 流(シンメン リュウ)
【事業内容】ミッションクリティカルシステム開発/コンサルティング
<本件に関するお問い合わせ>
Acroquest Technology 営業担当の槇 信之(マキ ノブユキ)までお願いいたします。
TEL:045-476-3171 FAX:045-476-4171 E-mail: