halookとは

大量のサーバで構成されるHadoopクラスタの状態把握にお困りではないでしょうか?

halookとは、当社が開発しているWGPENdoSnipeを用いて、Hadoop・HBaseの内部を直観的に見える化するツールです。
halookを利用することで、今まで多くの人手と時間が必要だった、問題個所の発見・解決が容易に行えます。

halookでは、HDFSのサーバごとの使用サイズ・空きサイズ、各タスクの状況、HBaseのRegion数などを見える化することができます。 (2012/11/08現在の機能です。)


ニュース

■2013/02/05(火) 
日経コンピュータにHadoopのシステム開発・運用を容易にする国産OSSツールとして、当社のhalookが紹介されました。
■2013/01/22(火) 
当社の落合が、Hadoop Conference Japan 2013 Winterにて、「トラブルシューティングのために欲しかった、Hadoopがまるっと分かる可視化ツール」 と題した講演を行いました。
■2013/01/11(金) 
Hadoop Conference Japan 2013 Winterにて、当社の落合が「トラブルシューティングのために欲しかった、Hadoopがまるっと分かる可視化ツール」 と題した講演を行います。
■2012/11/12(月) 
JJUG Cross Community Conference 2012 Fallにて当社の落合がhalookについて講演を行いました。
■2012/11/09(金) 
Hadoop/HBaseの内部動作を可視化するソフトウェア「halook」をオープンソースとして公開。WGP1.0β/ENdoSnipe5.0βを同時リリース
■2012/10/30(日) 
昨年に引き続き、今年も『Hadoop World 2012』(New York)に参加しました。


HDFS view

各DataNodeのデータ保持量を一目でわかるように見える化した画面です。

現在の状況に加え、時系列に沿った変化をスライドショーとして表示できるため、 Hadoopクラスタ内でのデータ保持量の推移や偏りの発生契機を容易に把握することができます。



MapReduce Job Gantt chart

今まではJobTrackerのログやWebUIの複数画面を解析することでしか確認ができなかった、Jobの動作状況を見える化する画面です。

処理時間の長いJobの検出やJob同士の並行動作状況の確認に利用できます。



MapReduce Job Arrow chart

MapReduce Job Gantt chartと同様にJobTrackerのuserlogやWebUIの複数画面を解析することでしか確認ができなかったJob内のTask動作状況を見える化する画面です。

MapReduceタスクの実行情報やTaskTracker間での負荷分散度合いなどを直観的に確認することができます。



MapReduce Task Bubble chart

1つのJob内のMapReduceの各Taskを開始時間、処理時間などの指標でプロットし、全体の傾向を確認する画面です。

全体の特徴や、特殊なfail結果になったTaskを一目で検出、詳細情報の確認をすることが出来ます。



HBase Region Grow graph

HBaseを構成しているRegionの増減履歴を表示します。

従来のWebUIでは「現時点でのRegionの配置」しかわかりませんでしたが、この画面では過去のRegionの保持量を確認できるため、RegionServerの負荷分散やRegion分割の妥当性の確認を容易に行うことができます。



HBase Region Map graph

HBaseを構成するRegionServerごとに、保持するRegion数・構成するテーブルなどを見える化する画面です。

確認に手間がかかる、RegionServer/テーブルごとのRegionの分散具合を一目で確認することができます。



Graph management chart

Hadoopを構成する各サーバのリソース使用状況を1画面でまとめて確認できる画面です。

過去履歴を元にしたキャパシティプランニングや、負荷が集中しているサーバの検出に利用できます。



関連情報

Hadoop World 2012 New York にhalook登場!

Hadoop World 2012 New York の初日に行われた
「Hadoop User Group New York Meetup」にて、
Acroquest落合によってhalookが発表されました。
(被っているのは、「halook」のロゴマーク)


halookは学生インターンで生まれた!

halookはAcroquestTechnologyの2012年夏期Internshipにてスタートしたプロジェクトです。
インターン生が作ったものを改修・機能追加したものが今のhalookとなっています。

githubにOSSとしてhalook公開!

halookはOSSとしてgithubに公開されています。⇒https://github.com/endosnipe/halook


メーリングリスト

halookに関する質問、バグレポート、リクエストなどありましたら以下のメーリングリストにお気軽にどうぞ。

Google グループ
halook に参加
メール アドレス:
このグループにアクセス