2013年09月09日
当社の落合 雄介が、gihyo.jpで
「halookで始めるHadoop/HBaseトラブルシューティング」
と題した連載をしています。
halookで始めるHadoop/HBaseトラブルシューティング
本連載では, HadoopやHBaseを使ったシステムの運用トラブルの解決策について,
halookとともに解説します。
落合 雄介
■ 第9回 ENdoSnipeを使ったトラブルシューティング
前回までの連載で,ENdoSnipeの概要からセットアップ方法までを紹介してきました。
今回はENdoSnipeを利用して,実際の問題検出から原因分析ができるまでのトラブルシュートの流れを紹介します。
gihyo.jp URL:http://gihyo.jp/admin/serial/01/halook/0009/
■ 第8回 ENdoSnipeのセットアップ
前回は,halookを支えるJavaの可視化・診断ツール「ENdoSnipe」について,
概要と各コンポーネントについて紹介しました。今回はセットアップを行い,実際に利用できるところまでを紹介します。
gihyo.jp URL:http://gihyo.jp/admin/serial/01/halook/0008/
■ 第7回 halookを支える技術「ENdoSnipe」
これまでの連載では,halookを使ってHadoop/HBaseの内部動作を可視化しながら,
各処理がどのように動作しているのかを紹介してきました。
今回から数回は少し趣向を変えて,halookを支えるプロダクトである「ENdoSnipe」について
谷本心が紹介します。
gihyo.jp URL:http://gihyo.jp/admin/serial/01/halook/0007/
■ 第6回 Capacity Scheduler による複数ジョブの同時実行
前回の記事では,Fair Schedulerによる複数ジョブの同時実行についてご紹介しました。
今回は,Capacity Schedulerを使った場合について,複数ジョブの同時実行時の挙動を見てみましょう。
gihyo.jp URL:http://gihyo.jp/admin/serial/01/halook/0006/
■ 第5回 Fair Schedulerによる複数ジョブの同時実行
今回のテーマは,Fair Schedulerを使った複数ジョブの同時実行です。
1つのHadoopクラスタを使って複数のジョブを実行する際,どのようにクラスタのリソースを割り振るかが
重要になります。
gihyo.jp URL:http://gihyo.jp/admin/serial/01/halook/0005/
■ 第4回 投機的実行
第4回のテーマは投機的実行です。投機的実行は,MapやReduce Taskの処理の失敗を見越して,
空いているリソースを使って同じTaskを実行するものです。
gihyo.jp URL:http://gihyo.jp/admin/serial/01/halook/0004/
■ 第3回 PartitionerとCombiner
第3回では,実際にhalookを活用し,Hadoopの処理の中身を見ていくことにします。今回のテーマは,
HadoopのMapReduce Jobを実装する際に重要になる,PartitionerとCombinerです。
gihyo.jp URL:http://gihyo.jp/admin/serial/01/halook/0003/
■ 第2回 halookのセットアップ
第2回では,第1回で紹介したhalookのセットアップ方法を紹介します。
これにより,HDFSの使用状況,MapReduceジョブの実行状況,HBaseの情報を可視化できるようになります。
gihyo.jp URL:http://gihyo.jp/admin/serial/01/halook/0002/
■ 第1回 halookでHadoop/HBaseを可視化しよう Hadoop,HBaseを可視化しよう
HDFSの使用量を可視化する
MapReduce Jobを時系列に表示する
MapReduceのタスク実行状況を表示する
MapReduce Jobの特性を現すグラフを表示する
HBaseのRegion数の推移を表示する
HBaseのRegion分布を表示する
他のアプリケーションと合わせて監視する
gihyo.jp URL:http://gihyo.jp/admin/serial/01/halook/0001/
※halookとは、当社が開発しているWGP、ENdoSnipeを用いて、Hadoop・HBaseの内部を直観的に見える化するツールです。halookを利用することで、今まで多くの人手と時間が必要だった、問題個所の発見・解決が容易に行えます。
halookは以下のサイトにて公開しています。
URL: http://www.acroquest.co.jp/OSS/halook/
<halookに関するお問い合わせ>
Acroquest Technology 営業担当の槇 信之(マキ ノブユキ)までお願いいたします。
TEL:045-476-3171 FAX:045-476-4171 E-mail:
関連記事