2014年1月30日
Acroquest Technology、Storm上で動作する
オンライン機械学習ライブラリをOSSとして公開
Acroquest Technology株式会社(以降、Acroquest)は、2014年1月30日、同社が開発を進めている、オンライン機械学習を実現するためのライブラリ「AcroMUSASHI Stream-ML(Machine Learning Library)」をオープンソースソフトウェア(OSS)として公開しました。
「AcroMUSASHI Stream-ML」はStorm上で動作し、連続的に発生し続けるストリームデータに対して、動的に学習データを更新しながら、リアルタイムの分析をするのに役立ちます。また、本プロダクトの基盤となる「AcroMUSASHI Stream」と組み合わせることで、「データの収集~分析~結果の出力」までをシームレスに結合することができ、機械学習を行うためのシステムを迅速に立ち上げることが可能になります。
<プロダクト情報>
github | https://github.com/acromusashi/acromusashi-stream-ml |
LICENSE | MIT License |
図1 AcroMUSASHI Stream-ML の構成
<主な特徴>
1) スケーラビリティを備えた高速分散処理
本プロダクトは、Stormの特性を活かし、高速、かつ、信頼性の高いリアルタイム分散処理を実現しています。また、学習データをインメモリで更新するようにすることで、高速性を保ちながら機械学習の高度な分析処理を可能にしています。
これらの技術は、スケールアウトにも対応しており、データの増加に応じてシステム全体のパフォーマンスを向上させることも容易です。
2) 機械学習のアルゴリズム単体ではなく、データ分析全体のリアルタイム分散処理が可能
機械学習の処理では、多くの場合、事前にデータのフィルタリングやクレンジングを行ったり、結果を得るために複数のシステムやプログラミング言語を連携させる必要があったり、といったことが必要になります。
機械学習の機能を提供するプロダクトの多くは、機械学習自体の処理に特化しているため事前処理・事後処理を別途用意し連携させる必要があります。一方、本プロダクトでは、事前処理から、分析、結果出力といった事後処理まで、一連の処理を簡単に連携させることが可能です。また、同じデータに対して、並列して別のリアルタイム処理を行わせる、といったことも可能になります。
これにより、本プロダクトの利用者は、短期間で機械学習を行うシステムを立ち上げることが可能になります。
<対応済みの機械学習アルゴリズム>
現在対応している機械学習のアルゴリズムには、以下のようなものがあります。
・ | クラスタリング(K-means) |
・ | 異常値検知<外れ値検出>(LOF : Local Outlier Factor) |
・ | 異常値検知<変化点検出>(ChangeFinder ※1) |
上記以外のアルゴリズムについても、今後、ニーズが多いものから順次対応していく予定です。
近頃のビッグデータ分析では、大量のデータを処理するだけでなく、リアルタイムに処理することへのニーズが高まってきています。また、センサーデータやアクセスログ解析といった分野では、長期間の分析だけではなく、設備監視データからリアルタイムに故障を予測したり、ユーザ行動データから不正検知をリアルタイムに判定したり、状況に応じて刻々と変化する傾向に関する分析も重要となってきています。
Acroquestでは、今回のオンライン機械学習ライブラリを、広告やマーケティングの分野だけでなく、より大量データへの対応が求められるM2M(Machine-to-Machine)やIoT(Internet of Things)、高度な分析が必要となるセキュリティといった、リアルタイム性が求められる分野にも導入していき、従来の機械学習処理では対応が難しかった、リアルタイムでの高度な分析や異常検知などを実現していくことに取り組んで行きます。
※1 ChangeFinderはNECが開発したアルゴリズム
<会社概要>
【代表者】新免 流(シンメン リュウ)
【事業内容】ミッションクリティカルシステム開発/コンサルティング
【URL】http://www.acroquest.co.jp
<本件に関するお問い合わせ>
Acroquest Technology 営業担当の槇 信之(マキ ノブユキ)までお願いいたします。
TEL:045-476-3171 FAX:045-476-4171 E-mail: