するめごはん日記: 10月 2015

2015年10月25日日曜日

オープンソースカンファレンス2015　Tokyo/Fall　に参加しました（2日目）

ごきげんよう。

オープンソースカンファレンス2015　Tokyo/Fall　に参加しました（2日目）

掲題の通り
2015年10月24日、25日に開催の
オープンソースカンファレンス2015　Tokyo/Fall　に参加しました。

25日（2日目）の参加報告を簡単に記載します。

OSC2015 Tokyo/Fall公式ハッシュタグ：#osc15tk

＜＜2日目＞＞

■高機能アクセス解析ソフト Piwik の紹介・活用法

Piwikってまったく聞いたことなかったので、試しに聞いてみました。

「ぴーうぃっく」

と読むそうです。

OSSなWeb＋モバイルアクセス解析プラットフォーム

らしいです。

コミュニティが毎月活発らしい

リファナースパム？に対策をGithubで公開中

結局よくわからなかったので

とりあえず公式サイトを貼っておきます。

http://www.piwikjapan.org/

■PostgreSQL 9.5の新機能紹介

10月6日のSRA OSS社のイベントとほぼ同じスライドでした。

いろいろ新機能はありますが

スライドを見た方が早そうなのでリンクを貼っておきます。

https://www.sraoss.co.jp/event_seminar/material.php

■分散処理基盤Apache Hadoop入門とHadoopエコシステムの最新技術動向

Hadoopとはなんぞや？

からの説明と下記2点の紹介

Apache Hive：

　HiveQLというSQLライクな言語でMapReduceを実行

Apache Pig：

　Pig Latinという独自の言語でMapReduceを実行

また新たな並列分散処理エンジンの出現として下記の紹介

Apache Spark：

　大規模データの分散処理をオンメモリで実現

スライドがすごくよかったんで、メモをあんまりとってなかったです。。

公開されたら嬉しいです。

■pgpool-II 入門！～PostgreSQL 用クラスタツールの使い方を基礎から学ぼう～

資料が公開されるようです。

なので簡単に記載します。

pgpool-IIとはPostgreSQLのクラスタツールです。

データベースクラスタリングの目的は3つ。

１．高可用性の確保

　　サービスを停止させたくない

　　1つのデータベースが故障しても別のデータベースが肩代わり

２．参照負荷分散

　　大量のアクセスをさばきたい

３．並列処理

　　大量のデータを解析したい

で、PostgreSQLのストリーミングレプリケーションには課題がある。

ストリーミングレプリケーションの課題

　負荷分散　更新クエリ・参照クエリの振り分け

　DBサーバに障害が発生したら手動で対応するのか

　プライマリがダウンしたら更新ができなくなる？サービスが停止してしまう？

pgpool-IIとは

　アプリケーションとPostgreSQLの間に入ってクラスタリング機能を提供するミドルウェア

　アプリケーションからみると普通のPostgreSQLに見える

　BSDライセンス

・参照負荷分散

　クエリの自動振り分け

　更新クエリはプライマリサーバへ

　参照クエリはサーバ間で振り分け

・自動フェイルオーバー

　プライマリサーバに障害が派生した場合

　負荷分散からの切り離し

　スタンバイをプライマリに自動昇格

・オンラインリカバリ

　ダウンしたスタンバイをプライマリに同期させる

　同期中も更新が可能

・インメモリクエリキャッシュ

　SELECTクエリの結果をメモリ内にキャッシュする機能

　同じクエリが着た時に再利用する

　DBへのアクセスが減り、性能向上

などなどの便利な機能が使えます。

ちなみに

pgpoolAdminというGUIツールもあるそうです。

▲各展示ブースをまわる

空き時間に各展示ブースを巡ってました。

前日と大きな変更はなかったです。

ただ、

「IBM Cognos」

というBIツールを某ブースで教えていただきました。

BIツールはたくさんありますが、この子はなかなか簡単操作でできるっぽいので

別途調べてみようと思います。

★2日目の所感

初日とは違って、初めて聞くOSSやツールについていくつか知ることができました。

どれも便利そうなので、別途調べて使ってみたいと思います。

★★全体の所感

セッションでも各展示ブースでも、あちこちで

「fluentd」

を使ってることが多くて、これが一番ホットなんじゃないかと思いました。

ログの収集ツールとしてデファクトスタンダードにまでなっている？

実際に触ったことがないので、fluentdは要チェックしようと思います。

で、2日間参加させていただきましたが

とても楽しく充実してました。

明星大学は都心からやや遠いですが

それでも参加する意味は大いにあると感じました。

以上

オープンソースカンファレンス2015　Tokyo/Fall　に参加しました（1日目）

ごきげんよう。

掲題の通り
2015年10月24日、25日に開催の
オープンソースカンファレンス2015　Tokyo/Fall　に参加しました。

24日（1日目）の参加報告を簡単に記載します。

OSC2015 Tokyo/Fall公式ハッシュタグ：#osc15tk

＜＜1日目＞＞

■PostgreSQLトラブルシュート

アシストさんはプレゼン資料を印刷して配布してくれるので
とても助かります。

・PostgreSQLの問い合わせの傾向
・ロック/ハングによる迷宮入りを防ぐために
・サポート事例
・まとめ

の構成でした。

年間1500件以上のPostgreSQL製品の問い合わせの傾向を教えてくれました。
PostgreSQLの問い合わせにおいてトラブルの問い合わせは全体の2割程度のようです。
再現待ちの避け方や調査の手がかりについて展開されておりました。

また、pg_stat_activity、pg_locksなどから原因を切り分ける具体的な方法を展開していてとても役立ちそうです。

EXPLAIN　ANALYZEを使った実行計画の確認方法も具体的な例が資料に記載されており、保存版になりそうです。

■[飲食OK]（発表者募集中！）1日目-ライトニングトーク（by OSCスポンサー）

お昼を食べながらLTを聞いてました。
宮原さんの日本最東西南北端の話がとても面白い。
「東に行き過ぎると銃撃される」

■監視もジョブもDevもOpsも「Hinemos」で～監視・ジョブ機能を併せ持つ唯一のOSS 最新「Hinemos ver.5.0」のご紹介～

Hinemosが5.0になったのはメール等で認識していたのですが
詳しく調べてなかったので、このセッションに参加しました。

Zabbixと比較して、Zabbixは設定をゴリゴリ書けるけど属人化しやすい。
なのでGUIでパラメータを埋めるだけで、閾値を設定して監視することができるようになった。
また、ジョブ管理に力を入れたとのこと。
さらに目指しているのChefとかの環境構成らしいです。

設定が楽ちんっぽいですし、日本のOSSなので日本語ドキュメントもあります。
使ってみたくなりました。

■Postgresへのスマートなデータ移行とアプリケーション開発

このセッションすごかったです。
トラブルシュートと同じくアシストさん。

・Oracle to Postgresの移行ステップと活用ツール
・Oracle to Postgres移行手法と検証結果
・Postgres Enterprise Managerによる運用デモ

マイグレーションするなら移行ステップがあります。
そんな時に「Oracle Migration Assesment(OMA)」というツールが使えます。
これ、移行対象のOracleスキーマに対して、移行難易度を診断する有償のサービスですが、
使用している機能やオブジェクト、データ量などを分析して、
移行難易度をスコア化してくれるそうです。
使ってみたい。。

移行の段階になったら、そこで使う移行ツールと管理ツールが必要になります。

移行ツール：SI Object Browser ER
　→　Oracle、MySQL、Sybase、SQL Serverからのデータ移行が可能なGUIツールです。

デモで簡単にポチポチしてたら、あっという間にテーブルの型とかを変換とかして移行しちゃいました。
すっごい便利そうです！欲しいです！！

管理ツール：SI Object Browser for Postgres
　→　GUIでデータ操作、SQL発行、パフォーマンス向上などの行うことができる開発支援ツールです。

こちらもデモでポチポチしてたらあっという間にデータ操作してしまいました。
なにこれ魔法？って感じです。

あとはCUIになりますが
Postgres Plus Migration Toolkit(MTK)ってのもありました。
他のRDBMSからPostgres Plus Enterprise Edition（PPEE)へのデータ移行ツールらしいです。

で、ちらっとおっしゃってたのですが
「おら　つー　PG」
というツール？が別途あるみたいです。
OSSかもしれません。
近いうちに探してみて、OSSなら使ってみようと思います。

他にも
EDB*Loader とか　xDB Repplication とかデータ移行ツールがたくさんでてきました。

アシストさんの有償ツールが大半のような気がしましたが、後日別途詳しく調べたいと思います。

■オープンソースをベースとしたIOTの活用方法について

IOT絡みのセッションも聞いておこうかなと思って聴講したんですけど
なんかよくわかりませんでした。

身の回りの回数？をカウントするメカを2か月で作って、
あとは各種OSSでデータを収集してクラウドに投げてます。

って話だったんですけど、「へぇ・・・」って感じでした。

個人がIOTを実施するPersonal IOTという考え方を説いていらっしゃいました。
「個人」IOTを作りませんか？
だそうです。

■ビッグデータをリアルタイムに処理するための、 Amazon Kinesis、Apache Storm、かもめ GUSTを比較してみました！

リアルタイムデータ処理をなぜやるか？
「情報」は天文学的な量に膨れ上がりつつあるからだ。　
2020年には30ゼッタバイトを超える。だそうです。　ゼッタバイト・・初耳な単位です。

で、
これまでのバッチ処理ではデータを保存した後に個別の処理を行うスタイルが一般的でした。
でもバッチはデータの加工等がたいへん。
なので今流れているデータを即時に処理し、次のアクションへつなぐ！

そこで
リアルタイムデータ処理の基盤としてGUSTという製品を開発したらしいです。

ところが
「Amazon KinesisやApache Stormと何が違うの？」
って言われるので比較したそうです。

・Amazon Kinesisとは
　大量なデータのアルタイム処理をサポートするAWSのフルマネージメントサービス
　データをバッファ処理するかしょを担っている
　Kinesisにはデータを処理する機能がない

・Apache Stormとは
　リアルタイム分散処理の「フレームワーク」です
　バッファリングされたデータ取得から集計処理までの処理全体をプログラミング
　入力処理から解析、出力処理まで自由にプログラミングできるが、全部つくらないといけない

・GUSTはどういうものか
　今流れているデータを適切に迅速に活用するためのリアルタイムデータ処理「アプリケーション」

　多様なルールエンジンを標準搭載したAP
　プログラミングレスで導入可能
　カスタマイズによる処理ルールIFの拡張可能
　オンプレミス・クラウドどちらでも設置可能
　処理ユニットのスケールアウト可能
　中継キューとしてKVS

GUSTはアプリなんで、手軽に使えるよって話らしく、プログラミングもしないでいいですとのこと。

わかるようなわからないような感じでしたが、とりあえず便利そうでした。

■MySQL 5.7で遊んでみよう

目玉セッション。
日本MySQLユーザ会のyoku0825さんの講演でした。

5.7.9がGAしたので、遊んでみました。

まず
パスワードがないと入れない
エラーログにある
var/log/mysqld.log を　grep password　してあげるそうです。

っていろいろやってたので
これはスライドを各自で確認してください。

yoku0825さんが先ほどスライドを公開していたので、探せばでてくるはずです。

▲各ブースにお邪魔しました

11時から1時間と、セッションの合間に各展示ブースを巡ってました。
今回もたくさんグッズがもらえました。

個人名は控えさせていただきますが
JPUG、MyNA、アップタイムテクノロジー社などなど
普段お世話になっている方々にご挨拶できました。
名刺を提示したら
「あ、そのアイコンの人ですか！」
「PostgreSQLの人ですよね」
などなど、ありがたいお言葉をたくさん頂けました。

★初日を振り返って

多くの方々にご挨拶できて良かったです。

アシスト社さんのPostgreSQLの2つの講演が非常に有意義でした。
資料をありがたく活用させてもらおうと思います。
また、yoku0825さんのMySQLの話、とても面白かったですｗ
MySQLも今後は今より接していこうと再認識できました。

あと「IoT」って言葉は変にバズってて
「温度センサーを設置して温度測定しました」
って話ばかりなのは気のせいでしょうか。
他のイベントでもそんな話だったんですけど。。。

以上

2015年10月20日火曜日

PostgreSQLのslackのご紹介

ごきげんよう。

少し時間が経ってしまいましたが
私の尊敬するエンジニア　そーだいさん　が
PostgreSQLのSlack（大雑把に言うとチャット部屋）を開設してくれました。

詳しくはこの記事（そーだいなるらくがき帳）
http://soudai1025.blogspot.jp/2015/09/stackpostgresql.html

「Slackってなに？」って方はこちらを参考にすると良いかもしれません。
http://matome.naver.jp/odai/2140816727781771801

コミュニティ活動とかやったことない・不安って人も
Slackの方々はみなさん親切なので、歓迎してくれると思います。

PostgreSQLの初心者の方のための #bebinners という部屋や
~~もはやメシテロ用の~~雑談部屋 #random という部屋
もありますので
まずはそちらから体験してみてはいかがでしょうか。

情報処理技術者試験　システムアーキテクトを受けた

ごきげんよう。

おひさしぶりです。

10月18日の情報処理技術者試験システムアーキテクトを受験したので
それについて書き留めます。

ただし、たぶん午後Ⅰで落ちてるので、鵜呑みにしてはいけません。

現時点での試験結果を記載すると
午前Ⅰ、午前Ⅱともにそれなりに得点を稼いで合格してました。

で、何をしたかというと
8月のお盆を過ぎた頃から対策開始

本屋さんでシステムアーキテクトの対策本をみたけど意味不
午前問題も応用情報を受けた数年前ぶりなので、やっぱり意味不

というわけで、まじめにやらないと何もできんとなり、勉強しました。

使った教材はこれ。

うかる！秋期硬度試験　午前Ⅰ・Ⅱ　2015年度版　Android版（翔泳社）
システムアーキテクト　2015　専門知識＋午後問題の重点対策（iTEC社）
システムアーキテクト　合格論文の書き方・事例集　第4版（iTEC社）

あと、このサイトが良かったです。

過去問WEB問題集情報処理技術者試験　合格への道

http://www.qeq.jp/jouhou/kakomon/index.html

で、午前は電車内でAndroidアプリをポチポチやって、上記サイトでもポチポチしてました。

他の教材はまったく使ってないですが、結果午前Ⅰ、午前Ⅱはクリアできました。

午後Ⅰはタイムマネジメントに失敗して自爆したんですけど、参考書はとてもよかったです。

来年また受ける際には同じ参考書を買おうかと思ってます。

午後Ⅱも参考書がいい感じでしたが、何度か写経しました。実際に書いてみてなんぼだと思います。

で、試験会場は比較的新しい建物らしく、机も椅子もがたがたしないで集中して受験できました。

受験者が座席の1/3くらいしかいなかったので、皆さんが問題冊子をパラパラめくる音も気にしないで受験できました。

というわけで、情処が終わったので

しばらくはまたデータベース絡みのことができそうです。

登録: 投稿 (Atom)