11月30日に品川開催だったPgDay 2012 Japanに参加しました。
http://www.postgresql.jp/events/pgday2012_fall/
前回の
PostgreSQL Conference 2012の感触がよかったので
今回も参加させていただきました。
■基調講演 Inside the PostgreSQL community - How the product gets built
PostgreSQLのコミュニティの話。
PostgreSQLは所持している企業がなく、開発をコントロールする特定の企業もない。
個々人が協力して開発を進めており、プロダクトよりもコミュニティの方が重要。
●コミュニティ内のチーム
・Core Team（6名）
運営委員会のようなもの。
技術的な決定や開発は行わない。
ただ、Core Teamのメンバーが個人で開発をすることはある。
・Commiter（15-20名）
コードの門番の役割となる。
Commiterの承認がなければソースは取り込まれない。
ソースコードのバグが無いかコメントがあるかなどをチェックする人々。
Linuxのようなsubsystem commiterが存在しない。
・Developer、Code contributors（200名以上）
コードのレビューを実施したり、ドキュメント担当者、テストを実行する人、ベンチマーク担当、アーキテクチャを設計する人。
・Infrastructure
主にWebsite、wiki、MLなどのインフラを担当する。
世界50台のサー名を管理する人々。
・Support campanies（数千人）
サポートに関わる人は数千人はいる。
英語が基本だが、言語圏や地域別のコミュニティもある。
商用のサポートはSLAを保証する。
例えば、一定時間内の回答、機密性、追加開発 etc
●貢献について
プロジェクトへの貢献は開発、翻訳、コミュニティの形成、マーケティングなどが考えられる。
開発で貢献したい場合は、簡単で慣れているものから始めると良い。まずは他の人のコードを読んでみること。
開発者MLに参加してMLを読んで、プログラムそのものだけでなくPostgreSQLのコミュニティの進み方も学ぶことができる。パッチを書かなくても議論をフォローするだけでも役立つ。
翻訳も重要な貢献である。翻訳されることでローカル言語での利用が広まる。
現在13言語に翻訳されており、フランス語・日本語が一番メンテナンスされている。
特に日本語は素晴らしい。
コミュニティを構築したり、ユーザグループを作って、経験を共有しよう。
そして他の言語系などのグループに参加してPostgreSQLについて話そう。
マーケティング、記事投稿、ブログ投稿などを行ってPostgreSQLをアピールして欲しい。
●QA
・コミュニティ内で意見がわかれた場合の意思決定は？
原則は全員が納得いくまで議論する。たいていはこれで解決している。
それでも決定しない場合はcoreチームが決定する。
ただ、それはせいぜい年に1回あるかないか。
・DBの「ユーザ」もアイデアを持っていると思うが、開発者へ伝える方法はあるか？
ユーザと開発者の境界線を曖昧にするほうがよい。
ただ、悪い要望として「他のDB製品にこの機能があるから、これを実現してほしい」はよくない。
■PostGIS と R の連携による地理・環境データ分析
PostGISとRを連携させるやり方、デモの話。
社会統計やGIS分野もビッグデータ時代になっている。
●背景
Excelでデータを管理していたが、さすがに管理しきれなくなった。
地域別データの管理もイラストレータを用いていたが厳しくなった。
●ビッグデータ化
統計情報ファイルが100万を越える。地図データも100万を越えてしまっている。
分析手法が多様化しており、GUIツールだと操作履歴が残らないで困る。
そこでデータベースと統計処理言語を連携させることにした。
Rスクリプトで実施する。データベースは経路探索の関数が使えるPostGISを選択した。
PgAdminⅢから自作のプラグ院でRを起動できるようにした。
ただ、rgdalが動かない。
「Rの世界では良くあること」
●QA
どれくらいのデータ量があったのか？
100GB程度はあったが、同時接続はしないため性能面で困ることはなかった。
ただ、地理データのような大きなデータのインポートは課題。
Rの良いツール環境はないか？
正直使いにくい。
R studioというIDEはあるが、プロットが小さくなってしまう。
結局現状ではスクリプトとエディタで作るのが一番よい。
■進化する PostgreSQL のレプリケーション ～ 効果的な負荷分散とスムーズなデータ連携 ～
・pgpool＋PostgreSQL（ストリーミングレプリケーション）構成でフェイルオー場所用時間を測定
商用DBMSと比較しても劣らないフェイルオーバが可能。
●PostgreSQL9.2 レプリケーション検証
・synchronous_commitの違いによるプライマリサーバの性能比較
→ onとremote_writeでは後者が約5%の性能向上
User CPU使用率も5％増加しておりリソースを効率的に使われている。
スタンバイサーバのデータ損失の可能性が高くなるが、プライマリ性能を優先する場合は有効。
・カスケード構成の効果
カスケードレプリケーションはプライマリサーバの負荷軽減に有効
●Postgres Plus Adanced Sererの説明
異種DB間レプリケーション xDB Replication機能あり。
マルチマスターレプリケーション構成がとれる。
PostgreSQL/Postgres Plusだけではなく商用RDBMSとのデータ連携が可能。
用途に応じてレプリケーション構成を選択してください。
●PostgreSQL 9.3
マテリアライズドビューが実装予定・・らしい。
●QA
カスケード構成で効果があったのは、WAL転送のNWネックのせいではないか？
そのためスループットよりレスポンスタイムの劣化に関する情報も欲しかった。
■PostgreSQL 9.1 でつくる高可用システムにまつわるエトセトラ
NTTデータがPostgreSQL9.1を商用システムに適用した時のエピソード。
商用システム適用の5か条。
・検証が大事
・柔軟なサイジング
・運用が要 -切り替えは100%成功かつ即座-
・備えあれば憂いなし
・監視で安心
STONITHによる電源OFFに注意。
系切り替えの際に誤って新マスターを落としてしまわないようにタイムアウト時間を延長。
ホスト名に注意。
「Master」みたいなホスト名をつけるとスクリプトで誤認識するので、リソース名は変更すること。
とにかく検証が大事。
障害時検証項目は、単一部分の障害ではなく、複数個所の同時障害も想定して検証すること！
●QA
監視は何を対象にした？
・プロセス
・HAクラスタが生きているか
・統計情報が蓄積されているか
■Postgres-XC クラスタにおける高可用機能
●1台のサーバにCoodinator、DataNode、GTM、GTM Proxyが同居しても構わない。
●障害時対応
・GTM
同期モードでバックアップをとるような対応
・Datanode
Log shippingでフェイルオーバー対応
・GTM-Proxy
再起動してしまえばいい
・Coodinator
同じカタログなら他のCoodinatorが肩代わり可能
・サーバ全体が落ちた場合
DataNodeとCoodinatorの両方の対応が必要。
●現状と今後
Ver1.1はPostgreSQL9.1ベースで作成されている。
Triggerはこれから。
時期メジャーリリースは2013年4月予定。
インストーラ、統計情報収集、バックアップリストアなど。
●QA
PostgreSQLのバージョンアップに対する追従は？
原則、すべてキャッチアップしていく。
■pgpool-II で PostgreSQL の性能と信頼性を高めよう
機材故障で配布スライドを読んでいく形式になったため割愛
●機材故障中の小話
Postgres-XCはPostgreSQLのソースの良いところをうまく使っているとのこと。
■HA クラスタで PostgreSQL レプリケーション構成の高可用化
・PostgreSQL9.1からレプリケーションのモードを「非同期」「同期」で選択可能
WALの同期を保証し、参照可能データの同期は保証しない。
・レプリケーションモードはスレーブ単位、トランザクション単位で設定可能
9.1～ syncronous_commit = localが追加
9.2～ syncronous_commit = remote_writeが追加
・Act/stnandbyとMaster/Slave
それぞれ一長一短のため、サービス要件に応じて選択すること。
・運用時の注意
TimelineIDがずれているとレプリケーションができないため注意
「Slave起動前にMasterのデータをコピー」と覚えておけばOK
→ WALアーカイブではだめ、データ全体をコピーすること
■所感
会場が220人程度参加の満員状態で、PostgreSQLの注目度の高さが伺えた。
コミュニティの話から商用エピソードの話まで聴けたので個人的には満足。
質疑応答の時間が少ないのが若干残念ではあった。
主な内容として障害対応や性能試験の話が多かったため
さすがに正常系では大きな問題はないようだ。
PostgreSQLもカスケード接続ができるようになったことから複数台構成が当たり前になってきている印象を受けた。
2012年12月2日日曜日
2012年9月10日月曜日
OSC 2012 Tokyo Fall 1日目のみ参加
諸事情でINTEROPの報告が書けなかったが、OSCは書いてしまう。
オープンソースカンファレンス 2012 Tokyo Fall に参加してきました。
http://www.ospn.jp/osc2012-fall/
会場は明星大学。
とても大学っぽくて羨ましかったです。
片っ端から聴講してたので、それぞれについて簡潔に記載を。
全部書いちゃうのもアレなので、要所要所だけ。
■10：00－10:45 OpenStackで始めるクラウド環境構築入門
Ubuntu Server 12.04サーバ1台で、とりあえず動かしてみる。
・OpenStackの構成図のざっと説明
・OpenStackの構成要素について説明
・Nova
・Swift
・Glance
・Horizon
・Keystone
と、Novaのコンポーネントの説明
あとは設定方法やコマンド類の説明
●インストール時の罠があるようです。
ベースOSとしてUbuntu Serer 12.04をインストールする際に日本語を選択すると、stack.sh実行時にKeystoneの初期化に失敗する
→ 環境設定でEnglishを優先言語に変更しログインしなおすこと
apt-getが初回必要なので、その時はインターネット接続環境が必要
DeStackの場合ログの設定が別途必要。
所感：
入れてみました、動きましたね。という印象。
これから環境構築する場合にはコマンド手順らが使えるかもしれない。
■11:00-11:45 PostgreSQLエンタープライズコンソーシアムのご紹介と技術検証WG進捗のご紹介
各企業がPostgreSQLの商用での使い方、ノウハウをもっとオープンにしましょうよ。
という団体ができました。
その組織図のマイルストーンのお話。
ちなみに SRA OSS Inc日本支社は当然入ってるけど
NTT、NEC、日立、富士通など、有名企業類も参加なさっている様子。
技術展開等は今後発信していくそうです。
WG（ワーキンググループ）ごとにテーマを持つそうで
2012年度は性能と設計運用が主なテーマ。
ちなみにPostgreSQLそのものはもちろん
・pg-poolⅡ
・Postgres-XC
も視野に入ってるようです。
この点はとても期待。
あと、マンパワーが足りないらしいので、興味ある企業は是非とのこと。
所感：
広報系はパンフの話しか話さなかったのでカット。
技術系は個人的に突っ込んだ話をいろいろ聴けたので満足。
特にPostgreSQLConference 2012からXCは注目されてたので、色々と。。。
■12：00－12：45 LT＠Bussiness Day
LTなので簡潔に。1人5分。
・Ustreamのやりかた
・MicroSoft AzureはMacでも動くよ！
・Monacaというクラウド上 iOS＆Android向け開発環境のお話
・Job-Hubで、もっと自由な働き方をしよう
・MySQL マイグレーション ウィザードの紹介
所感：
OSCっぽかった。
基本的に各企業の宣伝だけど、ネタあり笑いありな和やかな感じで良かった。
■13：00－13：45 Oracle技術者必見！ Postgres Plus Advanced Serverの実力とは
・PostgreSQLのおさらい
・PostgreSQLとOracle DBのアーキテクチャ
・Postgres Plus Advanced Serverとは
・Postgres Plus Advanced Serverの機能評価、性能評価
・PostgreSQLとOracleDBの違いで、Oracleの共有プール（実行計画を保存していくメモリ部分）がない
・実装レベル、性能障害対応でもさまざまな違いあり
→ 結果、PostgreSQLでもRDBMSとして基本機能が十分有するが、商用向けとしてはまだ不足している点が多い
・PostgreSQLの標準機能に加え、商用向け機能を充実させたPostgres Plus Advanced Server
・PostgreSQLとPostgres Plus Advanced Serverの比較をいろいろと実施
・データベース稼働状況を分析・診断する場合の工数
・ストアドプログラム
・SQLヒント
・CPU、セッションのスケーラビリティ
・共有バッファのチューニング
所感：
OracleDBに比較して、運用面・障害面でPostgreSQLはまだ弱いところがある。
そこを補う製品を展開。
お値段がわからない点、肝心のOracleDBとの比較が何もなかったのが残念。
■14：00－14：45
Webアプリケーションサーバ JBoss 入門～知っておきたい！JBoss移行時の注意点とAS7新機能解説～
・JBossとは、コミュニティ版と商用版がある。
・JBossメリット
・サーバのライセンスコストが削減
・オープンスタンダード
・長時間システム利用（最大10年のサポート適用）
・移行時はJAVA EE準拠で構成されたアプリは基本的には異なるAPサーバでもグ億
ただし、他システム連携部分や非機能要件も踏まえて検討するべし
→ APサーバやロードバランサ等
・移行に大切なのは、移行リスクと影響度の調査が最も重要
・アプリケーションの移行の注意点や、WebLogicから移行の注意点
・JBoss7からドメインモードが導入された
→ 今まで1台ずつ管理していたサーバをドメインという管理単位にて一元的に管理できる
・また、そのための設定ファイル、注意点の説明
うれしいこと
→ システム全体をマスターホストで集約して管理が可能、ゆえに複数サーバからなるシステムの運用に要する管理コストを削減
所感：
移行時のノウハウや判断基準が開示されていたのは助かる。
結構ありがたい機能が追加された印象。多数のサーバがある場合に便利。
■15：15-16:00 Mongo DB 2.2の新機能
MapReduceなんて複雑な機能を使わなくてもいい時ってあるよね？
それを対応したよ。
イメージとしてはパイプラインのようにネストするのさ。
詳しくは 雲屋のWebもしくは公式ドキュメントで！
（゜Д゜）・・・え。
所感：
一瞬で終わった・・
たしかにMapReduceするまでもない計算って結構あると思う。 （温度の平均とか・・？）
「雲屋」さんのWebページに載っているらしいのでそこでスライド確認しましょう。。。
■16:15-17:00 Strutsの時代から標準Java EEで実現する効率的なWebサイトの構築へ
「JSF 2.0」を使うとこんなに楽になる という説明＆ムービー
もうJSPも書かないでXHTMLで書く時代。
Ajaxの対応も1行でいいし、XMLもいらない。
タグも使えるしすごい便利。
所感：
開発者が便利＆楽なのはとてもよくわかった。
メモリどんだけ食うのかなとか、実際に使ったらどうなのかなとか
いろいろ思った次第ですが、発表者さんのWebページにて
より詳しく書かれているようです。 リンクしていいのかな？
あと、Oracleさんでしたが、突如じゃんけん大会勃発
見事に勝ちましてJavaOneバッグもらえました。
各社のロゴ入っててかっこいいです。まじめに欲しかったんでうれしいです。
＃ 帰り大変でしたけど。
■17：15-18:00 JBoss Data Grid 6.0概要および検証結果の紹介
・InfiniｓpanをベースにしてRedHat社が製品化
・分散メモリキャッシュストア
注意点
・ライブラリモードは、まだRedHat社が正式サポートしてないらしい。
データの保存方法4つ
・Local Mode 1台で構成
・ReplicationMode 参照向き クラスタ構成で、同一データを全ノードで保持
・InvalidationMode 一意なデータを持つことを保証したい場合用 クラスタ化されているが1つのデータは1ノードにのみ保持し、データ更新時に過去のデータを削除
・DistributionMode クラスタ構成で、1つのデータを複数のノードにレプリカを保持して参照させる・データ更新時は全レプリカを更新
ちなみに・・InfiniSpan事例 Redhat社資料による（らしい）
日本より海外で需要あり、主な目的がCoherenceからの移行。（高いからだろうなぁ）
・試験目的
キャッシュサーバにしたときの典型的シナリオで性能測定
・検証方法（ここでの記載はざっくり）
３シナリオでGET/PUTを用いた基礎性能
・想定シナリオ
１、GET/PUT＝100/0 高速なデータ参照が必要な場合
２、GET/PUT＝95/5 稀にデータ更新が発生する場合
３、GRT/PUT＝50/50 参照も更新も多数発生する場合
・ハードウェア
検証クライアント メモリ96GB 4台
JBoss Data Grid サーバ メモリ96GB 4台
DBサーバ1台 メモリ48GB 1台 （メモリにのらない場合を測定したいため）
・結果サマリ
シナリオ１
データサイズ10GB、60GBで試験
40スレッド以上でデータ参照処理の負荷分散効果が現れ、4ノードなら2ノードのスループットの2倍
シナリオ２
PUTの兵器の打とう時間がGETと比較して約4倍かかる。
理由はデータを多重化しているため、そのノードで更新を行っているためと考えられる
シナリオ３
データサイズが大きくなってもスループットがほぼ一定
シナリオ２よりスループットは低下するが、スレッド数を増やした際のGet平均応答時間が1ms以下
所感：
1日通してもっともしっかりしてたと思った。
残念ながら、クエリ検索などの検証はなし。
当然なことにサーバ増やしてメモリ多いほうが良い。
■おまけ
自宅ラックの方々のサーバがとても業務用でした。
すごかったです、いやホントに。
とにかく参加者（特に展示ブースの方々は大変活き活きとして楽しそうでした）
いろんなグッズもらえました。
オープンソースカンファレンス 2012 Tokyo Fall に参加してきました。
http://www.ospn.jp/osc2012-fall/
会場は明星大学。
とても大学っぽくて羨ましかったです。
片っ端から聴講してたので、それぞれについて簡潔に記載を。
全部書いちゃうのもアレなので、要所要所だけ。
■10：00－10:45 OpenStackで始めるクラウド環境構築入門
Ubuntu Server 12.04サーバ1台で、とりあえず動かしてみる。
・OpenStackの構成図のざっと説明
・OpenStackの構成要素について説明
・Nova
・Swift
・Glance
・Horizon
・Keystone
と、Novaのコンポーネントの説明
あとは設定方法やコマンド類の説明
●インストール時の罠があるようです。
ベースOSとしてUbuntu Serer 12.04をインストールする際に日本語を選択すると、stack.sh実行時にKeystoneの初期化に失敗する
→ 環境設定でEnglishを優先言語に変更しログインしなおすこと
apt-getが初回必要なので、その時はインターネット接続環境が必要
DeStackの場合ログの設定が別途必要。
所感：
入れてみました、動きましたね。という印象。
これから環境構築する場合にはコマンド手順らが使えるかもしれない。
■11:00-11:45 PostgreSQLエンタープライズコンソーシアムのご紹介と技術検証WG進捗のご紹介
各企業がPostgreSQLの商用での使い方、ノウハウをもっとオープンにしましょうよ。
という団体ができました。
その組織図のマイルストーンのお話。
ちなみに SRA OSS Inc日本支社は当然入ってるけど
NTT、NEC、日立、富士通など、有名企業類も参加なさっている様子。
技術展開等は今後発信していくそうです。
WG（ワーキンググループ）ごとにテーマを持つそうで
2012年度は性能と設計運用が主なテーマ。
ちなみにPostgreSQLそのものはもちろん
・pg-poolⅡ
・Postgres-XC
も視野に入ってるようです。
この点はとても期待。
あと、マンパワーが足りないらしいので、興味ある企業は是非とのこと。
所感：
広報系はパンフの話しか話さなかったのでカット。
技術系は個人的に突っ込んだ話をいろいろ聴けたので満足。
特にPostgreSQLConference 2012からXCは注目されてたので、色々と。。。
■12：00－12：45 LT＠Bussiness Day
LTなので簡潔に。1人5分。
・Ustreamのやりかた
・MicroSoft AzureはMacでも動くよ！
・Monacaというクラウド上 iOS＆Android向け開発環境のお話
・Job-Hubで、もっと自由な働き方をしよう
・MySQL マイグレーション ウィザードの紹介
所感：
OSCっぽかった。
基本的に各企業の宣伝だけど、ネタあり笑いありな和やかな感じで良かった。
■13：00－13：45 Oracle技術者必見！ Postgres Plus Advanced Serverの実力とは
・PostgreSQLのおさらい
・PostgreSQLとOracle DBのアーキテクチャ
・Postgres Plus Advanced Serverとは
・Postgres Plus Advanced Serverの機能評価、性能評価
・PostgreSQLとOracleDBの違いで、Oracleの共有プール（実行計画を保存していくメモリ部分）がない
・実装レベル、性能障害対応でもさまざまな違いあり
→ 結果、PostgreSQLでもRDBMSとして基本機能が十分有するが、商用向けとしてはまだ不足している点が多い
・PostgreSQLの標準機能に加え、商用向け機能を充実させたPostgres Plus Advanced Server
・PostgreSQLとPostgres Plus Advanced Serverの比較をいろいろと実施
・データベース稼働状況を分析・診断する場合の工数
・ストアドプログラム
・SQLヒント
・CPU、セッションのスケーラビリティ
・共有バッファのチューニング
所感：
OracleDBに比較して、運用面・障害面でPostgreSQLはまだ弱いところがある。
そこを補う製品を展開。
お値段がわからない点、肝心のOracleDBとの比較が何もなかったのが残念。
■14：00－14：45
Webアプリケーションサーバ JBoss 入門～知っておきたい！JBoss移行時の注意点とAS7新機能解説～
・JBossとは、コミュニティ版と商用版がある。
・JBossメリット
・サーバのライセンスコストが削減
・オープンスタンダード
・長時間システム利用（最大10年のサポート適用）
・移行時はJAVA EE準拠で構成されたアプリは基本的には異なるAPサーバでもグ億
ただし、他システム連携部分や非機能要件も踏まえて検討するべし
→ APサーバやロードバランサ等
・移行に大切なのは、移行リスクと影響度の調査が最も重要
・アプリケーションの移行の注意点や、WebLogicから移行の注意点
・JBoss7からドメインモードが導入された
→ 今まで1台ずつ管理していたサーバをドメインという管理単位にて一元的に管理できる
・また、そのための設定ファイル、注意点の説明
うれしいこと
→ システム全体をマスターホストで集約して管理が可能、ゆえに複数サーバからなるシステムの運用に要する管理コストを削減
所感：
移行時のノウハウや判断基準が開示されていたのは助かる。
結構ありがたい機能が追加された印象。多数のサーバがある場合に便利。
■15：15-16:00 Mongo DB 2.2の新機能
MapReduceなんて複雑な機能を使わなくてもいい時ってあるよね？
それを対応したよ。
イメージとしてはパイプラインのようにネストするのさ。
詳しくは 雲屋のWebもしくは公式ドキュメントで！
（゜Д゜）・・・え。
所感：
一瞬で終わった・・
たしかにMapReduceするまでもない計算って結構あると思う。 （温度の平均とか・・？）
「雲屋」さんのWebページに載っているらしいのでそこでスライド確認しましょう。。。
■16:15-17:00 Strutsの時代から標準Java EEで実現する効率的なWebサイトの構築へ
「JSF 2.0」を使うとこんなに楽になる という説明＆ムービー
もうJSPも書かないでXHTMLで書く時代。
Ajaxの対応も1行でいいし、XMLもいらない。
タグも使えるしすごい便利。
所感：
開発者が便利＆楽なのはとてもよくわかった。
メモリどんだけ食うのかなとか、実際に使ったらどうなのかなとか
いろいろ思った次第ですが、発表者さんのWebページにて
より詳しく書かれているようです。 リンクしていいのかな？
あと、Oracleさんでしたが、突如じゃんけん大会勃発
見事に勝ちましてJavaOneバッグもらえました。
各社のロゴ入っててかっこいいです。まじめに欲しかったんでうれしいです。
＃ 帰り大変でしたけど。
■17：15-18:00 JBoss Data Grid 6.0概要および検証結果の紹介
・InfiniｓpanをベースにしてRedHat社が製品化
・分散メモリキャッシュストア
注意点
・ライブラリモードは、まだRedHat社が正式サポートしてないらしい。
データの保存方法4つ
・Local Mode 1台で構成
・ReplicationMode 参照向き クラスタ構成で、同一データを全ノードで保持
・InvalidationMode 一意なデータを持つことを保証したい場合用 クラスタ化されているが1つのデータは1ノードにのみ保持し、データ更新時に過去のデータを削除
・DistributionMode クラスタ構成で、1つのデータを複数のノードにレプリカを保持して参照させる・データ更新時は全レプリカを更新
ちなみに・・InfiniSpan事例 Redhat社資料による（らしい）
日本より海外で需要あり、主な目的がCoherenceからの移行。（高いからだろうなぁ）
・試験目的
キャッシュサーバにしたときの典型的シナリオで性能測定
・検証方法（ここでの記載はざっくり）
３シナリオでGET/PUTを用いた基礎性能
・想定シナリオ
１、GET/PUT＝100/0 高速なデータ参照が必要な場合
２、GET/PUT＝95/5 稀にデータ更新が発生する場合
３、GRT/PUT＝50/50 参照も更新も多数発生する場合
・ハードウェア
検証クライアント メモリ96GB 4台
JBoss Data Grid サーバ メモリ96GB 4台
DBサーバ1台 メモリ48GB 1台 （メモリにのらない場合を測定したいため）
・結果サマリ
シナリオ１
データサイズ10GB、60GBで試験
40スレッド以上でデータ参照処理の負荷分散効果が現れ、4ノードなら2ノードのスループットの2倍
シナリオ２
PUTの兵器の打とう時間がGETと比較して約4倍かかる。
理由はデータを多重化しているため、そのノードで更新を行っているためと考えられる
シナリオ３
データサイズが大きくなってもスループットがほぼ一定
シナリオ２よりスループットは低下するが、スレッド数を増やした際のGet平均応答時間が1ms以下
所感：
1日通してもっともしっかりしてたと思った。
残念ながら、クエリ検索などの検証はなし。
当然なことにサーバ増やしてメモリ多いほうが良い。
■おまけ
自宅ラックの方々のサーバがとても業務用でした。
すごかったです、いやホントに。
とにかく参加者（特に展示ブースの方々は大変活き活きとして楽しそうでした）
いろんなグッズもらえました。
2012年2月25日土曜日
「勉強会初心者のための勉強会」に参加しました
勉強会初心者のための勉強会に参加させていただきました。
http://atnd.org/events/25214
就職してから社外でのこういうイベントに出席する機会が激減したので
今後やっていきたいと思っていた矢先での開催だったので参加です。
Macユーザさんがたくさんいたｗ
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
粕谷さんの講演がなかなか面白かったです。
■勉強会のハードルは初参加
・OSSコミッターとか、特定技術のスペシャリストだらけな天上人の集いに感じる
→ そんなことなくて、むしろ主催者が一番知らないから開催する場合もある
→ 参加することに意義がある。
・参加を躊躇しないで1クリックするか否かが成功のポイント
■勉強会は役割分担
主催する人＋発表する人＋参加する人がそろって勉強会
■発表者のメリット
・懇親会で話しかけてもらえる
・フォロワーが増えるｗ
・Ｗｅｂ検索されると上位になる
■発表は敷居が高い？
・そこで失敗もネタとなるＬＴ（ライトニングトーク）などで経験を積みましょ
・ＬＴはなんでもあり（Ｊａｖａの勉強会でアップルパイの作り方とかｗ）
■勉強会に参加すると？
・友達が増える
・やりたいことが増える
・転職に有利になる
■発表する際に気をつけること
・自分の発表をＵｓｔｒｅａｍとかで見直して癖を直す（「えー」とか）
・本番は早口になりやすいため、練習はゆっくりめに
・仕事と勉強会の資料は異なる。グラフとかは使わなくて良い。
□告知
奈良で500人規模の会場で勉強会やるよっ！
次は参加者から発表者になってみましょう！
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
その後、1人2分間の自己紹介ＬＴ練習タイム。
当方は1分30秒ちょいでした orz..
ネタから入ったのにこの仕打ち。
あらためて時間ぴったりに話すのは結構難しいことを実感。
■感想
ＩＴ関係の人が多かった。たしかに告知の仕方が難しそう。
終始なごやかな感じでピリピリするような空気じゃなく良かった。
これを機に私もブログをはじめましたし、今後の良いステップになりました。
貴重な経験であるとともに、楽しむことができました。
所用で懇親会に出られなかったのが残念。
# 新しいノートパソコン買おうと思いました・・・ｗ
PostgreSQL Conference 2012に参加しました
PostgreSQL Conference 2012に参加してきました。
昨日、PostgreSQL Conference 2012参加してきました。
http://www.postgresql.jp/events/pgcon2012
■PostgreSQLで熱い分野
・クラスタ化
・レプリケーション
・キャッシュ
ここらへんが今注目集めてるなーという印象を受けました。
たしかに扱うデータ量が増えていて
「BigData」とか言われる昨今では
分散ＤＢとかキャッシュとかの技術が着目されるのは自然な流れな気がします。
■基調講演1
フランスの社会保障機構がPostgreSQLを用いたよってお話。
既存のシステムを新しくしましょって流れで結果的に
Cobolのアプリが動いてて
InfiniBandでＰｏｓｇｒｅＳＱＬとリンクするようにしたそうな。
18ヶ月のプロジェクトで8～10人程度で
納期を守ったらしい。
# フランスでは納期遅れはよくあるらしいｗ
データベース数：168
データ量：4TB
最も大きいＤＢのサイズ：250ＧＢ
とかいうシステムになったみたい。
4ＴＢ程度ならＰｏｓｔｇｒｅＳＱＬでもいけるんすね。
ただ
「メモリの設定がすんごい微妙で調整が大変」だってさ。
とにかく試験期間を長くとって試験したそうです。
大事なこと・・・
「まずはプロトタイプを作ってリスクを予想する」
だそうです。
たしかになぁ。。。。
質疑：
Ｑ「そもそもなんでポスグレなの？」
Ａ「Ｏｒａｃｌｅが以前残念だったから・・・ｗ」
というお言葉ｗ
■基調講演2
Ｐｏｓｔｇｒｅ９．２ではどうなるかってお話。
主なポイントは以下
・スケーラビリティ
・Ｉｎｄｅｘ－Ｏｎｌｙスキャン
・電力消費
・バックアップ、レプリケーション
・スケーラビリティ
9.1で問題だったlock contentionを改善して32コアに対応するよ！
なんで32コアかって？
64コラのマシンがないからさ、なので誰か無料で頂戴ｗ
って言ってた（笑）
あとＷＡＬらへんも改良してはやくなるみたいです。
・Ｉｎｄｅｘ－Ｏｎｌｙスキャン
今まではテーブルアクセスを必ずやってたんだけど
キャッシュにテーブルとインデックス情報がどっちも必要だったんだよねー。。
そこを条件つきでスキップできるようにするらしい。
あとvisibility mapがようやくPostgreSQLで対応します！という宣言。
これでＤＢ障害にも強くなる。
・電力消費
ＰｏｓｔｇｒｅＳＱＬの話題で電力消費って初めて聞いた。
よくわかんないけど
9.1で11.5 auxilliary processが 9.2で7.5になるそうです。ふーん。
・バックアップ、レプリケーション
カスケーディングレプリケーションに対応するらしい（段数制限は今のとこない見込み）
あと新しいバックアップのモードが入ってリモートでも書き込みができるらしいです。
その他として
9.2では ＪＳＯＮ のデータタイプが追加されるらしい。
なかなかこれは使えそうですね。
ちなみにリリース時期は9月にだせたらいいな～だそうです。
■ランチセッション vmwareの人
商品の紹介（笑）
クラウド化とかしてると管理大変じゃん？
うちのツールで一元管理できるぜ ってお話でした。
マウスでぽちぽちできるしテンプレートもいっぱいあるよ！
だそうです。
発売時期はナイショっていわれたｗ
■Ａ１ pg-pool2におけるオンメモリクエリキャッシュ
既存でもpg-pool2にはクエリキャッシュあるけど問題点いっぱい
そこを実装しなおしてるよー ってお話。
・キャッシュストレージとして共有メモリ or memcachedを選択可
・セッション、ユーザをまたがってキャッシュが再利用可
・テーブル別にキャッシュの使用有無を決められる
・キャッシュ更新の自動化
・拡張問い合わせでもキャッシュを行うことができる（実装中）
ＪＤＢＣつかえない欠点が解消される流れのようで、こちらも嬉しい。
制限は相変わらずいっぱいあるけど。。。
5月くらいにリリースしたいなー だそうです。
■Ａ２ Ｐｏｓｔｇｒｅｓ－ＸＣ
個人的なメインはこれ。
書き込み・読み込みのスケールアウトPostgreSQLクラスタ
妥当 Ｏｒａｃｌｅ ＲＡＣ！！
・基本的にPostgreSQL 9.1準拠
・ＣＲＥＡＴＥ文にオプション追加
・PostgreSQLと同じライセンスになるので商用利用可
・マスタスレーブなしで分散してても書き込める
・ＧＴＭ（Global Transaction Manager）ってのがいて振り分け管理するらしい。
# ＨａｄｏｏｐのＮａｍｅＮｏｄｅみたいな印象を個人的には受けました。
で、こいつ単一障害点になっちゃうんで冗長してね。
・ＰＩＴＲも対応
・4月末にだしたいなー だそうです。
これゴールデンウィークに良いおもちゃになりそうな予感。
■Ａ３ PostgreSQL9.1同期レプリケーションをPacemakerによる高可用クラスタ化
なんというか9.1の同期レプリケーションについての説明
ぐぐればいいんじゃね・・？ ってレベルな印象。
9.2に組み込まれる箇所は時間の都合で割愛 ('A`)ぇぇぇぇぇ
Pacemakerってのは
市販でいうとClusterProとかLifeKeeperとかRedHat HAとかあるけど
それのコミュニティ提供ソフトウェアです。
・Ｍａｓｔｅｒのフェイルオーバー
・同期、非同期の切り替え
・データの状態の管理
注意点
TimeLineIDって数字が一致しないとレプリケーションできないから
手動で同期（手動）か、ＷＡＬアーカイブの共有やってね。
う、うーーん、、、
個人的にクラスタ化とか障害系は有償つかってサポートあったほうが
商用で使える気がする。。。
あんまり利点を感じなかった。お値段くらい。。。？
■Ｂ４ MySQLからPostgreSQLへのマイグレーションのハマり所
・データ型が違う
・タイムスタンプの扱いが違う
・シリアル型の挙動が違う
などなどなど。。。
そして
「なんかよくわからんけど動いちゃってる」
って状況になる恐怖。
明確な要件、既存のテストケース等がないと
できなくないけど大変に高コスト。
私だったらやりたくないｗｗｗ
■全体を通して
会場が大混雑しちゃうほど大盛況だったみたいで
PostgreSQLの注目度は高いみたい。
やっぱり時代はクラスタ化の流れなようで
9.2ではスケーラビリティとか重視されてるけど
補うサードパーティのＯＳＳとかも選択肢にいろいろありそう。
昨日、PostgreSQL Conference 2012参加してきました。
http://www.postgresql.jp/events/pgcon2012
■PostgreSQLで熱い分野
・クラスタ化
・レプリケーション
・キャッシュ
ここらへんが今注目集めてるなーという印象を受けました。
たしかに扱うデータ量が増えていて
「BigData」とか言われる昨今では
分散ＤＢとかキャッシュとかの技術が着目されるのは自然な流れな気がします。
■基調講演1
フランスの社会保障機構がPostgreSQLを用いたよってお話。
既存のシステムを新しくしましょって流れで結果的に
Cobolのアプリが動いてて
InfiniBandでＰｏｓｇｒｅＳＱＬとリンクするようにしたそうな。
18ヶ月のプロジェクトで8～10人程度で
納期を守ったらしい。
# フランスでは納期遅れはよくあるらしいｗ
データベース数：168
データ量：4TB
最も大きいＤＢのサイズ：250ＧＢ
とかいうシステムになったみたい。
4ＴＢ程度ならＰｏｓｔｇｒｅＳＱＬでもいけるんすね。
ただ
「メモリの設定がすんごい微妙で調整が大変」だってさ。
とにかく試験期間を長くとって試験したそうです。
大事なこと・・・
「まずはプロトタイプを作ってリスクを予想する」
だそうです。
たしかになぁ。。。。
質疑：
Ｑ「そもそもなんでポスグレなの？」
Ａ「Ｏｒａｃｌｅが以前残念だったから・・・ｗ」
というお言葉ｗ
■基調講演2
Ｐｏｓｔｇｒｅ９．２ではどうなるかってお話。
主なポイントは以下
・スケーラビリティ
・Ｉｎｄｅｘ－Ｏｎｌｙスキャン
・電力消費
・バックアップ、レプリケーション
・スケーラビリティ
9.1で問題だったlock contentionを改善して32コアに対応するよ！
なんで32コアかって？
64コラのマシンがないからさ、なので誰か無料で頂戴ｗ
って言ってた（笑）
あとＷＡＬらへんも改良してはやくなるみたいです。
・Ｉｎｄｅｘ－Ｏｎｌｙスキャン
今まではテーブルアクセスを必ずやってたんだけど
キャッシュにテーブルとインデックス情報がどっちも必要だったんだよねー。。
そこを条件つきでスキップできるようにするらしい。
あとvisibility mapがようやくPostgreSQLで対応します！という宣言。
これでＤＢ障害にも強くなる。
・電力消費
ＰｏｓｔｇｒｅＳＱＬの話題で電力消費って初めて聞いた。
よくわかんないけど
9.1で11.5 auxilliary processが 9.2で7.5になるそうです。ふーん。
・バックアップ、レプリケーション
カスケーディングレプリケーションに対応するらしい（段数制限は今のとこない見込み）
あと新しいバックアップのモードが入ってリモートでも書き込みができるらしいです。
その他として
9.2では ＪＳＯＮ のデータタイプが追加されるらしい。
なかなかこれは使えそうですね。
ちなみにリリース時期は9月にだせたらいいな～だそうです。
■ランチセッション vmwareの人
商品の紹介（笑）
クラウド化とかしてると管理大変じゃん？
うちのツールで一元管理できるぜ ってお話でした。
マウスでぽちぽちできるしテンプレートもいっぱいあるよ！
だそうです。
発売時期はナイショっていわれたｗ
■Ａ１ pg-pool2におけるオンメモリクエリキャッシュ
既存でもpg-pool2にはクエリキャッシュあるけど問題点いっぱい
そこを実装しなおしてるよー ってお話。
・キャッシュストレージとして共有メモリ or memcachedを選択可
・セッション、ユーザをまたがってキャッシュが再利用可
・テーブル別にキャッシュの使用有無を決められる
・キャッシュ更新の自動化
・拡張問い合わせでもキャッシュを行うことができる（実装中）
ＪＤＢＣつかえない欠点が解消される流れのようで、こちらも嬉しい。
制限は相変わらずいっぱいあるけど。。。
5月くらいにリリースしたいなー だそうです。
■Ａ２ Ｐｏｓｔｇｒｅｓ－ＸＣ
個人的なメインはこれ。
書き込み・読み込みのスケールアウトPostgreSQLクラスタ
妥当 Ｏｒａｃｌｅ ＲＡＣ！！
・基本的にPostgreSQL 9.1準拠
・ＣＲＥＡＴＥ文にオプション追加
・PostgreSQLと同じライセンスになるので商用利用可
・マスタスレーブなしで分散してても書き込める
・ＧＴＭ（Global Transaction Manager）ってのがいて振り分け管理するらしい。
# ＨａｄｏｏｐのＮａｍｅＮｏｄｅみたいな印象を個人的には受けました。
で、こいつ単一障害点になっちゃうんで冗長してね。
・ＰＩＴＲも対応
・4月末にだしたいなー だそうです。
これゴールデンウィークに良いおもちゃになりそうな予感。
■Ａ３ PostgreSQL9.1同期レプリケーションをPacemakerによる高可用クラスタ化
なんというか9.1の同期レプリケーションについての説明
ぐぐればいいんじゃね・・？ ってレベルな印象。
9.2に組み込まれる箇所は時間の都合で割愛 ('A`)ぇぇぇぇぇ
Pacemakerってのは
市販でいうとClusterProとかLifeKeeperとかRedHat HAとかあるけど
それのコミュニティ提供ソフトウェアです。
・Ｍａｓｔｅｒのフェイルオーバー
・同期、非同期の切り替え
・データの状態の管理
注意点
TimeLineIDって数字が一致しないとレプリケーションできないから
手動で同期（手動）か、ＷＡＬアーカイブの共有やってね。
う、うーーん、、、
個人的にクラスタ化とか障害系は有償つかってサポートあったほうが
商用で使える気がする。。。
あんまり利点を感じなかった。お値段くらい。。。？
■Ｂ４ MySQLからPostgreSQLへのマイグレーションのハマり所
・データ型が違う
・タイムスタンプの扱いが違う
・シリアル型の挙動が違う
などなどなど。。。
そして
「なんかよくわからんけど動いちゃってる」
って状況になる恐怖。
明確な要件、既存のテストケース等がないと
できなくないけど大変に高コスト。
私だったらやりたくないｗｗｗ
■全体を通して
会場が大混雑しちゃうほど大盛況だったみたいで
PostgreSQLの注目度は高いみたい。
やっぱり時代はクラスタ化の流れなようで
9.2ではスケーラビリティとか重視されてるけど
補うサードパーティのＯＳＳとかも選択肢にいろいろありそう。
登録:
投稿 (Atom)