シリアライズ

これらのシリアライズ、デシリアライズは、どの分野でも使える汎用的な物だけど
hadoop (hive)で使うことに絞って書いてます。

JSON (テキスト)
avro, protocol buffer, thrift (バイナリ)
msgpackも良さげだけど、あまり使われていない感じ。

avroなどバイナリ系の規格は、データサイズを押さえる以外にも
データ型を指定できる点が便利。
特に、hive, javaなどとの利用を考えると。

JSONは便利なようで不便な気がする。
(hadoopの世界では)
5 Reasons to Use Protocol Buffers Instead of JSON For Your Next Service

thriftはRPCの機能でもhadoopで便利に使われているので、もっと調べる。
avroはjsonでスキーマ定義できる(テキストエディターでは見れないけど扱いはJSONと同じ感じか？)。

Hive で利用できるSerDe
JSON SerDe
https://github.com/rcongiu/Hive-JSON-Serde
protocol buffer
https://github.com/twitter/elephant-bird

パフォーマンス比較
https://gist.github.com/joshsz/11299196

rbenv のちりぬるを

本家
https://github.com/sstephenson/rbenv
https://github.com/sstephenson/ruby-build
https://github.com/sstephenson/rbenv-default-gems

インストール

# rbenv
$ git clone https://github.com/sstephenson/rbenv.git ~/.rbenv
$ echo 'export PATH="$HOME/.rbenv/bin:$PATH"' >> ~/.bash_profile
$ echo 'eval "$(rbenv init -)"' >> ~/.bash_profile

# ruby-build
$ git clone https://github.com/sstephenson/ruby-build.git ~/.rbenv/plugins/ruby-build

# default gems
$ git clone https://github.com/sstephenson/rbenv-default-gems.git ~/.rbenv/plugins/rbenv-default-gems
# すべてのバージョンでbundler を自動インストール
$ echo 'bundler' > ~/.rbenv/default-gems

コマンド

rbenv install --list

rbenv install 2.1.2

# 利用可能なversion (未インストールも含めて)
$ rbenv install --list

# インストールされているversion
$ rbenv versions


■ Todo
user 用とsystem全体
rbenv local と .ruby-version

あらためて、MySQLのインデックス

MySQLのインデックス について。


Where狙いのキー、order by狙いのキー

rails console から、実行環境について

rails console の流れを追う

rspecの新しい記事 rails4

RailsテストフレームワークRSpecのインストールと基本的な使い方、基礎文法 (1/3)

docker イメージ作成

自分でイメージを作って管理できたら、いろいろと使えるはず


Dockerfileとdocker buildコマンドでDockerイメージの作成 (1/2)

docker用にCentOS 6.5のbase imageを自作する

Docker向けのコンテナをゼロから作ってみよう

Dockerイメージのレイヤー構造について

Dockerを使って開発イメージを作成し、公開します


Dockerクイックツアー

Hadoop 設定、開発環境

Standaloneで作るのがオススメ。 Eclipseで。

■ MapReduce
mapreduce 開発  Eclipse, standalone  2013年2月
Hadoop & Eclipse: Part 1: Basics – Possible options for running Hadoop from Eclipse
Hadoop & Eclipse: Part 2: Running Hadoop in the stand-alone (local) mode in Eclipse (Building Hadoop source in Eclipse)
Hadoop & Eclipse: Part 3: Installing Hadoop in stand-alone or pseudo-distributed mode


Eclipse, JUnit  2014年6月
JUnit入門その１[Eclipse4.4のJUnitプラグインの基本的な使い方]


■ 生Hadoop のインストール (CDHじゃない)
Apache Hadoop のインストール
Apache Hadoop 2.2.0 を Debian 7にインストールする

■ HBase
CentOS 6.5でHBaseのスタンドアロンモードを動かす

■ Spark
SparkをStandalone Modeで実行してみる

Spark を試す
Spark & YARNを試してみる（前半）
Spark & YARNを試してみる（後半）