yum レポジトリ

超書きかけです。。。
https://ius.io/

todo
epel, postgres, nginx, mongo
(mariadbもいるかな？)

mysql5.6のrpmリポジトリ (fedora20)

rpm でfedora20 にmysql をインストール。

Download MySQL Yum Repository
redhat(centos), fedora18, 19, 20 用が用意されている。


rpm -ivh http://dev.mysql.com/get/mysql-community-release-fc20-5.noarch.rpm

yum install mysql-community-server mysql-community-devel mysql-community-client mysql-community-common mysql-community-libs


■ python3用ドライバー
Python 3 の MySQL ドライバ事情
ということなので、
MySQL-for-Python-3　を利用してみる。

pip3 install git+https://github.com/davispuh/MySQL-for-Python-3.git

(warningがいくつも出るね。。。)

python3.4 インストール

python3 の準備。
(fedora20, python3.4)

readline-devel ncurses-devel bzip2-devel openssl-devel zlib-devel xz-devel sqlite-devel
などはyumで入れておく。

scipy を入れる場合は以下も入れておく。
atlas-devel lapack-devel blas-devel

./configure --enable-shared
make
make install

echo '/usr/local/lib' > /etc/ld.so.conf.d/local.conf
ldconfig を実行。(上の追加を有効にする)

デフォルトでpipがインストールされるようになったみたい。
/usr/local/bin/pip3


pip3 install lxml         (libxml2-devel libxslt-devel が必要)
pip3 install feedparser
pip3 install django
pip3 install uwsgi
pip3 install git+https://github.com/mitsuhiko/werkzeug.git
(リリース前だがver0.10でpython3に対応)
ipython, numpy, scipy, pandas, sklearn も

■ uwsgi の確認
--------------------------------------------------
#coding: utf-8

def application(env, response):
    response('200 OK', [('Content-Type', 'text/html')])
    html = '''<!DOCTYPE html><html>
    <head><meta charset="utf-8"></head>
    <body>こんにちは！uWsgi</body></html>'''
    return [html.encode('utf-8')]
--------------------------------------------------

uwsgi --http-socket :8000 --wsgi-file wsgi.py

■ 残り作業
(1) MySQL-Python
  MySQLからmariadb に変わってしまった。。。

(2) zenhan
 今まで使ってたけど、python3には未対応?
pip3 install zenhan
---------------------------------------------------------
Downloading/unpacking zenhan
  Could not find any downloads that satisfy the requirement zenhan
  Some externally hosted files were ignored (use --allow-external zenhan to allow).
---------------------------------------------------------

これも確認が必要。

HAProxyはじめました

HAProxyを入れてみることにした。

websocketを試すために、nginxを入れたけど、既存のapache環境もひつようで、
振り分けの設定が簡単そうなHAProxyを選択。

nginxがダメということではなく、単にHAProxyとwebsocketの組み合わせに興味が。。。
(nginxのwebsocket対応が開発版のみ、というので賛同が得られなかったこともある)

というわけで、
HAProxyの後ろで、apache, nginx, node が動いている状況です。
nodeはsocket.io用。 nginxはwebsocket用に入れたけど、しばらく宙ぶらりんのアイドル状態。

HAProxy って何ですか？
「The Reliable, High Performance TCP/HTTP Load Balancer」です。

インストールはrpmを利用 (epelリポジトリ)
yum install --enablerepo=epel haproxy

スタティックなファイルなどはパス指定して、専用のサーバーへ
ドメインの振り分けは hdr_dom(host) でACLを定義する。
HAProxy
Configuration Manual
7. Using ACLs and pattern extraction

振り分け条件はいろいろな書き方があって、かなり幅が広がりそう。
サブドメイン単位でなく、URLの文字列や、パスでも振り分けられる。
う～ん、凄い。
既存のapache環境もポートを変更しただけで、いい感じに動いてる。


ただ、パフォーマンスの観点から、ssl、keepaliveは未対応らしい。

websocket環境はまだまだですね。
awsのelbもnginxも。そもそもクライアントサイドでは、androidブラウザが未対応とはがっかり。

でも、近いうちにやってくるwebsocket革命が！！！

nginxインストール (rpm)

nginx どうなのよ？
「エンジンエックス」って読むけどOKですか？

nginx.org でrpmを用意してくれている。


では、リポジトリをついか。

/etc/yum.repos.d/nginx.repo を作成
-----------------------------------------------------------
[nginx]
name=nginx repo
# stable版
baseurl=http://nginx.org/packages/centos/6/$basearch/
# 開発版
baseurl=http://nginx.org/packages/mainline/centos/6/$basearch/
gpgcheck=0
enabled=1
-----------------------------------------------------------
stable or mainline(開発版) のどちらかを選択し、

とりあえず、websocketを試したいので、開発版を選択。

yum install nginx
で、無事インストールできた。


自分のドメインを追加するとエラーが出るので、
/etc/nginx/nginx.conf に
server_names_hash_bucket_size  64;
を追加。 (今のところ何なのかはわかってない)

あと、デフォルトで、
uwsgi_params とかfastcgi_params が用意されてるので、
そのうち使ってみる。

aws 触ってみた

Amazon EC2 料金表

Available Instance Types　(メモリ、CPU、ネットワーク帯域)

クラウドサービスなので、CPUがどの程度の能力なのかわかりにくい。
一応、マイクロインスタンスを1とした基準となっている。
また、cpuinfoなどで、物理的なCPU情報を確認できるので、使っていくうちに、感覚的にわかってくるはず。
CPUの能力はECU という単位で表記されている。
(かなり、ざっくりしたものだけど)

Webサービス用に使えそうなインスタンス

インスタンス名	メモリ	Compute Units	CPU	Network	API Name
マイクロインスタンス
エクストララージ	615 MiB	Up to 2	1	Very low	t1.micro
High CPUインスタンス
エクストララージ	7 GiB	20	8 (2.5 ECUs each)	High	c1.xlarge
スタンダードインスタンス
エクストララージ	15 GiB	8	4 (2 ECUs each)	High	m1.xlarge
スタンダードインスタンス (第2世代)
M3エクストララージ	15 GiB	13	4 (3.25 ECUs each)	Moderate	m3.xlarge
M3ダブルエクストララージ	30 GiB	26	8 (3.25 ECUs each)	High	m3.2xlarge

マイクロインスタンスは1年間無料なので、開発、ステージング用。
2012年12月 スタンダードインスタンスの第2世代(M3)が追加。パフォーマンスは約5割り増し


SDK (HTTPのWebAPI)
Python (boto)
Ruby
PHP
Javascript (サーバーサイド、ブラウザ上でもOK)

仕方ないが、PHP (Javaも)に力を入れていて、PythonSDKはコミュニティーで開発されている感じでしょうか。　(WebAPIなので、あまり問題ではないかもしれませんが)


勝手に感想

AWSの強み
短時間の使用では、コスト面で圧倒的に有利
全ての操作をAPI経由で実行できるので、サーバーを準備する時間を大幅に減らせる。

弱み
インスタンスのCPUパワーが結構、貧弱。
長時間のサーバー運用では、おそらく割高になる。


・特定の時間だけ、特定の時期だけサーバーが必要な場合
・最初から、多数のサーバーを用意する時間(お金?) が無い場合
には、特に力を発揮するサービスだと思います。

・先日(2012年12月)、ニフティークラウドを少し触らせてもらえる機会がありました。
サーバーインスタンスとロードバランサーしかない状況ですが、料金的には、いいかんじにおさまりそうでした。 (料金表ではAWSより割高ですが、CPUはそんなに非力ではなさそうだったので)
あと、ネットワークではどこにも負けないといっていました。(プロバイダーですしね。)

remi, epelリポジトリの追加

epelを追加
rpm -ivh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm
http://dl.fedoraproject.org/pub/epel/6/からepel-release-6xxx.rpm をインストール
時々数字が上がってアップデートされるので、目視確認。

remiを追加
rpm -ivh http://rpms.famillecollet.com/enterprise/remi-release-6.rpm


PHP5.4 を入れてみる
yum install php-mbstring php-devel php-common php-cli php-mysql php-pear php php-pdo --enablerepo=remi-test,remi

MySQL5.5
yum --enablerepo=remi install mysql-server mysql-devel mysql mysql-libs


とうとう、PHPをやることになった。
2012年夏

mod_wsgi 3.3 のインストール

mod_wsgi

apacheのライブラリ

yum install httpd-devel.x86_64

インストール

./configure --with-python=/usr/local/bin/python2.7
make
make install

mod_wsgiのログ

cp .libs/mod_wsgi.so /usr/lib64/httpd/modules/mod_wsgi.so
cp .libs/mod_wsgi.lai /usr/lib64/httpd/modules/mod_wsgi.la
cp .libs/mod_wsgi.a /usr/lib64/httpd/modules/mod_wsgi.a
chmod 644 /usr/lib64/httpd/modules/mod_wsgi.a
ranlib /usr/lib64/httpd/modules/mod_wsgi.a
PATH="$PATH:/sbin" ldconfig -n /usr/lib64/httpd/modules
----------------------------------------------------------------------
Libraries have been installed in:
   /usr/lib64/httpd/modules

If you ever happen to want to link against installed libraries
in a given directory, LIBDIR, you must either use libtool, and
specify the full pathname of the library, or use the `-LLIBDIR'
flag during linking and do at least one of the following:
   - add LIBDIR to the `LD_LIBRARY_PATH' environment variable
     during execution
   - add LIBDIR to the `LD_RUN_PATH' environment variable
     during linking
   - use the `-Wl,--rpath -Wl,LIBDIR' linker flag
   - have your system administrator add LIBDIR to `/etc/ld.so.conf'

See any operating system documentation about shared libraries for
more information, such as the ld(1) and ld.so(8) manual pages.
----------------------------------------------------------------------
chmod 755 /usr/lib64/httpd/modules/mod_wsgi.so

Python2.7 のインストール

2.6の時と同じ。

必要なライブラリ

とりあえず、以下のものは入れておく。
yum install sqlite-devel.x86_64 zlib-devel
yum install gdbm-devel.x86_64 readline-devel.x86_64 readline-devel.x86_64 freetype-devel.x86_64
yum install bzip2-devel.x86_64 yum install db4-devel.x86_64 openssl-devel.x86_64 gdbm-devel.x86_64 ncurses-devel.x86_64

zlib-develはPILで必要なので32bit版も入れる
dl, imageop はなくなるモジュールなので無視

ここで入れ忘れても、make, make install で、追加したものだけインストールできる。

インストール

./configure --enable-shared

make

make install

/usr/local/bin の検索順位が /usr/bin より前なので、

rm /usr/local/bin/python

で、消しておく。

ライブラリ検索の登録

方法1

ln -s /usr/local/lib/libpython2.7.so.1.0 /usr/lib64/

方法2

rootになって、

echo "/usr/local/lib" > /etc/ld.so.conf.d/local.conf

ldconfig

方法3

やったこと無いけど、

LD_LIBRARY_PATH を使う。

モジュールインストール

setuptoolsのインストール

wget http://peak.telecommunity.com/dist/ez_setup.py

python2.7 ez_setup.py

easy_install pip

とりあえず、これは入れておく。

yum install mysql-devel.x86_64

pip install MySQL-python

yum install libxml2-devel.x86_64

yum install libxslt-devel.x86_64

pip install lxml

pip install zenhan

pip install feedparser

pip install django

pip install Werkzeug

ruby1.9のインストール

zlibとかいろいろ必要だと思うが、既に大体入っている。

libyaml をインストール(gemで必要)

http://pyyaml.org/wiki/LibYAML

後は、configure,make, make install .....