こんにちは。研究開発部の佐野と申します。
普段、オープンソースソフトウェア(OSS) を使っているけれども、OSS を改造してみたことはない。
そもそも、OSS は自分で改造できるものだと考えたことがない。でも、OSS の改造ができるようになった未来の自分にちょっと興味がある。
今回は、そんな読者を対象に、OSS を改造できるようになる「OSS 改造メソッド」をご紹介します。
そして、「OSS 改造メソッド」の実践として、サイボウズラボ発の Scheme インタプリタ Mosh の文字エンコーディングの処理を少しだけ改造してみます。
OSS 改造メソッド
OSS を自力で改造できるようになりたい！でも、具体的にそのようなスキルを身につけるには、どうしたら良いのかわからない。
この問いに答えてみます。
OSS を自力で改造できるようになるまでに、どんなステップを踏めば良いのか、私なりに考えてみました。そうすると、4 つのステップが出てきました。
- 改造の対象 OSS の選択
- 自力でビルド: ソフトウェアを自分でビルドしたくなる体質になる
- 1 行ハック: ソフトウェアの改造に目覚める
- 対象 OSS へ飛び込む
では、これらの 4 つのステップについて、順に説明していきます。
改造の対象 OSS の選択
世の中には、OSS で溢れかえっています。それらの OSS から、どの OSS を選んで、改造する対象とするのか。
選択する際の指針は、何に興味があって、対象から何を学びたいのか？という問いに自分なりに答えてみることで明らかになってきます。
今回、OSS の題材として、Scheme インタプリタの Mosh を取り上げることにしましたが、その理由を挙げてみます。
- 対象が自分にとって適度な複雑さを持っている
- 処理系内部の文字エンコーディングの処理に興味がある
- ビルドが必要である
1 つめ。私は興味を持ったソフトウェアは、まず対象の複雑さに目を向ける癖があります。
対象の複雑さをつかむことで、「このソフトウェアを自分で改造できるようになるか」について判断をします。
Mosh のコードを取ってきて、ディレクトリ構造、コードの量、コードそのものをざっと見てみた結果「これなら改造できそう」という感触を受けました。
そういう感触を受けたのは、C++ を Better C として使っている Mosh の「シンプルさ」が伝わってきたのが一番大きいと思います。
2 つめ。最近の興味の 1 つとして、処理系における文字エンコーディングの処理があります。
具体的に言うと、処理系での Unicode をどのように扱うのかといった問題や、文字エンコーディングの変換処理です。
Mosh のコードを少し読んでみて、この興味を満たしてくれる感触を受けました。
そのように感じたのは、後述しますが、Mosh では、内部エンコーディングに UTF-32、入出力エンコーディングに UTF-8 のみをサポートしており、
それがコードの「シンプルさ」につながっているからです。
3 つめ。後述する自分でビルドすることの大切さを伝えるためには、前提としてビルドが必要なソフトウェアを選択する必要がありました。
Mosh はベースが C++ で書かれており、ビルドを必要とします。
実際問題、この 4 つのステップの中で「対象 OSS の選択」が一番難しいと私は感じています。
自分の今の興味、スキルなどを総合的に理解したうえで、無数にある OSS から 自分にとって意味のある OSS を選び出す「眼力」が必要となるからです。
「眼力」は、いくつもの OSS をさわってみて、少しずつ鍛えていくしかないかと思います。
自力でビルド: ソフトウェアを自分でビルドしたくなる体質になる
昨今では、OSS の多くは、apt や yum を使えば簡単にソフトウェアをインストールできてしまいます。
簡単にソフトウェアを使い始められます。依存関係の解決も自動的に行ってくれます。便利ですね。
でも、便利になった一方で、教育的な観点からプログラマに与える弊害は、非常に大きいと考えています。
何が弊害かと言うと、与えられたものをそのまま使う体質になってしまい、「ソフトウェアは自分で改造できるものだ」
という感覚を失ってしまうことが弊害だと思います。このような体質は、プログラマとして不健全な状態だと思います。
直したい時に直せる。面白いことを閃いた時に、ちょっと改造できる。それがプログラマの本来あるべき姿ではないでしょうか？
もしパッケージインストールに慣れてしまっているのなら、今日から体質改善しましょう。
「ソフトウェアは自分でビルドするものだ！」そう心に刻み込んでください。
では、ソフトウェアを自分でビルドできるようになると、何が嬉しいのでしょうか。
それは、単純で、興味のある OSS を自分で改造できる可能性が生まれるということです。
パッケージインストールに頼っていたら、パッケージインストールされるソフトウェアを改造しようにもできません。
逆に考えると、パッケージインストールに頼っていては、いつまでたっても OSS の改造ができるようになる可能性は見えてきません。
とはいうものの、パッケージインストールは便利なので、「絶対に使うな！」とまでは言えません。
実際、私もパッケージインストールの恩恵を受けています。
普段よく使っているソフトウェアで、パッケージインストールしていたものを徐々に、自力でビルドして使えるようにしていけば良いと思います。
1 行ハック: ソフトウェアの改造に目覚める
さて、幾度のビルドの試練を乗り越え、OSS を自分でビルドできる体質になりました。(と仮定します)
自力でビルドができるようになれば、あと少しで、OSS を自力で改造できるようになります。本当です。
ここで、私がおすすめするメソッドを紹介しましょう。
名付けて「１行ハック」。
やり方は簡単です。
まず、ソフトウェアが実行されたら、1) その影響を観測でき、2) 絶対に実行される場所に、1 行コードを追加します。
例えば、C 言語だと main 関数のはじめあたりが良いでしょう。
コマンドラインで動作するツールなら、printf(3) 関数 なんかを呼び出して標準出力に「Hello, World」
と表示されるようにしてみましょう。そして、ビルドをします。
ビルドがうまくいったら、実行してみて下さい。
実行結果に、自分が書いたコードが影響していることを確認します。
これだけです。実に簡単ですね。
こんなことに何の意味があるのか？そう疑問に持たれるかもしれません。
1 行ハックでは、実際に１行でもコードを追加すれば、関心を持っているソフトウェアの挙動に影響を与えられるという、
面白さの実感してもらうことに意味があります。
たった1 行だけのコードの追加なんて一見意味の無いように思えますが、実際にやってみると、不思議なもので、「自分でもこのソフトウェアを
改造できるんだ」という気持ちが湧き出てきます。
だまされたと思ってやってみてください。そして、ここでつかんだ気持ちと感覚を大切にしてください。
対象 OSS へ飛び込む
１行のコード追加ができれば、後は本当に意味のあるコードを書いていくのみです。面白そうなコードを追いかけて、改造を試みます。
単にコードを読むだけでなく、少しでも良いので実際に改造してみるのがポイントです。
改造することで、自分の血となり肉となります。改造を通して、対象 OSS から良い技術を盗み出しましょう。
Mosh で実践してみよう
ここでは、OSS 改造メソッドを、Mosh で実践してみます。
Mosh とは?
ここで、Mosh について簡単に説明しておきます。
Mosh は、作者の説明から引用すると
「R6RSという Scheme の新しい言語仕様に準拠することを目指している高速な Scheme インタプリタ」です。
自力でビルド
自力でビルドするところからはじめましょう。
手元の開発環境では、Cent OS 5.1 (32 bit) を利用しました。
Mosh は、ビルドに Gauche が必要となるので、まずは、Gauche をビルドしてインストールします。
% cd ~/src
% wget wget http://prdownloads.sourceforge.net/gauche/Gauche-0.8.13.tgz
% tar zxvf Gauche-0.8.13.tgz
% cd Gauche-0.8.13
% ./congigure
% make
% sudo make install
次に、Mosh をビルドします。
% cd ~/src
% wget http://mosh-scheme.googlecode.com/files/mosh-0.0.4.tar.gz
% tar zxvf mosh-0.0.4.tar.gz
% cd mosh-0.0.4
% ./configure
% make
手元の環境で、Mosh をビルドすると、以下のようなエラーが出ました。
- Port.h:87: error: 'exit' was not declared in this scope
- read.cpp:202: error: 'LONG_MAX' was not declared in this scope
そこで、Mosh の scheme.h に以下の変更を加えることで、Mosh をビルドできるようになりました。
% diff -u scheme.orig.h scheme.h
--- scheme.orig.h 2008-06-23 20:04:17.000000000 +0900
+++ scheme.h 2008-06-23 20:43:33.000000000 +0900
@@ -52,6 +52,10 @@
#include
#include
+// [PATCH BEGIN]
+#include <stdlib.h>
+#include <climits>
+// [PATCH END]
//#define DUMP_ALL_INSTRUCTIONS
//#define TRACE_INSN
#define INSN_LOG_FILE "/tmp/mosh-insn.log"
Mosh のビルドが完了すると、現在のディレクトリに「mosh」が生成されます。
Mosh は make testを実行することで、テストできます。
% make test
(省略)
test ((char ok
test ((cons* 1 2 3 4)), expects (1 2 3 . 4) ===> ok
test ((cons* 1)), expects 1 ===> ok
passed.
どうやら、期待通りに動作しているようです。
自分でも mosh を実際に動かしてみます。1 + 2 の計算をさせてみましょう。
% ./mosh
mosh>(+ 1 2)
3
評価した結果、 「3」が出力されました。ビルド成功です。
1 行ハック:「Hello, World!」と表示させてみる
1 行ハックを Mosh で試してみましょう。
mosh 起動直後に、コンソールに「Hello, World!」と表示させてみることにします。
C++ では、プログラムは main 関数から実行されます。ですので、main 関数をまず探してみる必要があります。
grep を使って main 関数を調べてみます。
% grep -rn "main(" .
./gc-7.1alpha3/add_gc_prefix.c:4:int main(argc, argv, envp)
./gc-7.1alpha3/configure:8473:int main(){nm_test_var='a';nm_test_func();return(0);}
./gc-7.1alpha3/configure:9161:lt_simple_link_test_code='int main(){return(0);}\n'
./gc-7.1alpha3/configure:12735:lt_simple_link_test_code='int main(int, char *[]) { return(0); }\n'
(省略)
% grep -rn "main(" . | wc -l
87
87 件もヒットしました。さて、どのファイルに、mosh の main 関数があるのでしょうか？
1 つ 1 つ怪しそうなファイルをみていくのも 1 つの手ですが、ここは賢く確実に探す方法でいきたいと思います。
gdb を使います。
main 関数でブレークポイントをセットしてみます。
% gdb ./mosh
(gdb) b main
Breakpoint 1 at 0x804a5c0: file main.cpp, line 99.
「Breakpoint 1 at 0x804a5c0: file main.cpp, line 99.」に注目してください。
main.cpp の 99 行目に main 関数が書かれていることがわかりました。
このように、gdb を使えば、瞬時に目的のファイルを探し出すことができます。ただし、デバッグ情報付き(gcc では -g オプション)でビルドされている必要があります。
では、main.cpp を見てみます。
(省略)
int main(int argc, char *argv[])
{
int opt;
bool isRepl = false;
bool isTestOption = false;
bool isCompileString = false;
bool isProfiler = false;
while ((opt = getopt(argc, argv, "htvpVc")) != -1) {
(省略)
この while 文の前に、printf(3) 関数を呼ぶように変更を加えたら、確実に printf(3) 関数が呼ばれそうですね。
では、やってみましょう。
以下のように変更を加えました。
$ diff -u main.cpp main.orig.cpp
--- main.cpp 2008-06-23 21:03:26.000000000 +0900
+++ main.orig.cpp 2008-06-23 20:55:01.000000000 +0900
@@ -104,8 +104,6 @@
bool isCompileString = false;
bool isProfiler = false;
- printf("Hello, World!\n");
-
while ((opt = getopt(argc, argv, "htvpVc")) != -1) {
switch (opt) {
case 'h':
再度ビルドして、mosh を実行してみます。
% make
% ./mosh
Hello, World!
mosh>
mosh のプロンプト(mosh>)の前に「Hello, World!」が表示されました。1 行ハック成功です。
適切な場所にコードを書けば、対象ソフトウェアに簡単に影響を与えられることを実感して頂けたと思います。
対象 OSS へ飛び込む: Mosh における文字エンコーディングの処理の改造
この記事の冒頭で、「処理系内部の文字エンコーディングの処理に興味がある」と言いました。
つまり、処理系における入出力エンコーディングや内部エンコーディング、がどのように実装されているのかに興味があります。
なぜ興味があるかと言うと、地味だけれども、処理系全体に影響を与えるとても大切なパートだからです。
ここでは、思い切って Mosh 内部の文字エンコーディングの処理を追いかけて、改造に挑戦してみたいと思います。
(Mosh 内部の文字エンコーディングの処理を追いかける話まで記事にすると、非常に長くなるので割愛させていただきます。)
Mosh のコードを読んでみた結果、Mosh 内部の文字エンコーディングの処理は以下のようになっていることがわかりました。
- 内部エンコーディングは、UTF-32 (Regexp.cpp 参照))
- 外界との入出力エンコーディングは UTF-8 (Port.h 参照)
- UTF8Codec クラスで、UTF-32(内部エンコーディング)と UTF-8 の相互変換する (Port.h 参照)
既存の Mosh の実装では、Mosh の入出力文字エンコーディング UTF-8 しかサポートされていません。
ですので、外界との入出力エンコーディングに UTF 8 以外でも改造してみたら面白そうです。
今回は、簡単のため、出力エンコーディングの改造に集中します。入力エンコーディングは、UTF-8 のままで進めます。
出力エンコーディングの改造は、2 つのステップに分けて改造してみます。小さい問題に分解した方が、ステップを踏みやすくなるからです。
- 内部エンコーディングのまま出力させてみる
- 出力エンコーディングを iconv(3) で変換させてみる
(今回は、あくまで自分の理解を深めるために実験的に改造しています。実用的なコーディングにはなっていないので、その点については注意して下さい。)
内部エンコーディングのまま出力させてみる
次のような改造をしてみました。
- mosh に -z オプション付きで、実行されると今回実装した Codec (MyCodec)を使用
- MyCodec の入力エンコーディングは、UTF8Codec に委託して、UTF-8 を使用
- MyCodec の出力エンコーディングは、内部エンコーディング(UTF32)を使用
修正したコードの差分は以下の通りです。
--- main.orig.cpp 2008-06-23 20:55:01.000000000 +0900
+++ main.cpp 2008-06-24 00:54:27.000000000 +0900
@@ -103,8 +103,15 @@
bool isTestOption = false;
bool isCompileString = false;
bool isProfiler = false;
+#ifdef USE_MY_CODEC
+ bool useMyCodec = false;
+#endif // USE_MY_CODEC
+#ifdef USE_MY_CODEC
+ while ((opt = getopt(argc, argv, "htvpVcz")) != -1) {
+#else
while ((opt = getopt(argc, argv, "htvpVc")) != -1) {
+#endif // USE_MY_CODEC
switch (opt) {
case 'h':
showUsage();
@@ -124,6 +131,11 @@
case 'c':
isCompileString = true;
break;
+#ifdef USE_MY_CODEC
+ case 'z':
+ useMyCodec = true;
+ break;
+#endif // USE_MY_CODEC
default:
fprintf(stderr, "invalid option %c", opt);
showUsage();
@@ -148,7 +160,16 @@
#endif
+#ifdef USE_MY_CODEC
+ Transcoder* transcoder;
+ if (useMyCodec) {
+ transcoder = new Transcoder(new MyCodec, Transcoder::LF, Transcoder::IGNORE_ERROR);
+ } else {
+ transcoder = new Transcoder(new UTF8Codec, Transcoder::LF, Transcoder::IGNORE_ERROR);
+ }
+#else
Transcoder* transcoder = new Transcoder(new UTF8Codec, Transcoder::LF, Transcoder::IGNORE_ERROR);
+#endif // USE_MY_CODEC
TextualOutputPort outPort(TextualOutputPort(new FileBinaryOutputPort(stdout), transcoder));
#ifdef TRACE_INSN
errOut = fopen(INSN_LOG_FILE, "w");
--- Port.orig.h 2008-06-24 00:12:20.000000000 +0900
+++ Port.h 2008-06-24 00:46:30.000000000 +0900
@@ -363,6 +363,46 @@
}
};
+#ifdef USE_MY_CODEC
+class MyCodec : public Codec
+{
+public:
+ MyCodec()
+ {
+ utf8codec_ = new UTF8Codec();
+ }
+
+ ~MyCodec()
+ {
+ delete utf8codec_;
+ }
+
+ // Be careful, buf is shared.
+ int out(BinaryOutputPort* port, ucs4char u)
+ {
+ static uint8_t buf[4];
+ const int size = out(buf, u);
+ return port->putU8(buf, size);
+ }
+
+ // Output as UTF32
+ int out(uint8_t* buf, ucs4char u)
+ {
+ memcpy(buf, &u, sizeof(ucs4char));
+ return sizeof(ucs4char);
+ }
+
+ // Input as UTF8
+ ucs4char in(BinaryInputPort* port)
+ {
+ return utf8codec_->in(port);
+ }
+
+private:
+ UTF8Codec *utf8codec_;
+};
+#endif // USE_MY_CODEC
+
class Transcoder EXTEND_GC
{
public:
UTF32 で出力できているかどうか確認してみます。確かに、UTF32で出力できています。
% cat my_script.scm
(print "あいう")
% ./mosh -z my_script.scm | od -x
0000000 3042 0000 3044 0000 3046 0000 000a 0000
0000020
% echo "あいう" | iconv -f UTF8 -t UTF32LE | od -x
0000000 3042 0000 3044 0000 3046 0000 000a 0000
0000020
出力エンコーディングを iconv(3) で変換させてみる
次のような改造をしてみました。
- mosh に -z オプション付きで、実行されると今回実装した Codec (MyCodec)を使用 (先ほどと変わらず)
- MyCodec の入力エンコーディングは、UTF8Codec に委託して、UTF-8 を使用 (先ほどと変わらず)
- MyCodec の出力エンコーディングは、iconv(3)を用いて EUC-JP に
修正したコードの差分は以下の通りです。
--- Port.orig.h 2008-06-24 00:12:20.000000000 +0900
+++ Port.h 2008-06-24 01:53:02.000000000 +0900
@@ -363,6 +363,68 @@
}
};
+#ifdef USE_MY_CODEC
+#include <assert.h>
+#include <iconv.h>
+
+class MyCodec : public Codec
+{
+public:
+ MyCodec()
+ {
+ utf8codec_ = new UTF8Codec();
+#define INTERNAL_ENCODING "UTF-32LE"
+#define OUTPUT_ENCODING "EUC-JP"
+ cd_ = iconv_open(OUTPUT_ENCODING, INTERNAL_ENCODING);
+ assert(cd_ != (iconv_t)-1);
+ }
+
+ ~MyCodec()
+ {
+ int ret;
+
+ delete utf8codec_;
+ ret = iconv_close(cd_);
+ assert(ret == 0);
+ }
+
+ // Be careful, buf is shared.
+ int out(BinaryOutputPort* port, ucs4char u)
+ {
+ static uint8_t buf[4];
+ const int size = out(buf, u);
+ return port->putU8(buf, size);
+ }
+
+ int out(uint8_t* buf, ucs4char u)
+ {
+ size_t inbyteleft;
+ size_t outbyteleft;
+ size_t ret;
+ char *in = (char*)&u;
+ char *out = (char *)buf;
+
+ inbyteleft = 4;
+ outbyteleft = 4;
+
+ ret = iconv(cd_, &in, &inbyteleft, &out, &outbyteleft);
+ assert(ret != -1);
+
+ return 4 - outbyteleft;
+ }
+
+ // Input as UTF8
+ ucs4char in(BinaryInputPort* port)
+ {
+ return utf8codec_->in(port);
+ }
+
+private:
+ UTF8Codec *utf8codec_;
+ iconv_t cd_;
+};
+#endif // USE_MY_CODEC
+
class Transcoder EXTEND_GC
{
public:
ECU-JP で出力できているかどうか確認してみます。確かに、ECU-JP で出力できています。
% cat my_script.scm
(print "あいう")
$ ./mosh -z my_script.scm | od -x
0000000 a2a4 a4a4 a6a4 000a
0000007
% echo "あいう" | iconv -f UTF8 -t EUC-JP | od -x
0000000 a2a4 a4a4 a6a4 000a
0000007
おわりに
今回は、Mosh を実例として、OSS を改造できるようになるまでのステップ(OSS 改造メソッド)を示しました。
今回示したように、興味のある OSS を改造しながらさわることで、より深くその OSS を理解できます。
面白そうだな、と思った方は是非一度 OSS いじりにチャレンジしてみてください。
]]>
