テキスト・マイニング/MacでHyper Estraierを使う のバックアップ(No.2)

• バックアップ一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• テキスト・マイニング/MacでHyper Estraierを使う へ行く。
  • 1 (2009-10-16 (金) 17:48:02)
  • 2 (2011-05-17 (火) 09:34:54)
  • 3 (2011-05-18 (水) 23:48:45)
  • 4 (2015-06-18 (木) 09:20:26)

---

はじめに †

「Hyper Estraier」は，平林幹雄さんによって開発された全文検索システムです．

次の環境で確認しました．

• Mac OS X 10.6.1
• MeCab 0.98
• zlib 1.2.3
• QDBM 1.8.77
• Hyper Estraier 1.4.13

必要なもの †

• make
• gcc
• zlib
• QDBM
• MeCab

MeCabはなくてもかまいません． MeCabのダウンロードとインストールについては「MacでMeCabを使う」を参照のこと．

ダウンロード †

zlib †

• zlib Home Site
  http://www.zlib.net/

current releaseのtar.gz formatのところにある「US (www.zlib.net)」をクリックしてzlib-1.2.3.tar.gzをダウンロードします．

QDBM †

• QDBM: Quick Database Manager
  http://qdbm.sourceforge.net/

ダウンロードのところにある「最新のソース・パッケージ（バーション 1.8.77）」をクリックしてqdbm-1.8.77.tar.gzをダウンロードします．

Hyper Estraier †

• 全文検索システム Hyper Estraier
  http://hyperestraier.sourceforge.net/

ダウンロードのところにある「最新のソース・パッケージ（バーション1.4.13）」をクリックしてhyperestraier-1.4.13.tar.gzをダウンロードします．

インストール †

zlib †

ダウンロードしたzlib-1.2.3.tar.gzをダブル・クリックして展開します．

ターミナルを起動して展開されたディレクトリーに移動し，次を実行します．

./configure
make
sudo make install

QDBM †

ダウンロードしたqbdm-1.8.77.tar.gzをダブル・クリックして展開します．

ターミナルを起動して展開されたディレクトリーに移動し，次を実行します．

./configure --enable-zlib
make mac
make check-mac
sudo make install-mac

Hyper Estraier †

ダウンロードしたhyperestraier-1.4.13.tar.gzをダブル・クリックして展開します．

ターミナルを起動して展開されたディレクトリーに移動し，次を実行します．

./configure --enable-zlib --enable-mecab
make mac
make check-mac
sudo make install-mac

MeCabを使わない場合は--enable-mecabを省略します．

使い方 †

インデックスの作成 †

ld: symbol(s) not found for architecture x86_64

-accでN-gramの替わりに形態素解析を使用，-xsで文書数が50,000件未満，indexでインデックス名を指定しています．

文書の追加 †

LIBS = -lqdbm -lz -liconv -lm -lc

-ftでプレーン・テキストを指定，-il jaで日本語を指定，-lt -1ですべてのテキストを解析，-umでMeCabを使用，indexでインデックス名を指定，pathで文書が格納されているディレクトリーのパスを指定しています．

インデックスの最適化 †

LIBS = -lqdbm -lz -liconv -lm -lc -stdlib=libstdc++

文書の検索 †

estcmd create -acc -xs index

-vhでスニペット付きの見やすい形で表示，indexでインデックス名を指定，検索 OR searchで検索式を指定しています．

Xcodeによるプログラミング †

「プログラミング・ガイド」のプログラムがそのまま動きます．

新規プロジェクトを「Application」の「Command Line Tool」でTypeを「C」にして作成し，main.cにサンプル・プログラムを貼付けます．

プロジェクトを選択して「情報」を開き，「ビルド」の「ライブラリ検索パス」に「/usr/local/lib」，「ヘッダ検索パス」に「/usr/local/include」，「他のリンカフラグ」に「-lm -liconv -lz -lqdbm -pthread -lresolv -lestraier」を追加します*1． プログラミング・ガイドには「-lnsl」も必要と書いてありますが，Mac OS Xでは不要です．（付けるとコンパイルできません．）

実行可能ファイルを選択して「情報」を開き，インデックスがあるディレクトリーを「作業ディレクトリの設定先」に指定すれば，「ビルドと実行」ができます．

検索スコアを取得する †

検索スコアを取得するプログラムを作成しました．

estcmd gather -ft -il ja -lt -1 -um index path

検索スコアを取得するには，検索を実行する前に検索条件にESTCONDSCFBオプションをセットします．

参考文献 †

• Hyper Estraierの設計と実装 | 平林幹雄 | SlideShare
• Hyper Estraierプログラミング・ガイド | Mikio Hirabayashi