Feml: Bayesian Spam Filter

概要: Femlの目的、特徴

spamである可能性が高いメールを自動判定するフィルター。
sendmailなどのMTA (Mail Transfer Agent) から、.forward経由で呼び出す。
spamと判定したメールは廃棄 (実際には隔離して保存しておき定期的に削除) し、それ以外を/var/mail/<user>に追記する。
ホワイト・リストを設定できる。これに合致したメールは、内容にかかわらずspamとは判断しない。
ブラック・リストを設定できる。これに合致したメールは、内容にかかわらずspamとして扱う。
日付の妥当性、文字コード (符号化方式) なども判断基準とする。
判定に到る経過をログに出力する。

ダウンロード

feml-0.4.0.tar.bz2

インストール、設定

準備: ruby-1.9.1以降が必要。1.8.Xは不可。
準備: 日本語の単語切り出し (分かち書き) のため、MeCab-0.96 (和布蕪) およびそのrubyバインディングが必要 (なぜかmecab-ruby-0.97は正常に動作しないので0.96を使っている)。
準備: 文字コード変換のため、libiconvが必要。
feml.rbを/usr/local/binなど適当なディレクトリーに置く。
必要に応じ、feml.rbの先頭部分にあるハッシュAmConfの値を書き換える。
- AmConf['Base']: 各種の関連ファイルを置くディレクトリー。ホーム・ディレクトリーが/usr/home/<user>であれば、おそらくこのままで問題なく動作する。
- AmConf['SpamCharsets']: ここに列挙されている符号化方式が用いられていればスパムと看做す。中国語、ロシア語などのメールを日常的にやりとりしている人は書き直す必要があるだろう。

開発に用いている環境: FreeBSD-7.1、sendmail-8.14.3、ruby-1.9.1、mecab-0.96、mecab-ruby-0.96、mecab-ipadic-2.7.0、libiconv-1.12。

実行 (1): spam判定、隔離

"| exec /usr/local/bin/feml.rb -u tac || exit 75 ## tac@example.co.jp"

例のように、feml.rbの呼び出しを、ホーム・ディレクトリーの.forwardに記述する。-uにはユーザー名を指定する。
.forwardにはコンマ (,) 区切りで複数の呼び出しを記述できるので、procmailなどを並べて呼び出し、転送やバックアップ保存をしてもよい。但し、このprocmailがメールを/var/mail/<user>に出力するようになっていると、feml.rbが出力したものと重複してしまうことになる。
この段階ではまだspam判定のための学習をしていないので、すべてspamではないと判断される。届いたメールは/var/mail/<user>に追記され、POPで接続するなどの方法で読むことができる。
届いたメールは${HOME}/Feml/backup以下にも保存されている。さらに、spamではない (clean) と判定したので、${HOME}/Feml/clean以下にも保存される。ファイル名から受信日時が分かる。ファイル名末尾の数字はプロセス番号で、1秒以内に2通以上届いても重複しないようにするために付けてある。
${HOME}/Feml/conf/feml_store.pstoreというファイルができている。これは字句データベースで、字句ごとのspam確率を記録する。

実行 (2): 学習

$ feml.rb --add-spam-sub-clean *.txt

spamがcleanと判定されてしまった場合、--add-spam-sub-cleanオプション付きでfeml.rbを呼び出し、字句データベースを更新する。
hourly.localに例示したようなスクリプトを、cronにより定期的に起動するようにしておくと便利。${HOME}/Feml/cleanに保存されているメールのうち、実際にはspamであるものを${HOME}/Feml/addspamに移動すればよい。あるいは、メール・リーダー上でspamメールをまとめて選択し、Unix mbox形式で${HOME}/Feml/addspam以下にエクスポートしてもよい (使い始めてしばらくするとこの方法が便利になる)。

定期処理: `hourly.local`

例として示したhourly.localでは次のような処理をしている。

バックアップ保存されたメール・ファイルのうち、所定の日数が経過したものを削除。
判定結果ごとに振り分けて保存してあるメール・ファイルについても、所定の日数が経過したものを削除。
誤判定されたメール・ファイルが所定のディレクトリーにあれば再学習。

ホワイト・リスト

${HOME}/Feml/conf/from_white_list.txt、${HOME}/Feml/conf/ufrom_white_list.txtにメール・アドレスを記述しておくと、「From:」ヘッダーまたはUnix From行に記述されているメール・アドレスがこれに合致したとき、内容にかかわらずspamではないと判定する。
メール・ヘッダーの先頭に現れる「Received:」ヘッダーが、${HOME}/Feml/conf/received_white_list.txtのいずれかの行に合致したときも、内容にかかわらずspamではないと判定する。
正規表現でも記述できる (但し「%r」記法は不可)。なお、「#」で始まる行は註釈である。

例: from_white_list.txt

## from_white_list.txt
/@(ja|us)\.example\.com$/
@example.co.jp
info@japan.example.com

例: received_white_list.txt

## received_white_list.txt
from mail.example.co.jp (localhost [127.0.0.1])
from localhost (localhost)
from localhost (localhost [127.0.0.1])

ブラック・リスト

/etc/mail/accessを使って特定のアドレスからのメールを遮断する方法もあるが、Femlのブラック・リストを用いれば、そこに使われている字句を解析して字句データベースを更新できる、という効果がある。
${HOME}/Feml/conf/from_black_list.txt、${HOME}/Feml/conf/ufrom_black_list.txtにメール・アドレスを記述しておくと、「From:」ヘッダーまたはUnix From行に記述されているメール・アドレスがこれに合致したとき、内容にかかわらずspamであると判定する。
メール・ヘッダーの先頭に現れる「Received:」ヘッダーが、${HOME}/Feml/conf/received_black_list.txtのいずれかの行に合致したときも、内容にかかわらずspamであると判定する。
正規表現でも記述できる (但し「%r」記法は不可)。なお、「#」で始まる行は註釈である。

ログ・ファイル

${HOME}/Feml/feml_log.txtに、判定に到る経過が出力されている。
/etc/newsyslog.confを使うなどして定期的にファイルを入れ替えるとよい。
/usr/home/tac/Feml/feml_log.txt tac:user 644 5 * @T00 -
ログの内容: メール・テキストのデコード結果、そこから抽出した字句とその出現数およびspam確率、計算過程、判定結果。

開発の経緯

bsfilterがruby-1.9.1で動作しなかったことをきっかけとして開発を開始。bsfilterのコードを参考にした。

feml.rb

spam判定、隔離

feml.rb [ -f | --spam-filter ] [ -u <user> | --user <user>]

電子メール・メッセージを標準入力から受け取り、spam判定する。
spamではないと判定したメールは、/var/mail/<user>に追記する。
-fは省略可。

学習

feml.rb [ -s | --add-spam-sub-clean ] files...

電子メール・メッセージをspamであるとして学習する。
複数の電子メール・メッセージをUnix Mbox形式で区切った形式のファイルであってもよい。

feml.rb [ -c | --add-clean-sub-spam ] files...

電子メール・メッセージをcleanであるとして学習する。
複数の電子メール・メッセージをUnix Mbox形式で区切った形式のファイルであってもよい。

その他

feml.rb [ -e | --export-token-db ] > token_db.txt

字句データベースの内容を出力する。

feml.rb [ -i | --import-token-db ] < token_db.txt

字句データベースにデータを取り込む。

feml.rb [ -v | --version ]

版番号を表示する。

履歴

2009-04-27: feml-0.4.0。
2009-04-11: feml-0.3.0。
2009-04-05: feml-0.2.0。