検索文字列の「文字化け」を解消する

Webalizer は比較的不具合が少ない アプリケーション ですし、適当に インストール を行えば日本語でタイトルを表示することもできます。

ところが一つとても困ることがあります。

それは "Total Search Strings" の解析結果、つまり「どういった言葉で検索されたページからアクセスされたのか」という情報が文字化けしてしまうことです。

実は、Googleを始めとする検索サイトの多くは日本語、中国語などの２ バイト 文字で検索が行われるとき、他の言語との整合性をとるために UTF-8 に 文字コードセット を変換してから検索を行うようになっています。

文字化けした"Total Search Strings"

そしてその検索結果はそのまま ログ データの リファラー の位置に記録されるわけですが、Webalizer自身はこれを自分自身の表示文字セットである EUC に変換する機能を持っていないため、UTF-8のまま表示してしまうために「文字化け」となってしまうわけです。

この "Total Search Strings" は、この コンテンツ がどういう検索語で「引っ掛けられているのか」を知る上でとても重要な解析データなので、これはなんとか対策し、きちんと検索語が表示できるようにしたいものです。

要は、UTF-8に変換されている文字をEUCに変換し直せば良いわけですから、

１．ログファイル中でUTF-8に変換されている文字列をEUCに変換した別のログファイルを作成し、そのログファイルに対してWebalizerによる解析処理を行う。

２．Webalizerでよる解析処理で出力された HTML ファイルの中でUTF-8に変換されている文字列をEUCに変換してHTMLファイルを作り直す。

という二つの方法が考えられます。

結果としてはどちらも同じになるはずですが、膨大な容量になる可能性のあるログファイルに対して直接変換処理を行う１．よりも、既に解析が終わってデータ量が小さくなっている解析結果に対して処理を行う２．のほうが ホスト機 への負担も小さく、処理にかかる時間も少ないので、ここでは２．の方法について解説します。

文字コードの変換には日本語の扱いに長けた Perl を利用し、ファイル操作にはファイル処理に長けた bash を利用し、それぞれの シェル スクリプト を組み合わせて変換システムを作ります。作業は、

１．文字コード変換に必要なPerlのモジュールを インストール する。

２．文字コード変換用のシェルスクリプトを作成する。

３．Webalizer実行用のシェルスクリプトを作成する。

４．作成した３．を crond で自動実行できるように設定する。

という手順で行います。

日本語処理モジュール"Jcode.pm"のインストール

Jcode.pm は、 Perl を使って日本語の様々な文字コードを相互に変換することを可能にするモジュールです。

このモジュールは今回行う Webalizer の文字化け対策だけではなく、 Webサーバー 上で CGI を利用する際も利用できますから、ぜひ インストール しておきましょう。

Jcode.pmは、 "CPAN" という Perl のライブラリ サーバー から、使用中のバージョンのPerlに対応するものを簡単にインストールすることができます。

まず、 サブネット 内の適当な クライアント機 から SSHクライアント で 構築中のLinuxサーバー に ログイン します 。

それから su コマンド で アカウント を "root" に変更し、以下のようにコマンドを実行して接続設定を行います。

なお、以下はWBEL3での接続設定の際のメッセージですが、これはサーバーの構成により異なる場合があります。

"cpan>" が表示されたら接続完了です。

引き続き次のようにタイプして Jcode.pm のインストールを行ってください。

通信環境などによっては数分以上かかる場合がありますので、気長に待ちましょう。

以上で Jcode.pm のインストールは完了しました。

ホスト情報の表示　 　全ページリストへ　 　お便利用語リスト

UTF-8→EUCの変換スクリプトの作成

インストールした Jcode.pm を用いて、

「任意の テキスト ファイルの内容から UTF-8 の文字列を EUC に変換して出力する。」

という Perl の シェル スクリプト を作成します。

といっても、以下のようにスクリプトはたったの10行です。

この内容のテキストファイルを 構築中のLinuxサーバー 上の適当な場所に実行形式で保存すれば良いのですが、タイプするのが面倒という方は、以下のリンク

を開いてコピー＆ペーストするか、 ダウンロード して名前を変更し、 FTPクライアント などから サーバー に アップロード してください。

このスクリプトは汎用性がありますから、 パス が通っているディレクトリ に置いておくのが望ましいでしょう。

ここではユーザーが作成した実行プログラムの格納場所として準備されている "/usr/local/bin" 以下に "u_e_conv.pl" というファイル名で保存するものとします。

ファイルを保存したら、かならず実行属性を与えてください 。

[root@web1 ~]# cd /usr/local/binEnter [root@web1 bin]# nano u_e_conv.plEnter 　　　　　　． 　　　　　　． 　　適当な方法で"u_e_conv.pl"を作成して保存します。 　　　　　　． 　　　　　　． [root@web1 bin]# chmod 755 u_e_conv.plEnter 　←実行属性を与えます。 [root@web1 bin]# ls -l u_e_conv.plEnter -rwxr-xr-x　　1 root　　 root　　　　　190 6月 18 01:40 u_e_conv.pl [root@web1 bin]#

作成が終わったら、スクリプトが正しく動作するかどうかをテストしてみましょう。

以下のようにタイプして、UTF-8の文字列"%E6%A1%9C"のテストファイルを作成し、 "u_e_conv.pl" を実行します。

[root@web1 bin]# echo %E6%A1%9C > test.txt Enter [root@web1 bin]# ./u_e_conv.pl test.txtEnter 桜 [root@web1 bin]#

このように 「桜」 と出力されればOKです。

もしうまくいかないときは、スクリプトの内容のどこかに誤りがあるかもしれませんのでチェックしてください。

ホスト情報の表示　 　全ページリストへ　 　お便利用語リスト

Webalizer実行用シェルスクリプトの作成

Webalizer は デフォルト で "/var/www/usage/" 以下にいくつかの HTML ファイルを出力します。

要はこれらのファイルの中に含まれる UTF-8 の部分を EUC に置き換えれば良いということになります。

そこで、

１．通常どおりのWebalizerのアクセス解析処理を実行する。

２．得られた任意の.htmlファイルに対して "/usr/local/bin/u_e_conv.pl" を用いて同名の.tempという文字コード変換済みファイルを作成し、オリジナルの.htmlファイルと置き換える。

３． カレント ディレクトリ内の.htmlがなくなるまで２．の処理を繰り返す。

という シェル スクリプト を作成します。

このシェルスクリプトでは、 文字列操作は Perl のシェルスクリプトである "/usr/local/bin/u_e_conv.pl" に任せてしまいますから、実際に行うのはファイル操作に過ぎません。従ってここではファイル操作に長けた bash を用いてシェルスクリプトを作成します。

内容は以下のとおりです。

この内容のテキストファイルを 構築中のLinuxサーバー 上の適当な場所に実行形式で保存すれば良いのですが、タイプするのが面倒という方は、以下のリンク

を開いてコピー＆ペーストするか、 ダウンロード して FTPクライアント などから サーバー に アップロード してください。

ここでは "u_e_conv.pl" と同じく、ユーザーが作成した実行プログラムの格納場所として準備されている "/usr/local/bin" 以下に "webalizer_def.bash" というファイル名で保存するものとします。

以下、このシェルスクリプトの内容について説明します。

１行目は使用するシェルの指定です。

２行目は cd コマンド によるカレントディレクトリの移動です。

そして３行目でWebalizerを実行しますが、 "-c" は 「後に記述したファイルを設定ファイルとして指定する」 というオプションです 。

Webalizerはデフォルトでは "/etc/webalizer.conf" を参照しますから、この設定は一見余計なもののように思えます。

実はWebalizerは最優先で "/etc/webalizer.conf" を参照する訳ではなく、 、実行時のカレントディレクトリに同名のファイルが存在する場合にはこれを優先して参照するようになっています。

つまりこのオプションは、Webalizerが設定ファイルを間違えないようにするためのものと考えてください。

また、その後ろの "> /dev/null" は 「ヌルデバイスにリダイレクト出力 」 という意味で、 エラー出力を破棄する という動作になります。

Webalizerは解析するログデータが大きすぎるケースなどで、比較的頻繁に「大勢に影響のないエラー」を出しますから、こういう処理を行っておくほうが煩わしくありません。

どうしてもエラー出力を保存しておきたい場合には、この部分を、

と設定しておけば常に最新のエラーメッセージだけが "/var/www/usage/error.msg" に記録されることになります。累積的に記録しておきたいときは

とすると良いでしょう。

４行目以降はbashでシェルスクリプトを作成するときに利用されるループ構文で、

のように記述し、[ファイルリスト]の条件に一致するファイルすべてに対し、特定の[ファイルリスト]名を[識別子]として do〜done の処理を実行します。

冒頭と説明は重複しますが、 "/var/www/usage/" 中のすべての "xxxx.html" に対して、

１． "/usr/local/bin/u_e_conv.pl" で文字コード変換したファイル "xxxx.html.temp" をオリジナルと同じディレクトリに作成する。

２． "xxxx.html.temp" を "xxxx.html" に改名してオリジナルに上書きする。

という処理を行うというわけです。

ファイルを作成したら、これにも忘れずに実行属性を与えてください。

[root@web1 ~]# cd /usr/local/binEnter [root@web1 bin]# nano webalizer_def.bashEnter 　　　　　　． 　　　　　　． 　　適当な方法で"webalizer_def.bash"を作成して保存します。 　　　　　　． 　　　　　　． [root@web1 bin]# chmod 755 webalizer_def.bashEnter 　←実行属性を与えます。 [root@web1 bin]# ls -l webalizer_def.bashEnter -rwxr-xr-x　　1 root　　 root　　　　　183 6月 18 01:49 webalizer_def.bash [root@web1 bin]#

以上で "Total Search Strings" の文字化けを修正するシェルスクリプトの準備が終わりました。

ホスト情報の表示　 　全ページリストへ　 　お便利用語リスト

シェルスクリプトの動作確認と自動実行の登録

では早速 シェル スクリプト "webalizer_def.bash" を実行してみましょう。

方法は root アカウント からシェル プロンプト で "webalizer_def.bash" を実行するだけです。

処理が終わったら、同じように Webブラウザ でアクセス解析結果の "Total Search Strings" を表示させてみてください。

以下のように文字化けは 比較的 きちんと解消されているはずです。

文字化けが解消された"Total Search Strings"

ただしご覧のとおり一部怪しい部分も残っています。

これは主に複数の検索語を組み合わせて検索が行われた場合に、 UTF-8 に変換された部分とそうでない部分との境界が曖昧になってしまうために起こる現象だと思われますが、今回説明した方法ではこれが限度ですので我慢するより他はないでしょう。

さて、ここでもう一つ忘れてはいけない作業があります。自動実行登録のやり直しです。

デフォルト の Webalizer は、 crond によって一日一回実行されるようになっています。

具体的には、実行ファイル "webalizer" を呼び出すシェルスクリプトが "/etc/cron.daily/" 以下に "00webalizer" として保存されており、 "/etc/crontab" 中の "run-parts" によって実行されるようになっています 。

もちろんこの "00webalizer" が実行されてしまうとまた文字化けを起こしたアクセス解析結果が出力されてしまいますので、これを "webalizer_def.bash" と入れ替えてしまいましょう。

[root@web1 ~]# cp -p /usr/local/bin/webalizer_def.bash /etc/cr on.daily/Enter [root@web1 ~]# mv /etc/cron.daily/00webalizer /usr/local/bin/ [root@web1 ~]#

これで常に "Total Search Strings" はほぼ正しく変換された状態で閲覧できるようになりました。

なお、Webalizerのプログラムの実行スケジュールについては、 に詳しく解説していますのでご覧ください。

ホスト情報の表示　 　全ページリストへ　 　お便利用語リスト