Liner Note » ツールの制作

RDBMSが扱いづらいのでSQliteを簡易XMLデータベースぽく使えるようにしてみた

hash — Mon, 22 Sep 2008 20:43:18 +0000

最近大量の情報を扱うようになってから、MySQLやらSQLiteなどのRDBMSを触っているのですが、どうにも慣れません。

以前から小規模な設定は、SimpleXMLで書いたり読んだりしていまして、データベースなぞに触らなかったものですから、その直感的な操作性に味を占めてしまうと、前時代的なSQLのクエリをちくちく発行する気にはどうにもなりません¹ 。それにバイナリで中身が見られないというのは、全てがテキストエディタで覗けてなんとかなるというのに慣れた身にはどうにも不安すぎます。

何年か前からXMLでデータを管理するXMLデータベースというのも出ていて、Apache Xindiceなんかはオープンソースでの開発が進んでいるそうですが、一般的なレンタルサーバにおいてPHPで扱えるとなると、選択肢はどうもないようです。

そこで、SQLiteを使ってXMLデータベース的な事をやってみました² 。方法はまぁ誰もが思い
つくとは思いますが、BLOB型のレコードにXMLファイル文字列をそのまま突っ込んでIDつけてるだけです。それをクラスライブラリを介して、透過的に扱おうという案配です。

パフォーマンステスト

で、とりあえず、パフォーマンステストとして定番らしい郵便番号→住所変換で実行時間を測定してみます（元データは郵便事業会社で公開されています）

実験内容: Aにはデータを郵便番号、地名、番地名など細かい住所をそのままRDBの構造として格納、BにはこれらをXMLとして表現したものをそのまま挿入したものを挿入します。それぞれ郵便番号を指定して住所に変換する時間を測定します（レコード数は118,576件）
Aの方法: 実行時間：0.04671秒（5回実行平均）; メモリ最大使用量：約995KB
Bの方法: 実行時間：0.17422秒（5回実行平均）; メモリ最大使用量：約1009KB

標準的なRDBに比べ4倍遅いという結果になりましたが、個人的には許容量なので今後はこれで開発していこうかなと思います。今のところは10万件レベルのデータを扱うことはそんなにないですし、数千件程度の小規模な場合ならBの方法でも0.01秒程度で実行できます。

生のXMLファイルをずらっと並べた上で、ファイル読み込み→SimpleXMLを使って検索なんかすると、メモリをバンバン食う上にスケーラビリティが皆無に等しいのですが、この方法だとある程度は持ちこたえられます。パフォーマンスやスケーラビリティを気にする人は間違っても使ってはいけません。加えてテーブルを1個しか持てませんが、増やしたい場合はデータベースファイルを増やせば良いだけなので特に気にしてません。

取扱説明書

初期データ入力

コントローラ側で、データ元のXMLがあるフォルダとDBのファイル名を指定します。DBファイルは事前に空ファイルを”ファイル名.db”という名前で作っておき、XMLがあるフォルダと共に書き込み可能にしておきます。コントローラのURIに construct というクエリを付けて実行するとデータ入力が始まります。

データ取得

searchメソッドで検索結果を取得を取得できます。引数は3つあり、順に”検索語”, “検索方法”, “検索対象の要素がある場所”です。

検索方法が取る値はall（全文検索）, parts（部分一致）, full（完全一致）, prefix（前方一致）, suffix（後方一致）の4つです。検索対象の要素がある場所はSimpleXMLを使うときのようにノードのパスを指定します、全文検索の際はこの引数は無視されます。

正常にデータが取得できれば、XMLの配列でデータが帰ってきます（SimpleXMLElement Object型になってます）

サンプルコード（郵便番号→住所の変換）

PHPソースコード


$db = new XSQLiteManager;
 
// データベースのファイル名とXMLがあるフォルダを指定して読み込む
$db->simplexml_load_db("zipcode", "./data");
 
if ($_GET["zip"]){
  $zip = mb_convert_kana($_GET["zip"], "a");
  if (preg_match("/(\d{3})\-?(\d{4})/", $zip, $q)){
    // 検索を実行してXMLの配列形式で結果を受け取る
    $results = $db->search($q[1].$q[2], "full", "zip");
    if ($results){
      $address = $results[0]->name. $results[0]->local;
      echo "郵便番号（". htmlspecialchars($zip) ."）の住所は". $address ."です";
    } else{
      echo "検索語に当てはまる検索結果が見つかりません";
    }
  } else{
    echo "正しい郵便番号（数字7桁）を入力してください";
  }
}
 
 
?>

データ追加

XMLデータ文字列を引数にして insertXML メソッドを実行してください。データベースの最後尾に追加されます。

データ更新

IDとXMLデータ文字列を引数にして updateXML メソッドを実行してください。IDはデータベース上のレコード番号のことで search メソッドを実行したときに帰ってくる結果の配列のキーに書いてあります。

データ削除

IDを引数にして deleteXML メソッドを実行してください。

デモとダウンロード

郵便番号検索デモサイト

ダウンロード: データベース一式 (20MB)
ライセンス: GNU General Public License（郵便番号データの著作権は郵便事業会社にあると思うので除外）

なにしろPHP5だと simplexml_load_file で設定を読み込んで、目的の項目を選ぶという2行のコードですむわけですから。RDBMSもフレームワーク附属のライブラリを使えば楽になるのかもしれませんけどフレームワークを使わない場合もあるわけで
SQliteにしたのは必要なファイルが1つにまとめられていて環境移行がやりやすいためです

このサイト上で使っているWordPress用テーマ “cielo” を公開するよ

hash — Sat, 13 Sep 2008 18:28:18 +0000

前々からこのサイトのテーマの配布準備作業を進めていましたが、ようやく形になったので一般公開します。ちなみに “cielo” とはイタリア語で空という意味です。

デモサイト

ダウンロード: cieloテーマ(約1.2MB)
最終更新日: 2011年9月13日 08時05分
動作環境: PHP5.2.0以上、WordPress 2.5以上
ライセンス: ライセンスが設定されているリソースはそのライセンスに従ってください。その他は修正BSDライセンスとします

使い方

ファイルをダウンロードしたら解凍してください
中に入っている/module/config.phpファイルがテーマの設定ファイルですので、指示に従って設定してください
サーバの/wp-content/themes/フォルダに(2)をアップロードしてください
サーバの/wp-content/themes/cielo/cache/フォルダを書き込み可能な状態(パーミッションを0777)にしてください
必須プラグイン一式をダウンロードし、解凍します
サーバの/wp-content/plugins/フォルダに(4)をアップロードしてください
管理画面からプラグインを有効化します
管理画面からテーマを有効化します
記事一覧ページなど特殊なページを作成します。投稿 → ページから以下のページを作成してください。中身はテンプレートから自動的に読み込まれます
- ポストスラグ名:webmemoのページを作成。タイトルはご自由に、中身は空でOK
- ポストスラグ名:archivesのページを作成。タイトルはご自由に、中身は空でOK
- ポストスラグ名:allのページを作成。タイトルはご自由に、中身は空でOK
- ポストスラグ名:readmoreのページを作成。タイトルはご自由に、中身は空でOK

特徴

快適に読むための環境

ブログは読者あってこそ。できるだけ多くの人に快適にブログを見てもらえるよう、多すぎず、少なすぎず必要な機能を配置しました

1カラム: 本文のレイアウトが崩れにくく、本文を一番読んでもらえる1カラムを採用しました
本文検索機能: 並び替え機能、検索結果の自動継ぎ足しをサポート
次の記事へ: 関連記事、人気の記事(自動取得&手動設定)で次の記事へ読者を案内します

各種ウェブサービスとの連携

ブログサイトを運営する上で欠かせないネット上のサービスも簡単に利用できます。

Google Analytics: Googleのアクセス解析サービスも設定画面から認証キーを入力すれば利用できます
はてなブックマーク: エントリーページにはてなブックマークへのリンクを自動的に表示します; コメント欄には、はてなブックマークのコメントがシームレスに表示されるよう組み込みました
ウェブメモ機能: twitter, tumblr, はてなブックマーク上での最新の更新をウェブメモコーナーとして表示できます。表示した各記事には、はてなスターをつけることができます(はてなスターのトークンの発行が必要です)

ウェブアプリケーションを簡単に使える内蔵機能

便利なウェブアプリケーションが記事中で簡単に呼び出せます

Googleマップを1行で: 住所を指定するだけでその周辺の2D地図や風景を表示できます(Googleマップ APIの発行が必要です)
動画の貼り付けも1行で: 動画共有サイト(Youtube, Googleビデオ)上の動画や自作動画をコードを考えることなく簡単に公開できます

モバイルにも対応

もちろん、携帯電話やiPhoneなどのモバイル機器にも対応します

携帯電話にもプラグイン使用で対応: 餅は餅屋…ということで動きの速い携帯電話向けの最適化はKtai Styleを使うことで対応することにしました
iPhone / iPod touchに標準対応: ビジュアルデザインはiPhoneのSafariでも読みやすくなるよう最適化しています; 呼び出した動画や地図は、iPhone / iPod touch内蔵アプリでも再生できるように工夫しています

その他にも

XHTML1.1 + CSSで書いています: Web標準に準拠した、できるだけシンプルな文書構造を心がけました。現在使われているほとんどのウェブブラウザに対応しています。
SEOにも配慮: metaタグの自動生成、XHTMLでの構造化、わかりやすいページタイトルとテーマ側で出来ることはやっておきました。
間違ってると思ったらすぐ編集: ログインしている間は記事画面からワンクリックで編集画面に移動できます。
エフェクトでおめかし: あれこれポップアップ(リンク先・引用元のタイトルなどをちょっとリッチにポップアップするスクリプト)やjQuery lightbox プラグイン(写真のポップアップをエフェクトを付けて表示するスクリプト)を標準で導入しています
ページ毎のCSSデザインも簡単に: Sandbox テーマは主要な要素に現在の状態を示すクラス名をつける機能がありますが、cieloはこの機能を取り込んでいます
ダウンロードは高速に: 一部のファイルをGZIPという形式で圧縮しており、サーバとブラウザが対応していれば落とすファイルサイズが小さくなり、高速にページが表示できるようになります(方法)
続き物の記事はまとめよう: 記事は独立したものだけではなく、何回かに分けて書いた続き物の記事もあるでしょう。cieloテーマではそうした記事を半自動的にまとめあげ、シリーズのRSSフィードを発行することも出来ます(方法)

サポートしないもの

このテーマは次の機能をサポートしません

可変1カラムデザイン以外の表示方法
コメント欄でのアバターの表示
UTF-8以外の文字コードでの運用

導入を推奨するプラグイン

依存しているプラグイン

推奨というより、このプラグインを入れていないと動かないので必ず入れておいてください

ダウンロード: 必須プラグイン一式をダウンロード
ライセンス: GNU General Public License

runPHP: 記事中でPHPコードを使うプラグインです。内蔵の動画共有サイトのコード呼び出し機能などを使ったり、記事一覧ページ中で記述しているPHPコードを実行するのに必要です。「ビジュアルリッチエディタ」「XHTML 構文の自動修正」とは同時使用できないようですが、同種のプラグインは多くあるようなのでそちらを使っていただいても構いません。
Similar Posts: 関連記事を表示させるためのプラグイン
Post-Plugin Library: 上記プラグインを利用するために必要なプラグイン。これを利用したプラグインとして、上記意外にも人気記事を表示するPopular Postsなどがあるので、余裕があれば試してみては。

入れたら便利なプラグイン

入れなくても良いけど、実害はあまりないし便利なので入れておくことをオススメするプラグインです。

WP-Footnotes: 本文中に((脚注の内容))と書くだけで脚注を生成してくれるプラグインです、ちょっとした余談で話の腰を折らずにすみます
Table of Contents Generator: 本文中に