スキップしてメイン コンテンツに移動

ユニコードでデータセットを作る

共同研究で入力しているエクセルシートには、漢字や漢語が並ぶ。この10年くらいに、各研究者がいろいろな段階で入力を始めたデータが、混在している。15年くらい前には漢字文献を取り扱うには、今昔文字鏡を使うのがスタンダードだった。JISの第2水準までに含まれるのは6800字程度だが、歴史文献に現れる漢字をカバーすることは到底無理だった。今昔文字鏡は発売当時8万字、いまや16万字を誇る。

ところが今昔文字鏡は「人間が目で見て分かるため」の処置をしており、文字コードとは対応していない。同じコードを持つ文字に異なるフォントをかぶせることによって、擬似的に複数の漢字を表示しているだけだ。これが漢字データを電子処理しようとすると障害となる。それで諸橋大漢和辞典番号や大字典番号などを併記しておき、それを軸として他のデータセットとマッチングさせることが通例だったのではないかと思う。TeXで文字鏡フォントを使うときも文字番号は諸橋大漢和辞典番号だったので、データ管理をするにはこのやり方がとっても便利だった。

ところが共同研究者となると漢字処理はいろいろ独自に対処しているので、このやり方を一方的に押し付ける訳にはいかない。今昔文字鏡だって安くはない。また入力もそれなりに面倒であるし、慣れない人は「一斉にMS明朝を適用したら変になったよ」みたいなことを起こす。むにゃむにゃあーだこーだやっているうちに、漢字字体研究の人たちはあっさりユニコードに基づいたデータベースを作成するようになってしまった。office 2003の段階でユニコード対応となったことも大きなきっかけだったろう。「これからはユニコードってホント？」などと様子見をしているうちに、マジでユニコードの世界になだれ込んでしまったようだ。

すると途中まで入力していたデータが、あるところから突然unicodeになってしまうわけで、完成間近になって全体を振り返ってみると極めて不均整なことになってしまっている。我々は文字コードや漢字のフォルムを研究しているわけではないので、このあたりはかなり無頓着にやってきた。しかしあんまりこれだと使い勝手が悪い。こりゃ直していかなければならんなということで、ひとつひとつデータを見ていくと、かなりユニコードにカバーされていて驚く。ユニコードに含まれていないのは10％くらいか。

歴史文献に現れる漢字は字体のレベルまで見れば果てしがない世界なので、完全にこの問題が解決されることはない。というか時代ごとに文字体系があって、それが時代と共に少しずつ変化することを突き止めることや、どの時代にも必然的に現れる文字体系のほころびを丹念に見つけていくことが重要な研究テーマなのだろう。どの文字をコンピューター上に表示させようとするか、ということ自体がすでに我々が認識する漢字体系に基づいているという点で、上記のことは漢字の歴史をどう引き受けるかということのコアにコミットしているのだと思う。

（参考）
  • niji wo mita: OpenOffice3.2はCJK統合漢字拡張には対応せず？
  • niji wo mita: ubuntu, wine上に今昔文字鏡をのせる
  • niji wo mita: 10万字版はvistaに対応しにくく、15万字版はTeXに対応せず
    • ラベル:

    コメント

    コメントを投稿

    このブログの人気の投稿

    あさって、やなさって、しあさって、さーさって

    授業で、言語地理学の基礎を取り扱うときに出す、おなじみのLAJこと日本言語地図。毎年、「明日、明後日、の次を何と言うか」を話題にするのだが、今年はリアクションペーパーになんだか色々出てきたのでメモ。これまでの話題の出し方が悪かったのかな。 明後日の次（ DSpace: Item 10600/386 ）は、ざっくりしたところでは、伝統的には東の国（糸魚川浜名湖ライン以東）は「やのあさって（やなさって）」、西の国は古くは「さーさって」それより新しくは「しあさって」。その次の日（ DSpace: Item 10600/387 ）は、伝統的には東西どちらもないが、民間語源説によって山形市近辺では「や（八）」の類推で「ここのさって」、西では「し（四）」の類推で「ごあさって」が生まれる、などなど（LAJによる）。概説書のたぐいに出ている解説である。LAJがウェブ上で閲覧できるようになって、資料作りには便利便利。PDF地図は拡大縮小お手の物ー。 ＊拡大可能なPDFはこちら 日本言語地図285「明明後日（しあさって）」 ＊拡大可能なPDFはこちら 日本言語地図286「明明明後日（やのあさって）」 さて、関東でかつて受け持っていた非常勤での学生解答は、「あした　あさって　しあさって　（やのあさって）」がデフォルト。やのあさっては、八王子や山梨方面の学生から聞かれ、LAJまんまであるが、ただし「やのあさって」はほとんど解答がない。数年前にビールのCMで「やのあさって」がちらりと聞ける、遊び心的な演出があったが学生は何を言っているのかさっぱりだったよう。これはかつての東国伝統系列「あした　あさって　やのあさって」に関西から「しあさって」が侵入して「やのあさって」は地位を追い落とされひとつ後ろにずれた、と説明する。「あした　あさって　やのあさって　しあさって」は期待されるが、出会ったことがない。 山形では「あした　あさって　やなさって　（しあさって）」と「あした　あさって　しあさって　（やなさって）」はほとんど均衡する。これには最初驚いた。まだあったんだ（無知ゆえの驚き）！と（ただしLAJから知られる山形市の古い形は「あした　あさって　やなさって　さーさって」）。同じ共同体内で明後日の翌日語形に揺れがある、ということは待ち合わせしても出会えないじゃないか。というのはネタで、実際は「～日」と...
    5 件のコメント
    続きを読む

    お尻はいくつか

    子どもが友人たちと「お尻はいくつか」という論争を楽しんだらしい。友人たちの意見が「お尻は2つである」、対してうちの子どもは「お尻は1つである」とのこと。前者の根拠は、外見上の特徴が2つに割れていることにある。後者の根拠は、割れているとはいえ根元でつながっていること、すなわち1つのものが部分的に（先端で）2つに割れているだけで、根本的には1つと解釈されることにある。白熱した「お尻はいくつか」論争は、やがて論争参加者の現物を実地に確かめながら、どこまでが1つでどこからが2つかといった方向に展開したものの、ついには決着を見なかったらしい。ぜひその場にいたかったものだと思う。 このかわいらしい（自分で言うな、と）エピソードは、名詞の文法範疇であるところの「数（すう）」（→ 数 (文法) - wikipedia ）の問題に直結している。子どもにフォローアップインタビューをしてみると、どうもお尻を集合名詞ととらえている節がある。根元でつながっているということは論争の中の理屈として登場した、（尻だけに）屁理屈であるようで、尻は全体で一つという感覚があるようだ。つながっているかどうかを根拠とするなら、足はどう？と聞いてみると、それは2つに数えるという。目や耳は2つ、鼻は1つ。では唇は？と尋ねると1つだという。このあたりは大人も意見が分かれるところだろう。僕は調音音声学の意識があるので、上唇と下唇を分けて数えたくなるが、セットで1つというのが大方のとらえ方ではないだろうか。両手、両足、両耳は言えるが、両唇とは、音声学や解剖学的な文脈でなければ言わないのが普通ではないかと思う。そう考えれば、お尻を両尻とは言わないわけで、やはり1つととらえるのが日本語のあり方かと考えられる。 もっとも、日本語に限って言えば文法範疇に数は含まれないので、尻が1つであろうと2つであろうと形式上の問題になることはない。単数、複数、双数といった、印欧語族みたいな形式上の区別が日本語にもあれば、この論争には実物を出さずとも決着がついただろうに…。大風呂敷を広げたわりに、こんな結論でごめんなさい。尻すぼみって言いたかっただけです。
    2 件のコメント
    続きを読む

    thinkpad x200起動せず→復旧

    thinkpad x200が起動しないという謎の事態に陥ったが、どうにか復旧した。僕くらいの素人＋α向けのチュートリアルがなかったのでメモしておく。 そもそもは、このところ相次いだwin vistaのアップデートにまかせるままにしていたら、スリープ後に復旧しないという現象が起こったことがきっかけ。いや、ちょっと前からスリープに入る時点で勝手に復旧されて蓋を閉じることができないことも続いていた。ネットを検索すると、x200に限らずスリープで失敗するのはウインドウズの問題としてちょくちょく起こっている模様。めんどいのでubuntuを起動して使ったりしていたが思い立って根本的解決を図ろうとする。 で、x200のBIOSの問題もあろうと考えて、ThinkVantageを使用してもろもろアップデート。170MBくらいあったか。作業工程の96％間際にBIOSのアップデートが入り、自動的にシャットダウン＆リスタートとなった途端に起動しなくなった。 症状は電源はONになっているのに、画面には一切表示されない（黒背景）というもの。2ちゃんの書き込み（ 上の解説にある通りCMOSバッテリ外したらクリアできると思うけど、BIOSが壊れてたら意味ないかも ）に基づいて、CMOSバッテリ外し＝CMOSクリアを行う。筐体の開け方は、 Service Videos にて懇切丁寧な説明が。CRU Removal/Replacements＞CMOS Batteryへと進む。あとはRemoveとReplaceのビデオを見ながらクリア。途中、画像が小さくて見にくいところもあるので、撮影した写真を貼り付けておく。 キーボードとパームレストを外したところ。向かって奥がディスプレイ。中央の黄色いのがCMOSバッテリー。 CMOSバッテリーから伸びている白いケーブルを、白いコネクタからそっと外す。何となくそのまま30秒くらい放置して（意味あるかは分からない）、またつなぐ。 ここのところ。あとはビデオにしたがって組み立て直す。 バッテリーをくっつけて、電源ケーブル差し込んでスイッチオン。何度か落ちる。意味不明。が、起動の画面が立ち上がるので、すかさずF1キーを押す。BIOSセットアップ画面に入るので、 このマニュアル にしたがって、BIOSを初期状態に戻す。 BIOSを初期設定に戻す方法 「バージョン情報」の章...
    13 件のコメント
    続きを読む