スキップしてメイン コンテンツに移動

ユニコードでデータセットを作る

共同研究で入力しているエクセルシートには、漢字や漢語が並ぶ。この10年くらいに、各研究者がいろいろな段階で入力を始めたデータが、混在している。15年くらい前には漢字文献を取り扱うには、今昔文字鏡を使うのがスタンダードだった。JISの第2水準までに含まれるのは6800字程度だが、歴史文献に現れる漢字をカバーすることは到底無理だった。今昔文字鏡は発売当時8万字、いまや16万字を誇る。

ところが今昔文字鏡は「人間が目で見て分かるため」の処置をしており、文字コードとは対応していない。同じコードを持つ文字に異なるフォントをかぶせることによって、擬似的に複数の漢字を表示しているだけだ。これが漢字データを電子処理しようとすると障害となる。それで諸橋大漢和辞典番号や大字典番号などを併記しておき、それを軸として他のデータセットとマッチングさせることが通例だったのではないかと思う。TeXで文字鏡フォントを使うときも文字番号は諸橋大漢和辞典番号だったので、データ管理をするにはこのやり方がとっても便利だった。

ところが共同研究者となると漢字処理はいろいろ独自に対処しているので、このやり方を一方的に押し付ける訳にはいかない。今昔文字鏡だって安くはない。また入力もそれなりに面倒であるし、慣れない人は「一斉にMS明朝を適用したら変になったよ」みたいなことを起こす。むにゃむにゃあーだこーだやっているうちに、漢字字体研究の人たちはあっさりユニコードに基づいたデータベースを作成するようになってしまった。office 2003の段階でユニコード対応となったことも大きなきっかけだったろう。「これからはユニコードってホント？」などと様子見をしているうちに、マジでユニコードの世界になだれ込んでしまったようだ。

すると途中まで入力していたデータが、あるところから突然unicodeになってしまうわけで、完成間近になって全体を振り返ってみると極めて不均整なことになってしまっている。我々は文字コードや漢字のフォルムを研究しているわけではないので、このあたりはかなり無頓着にやってきた。しかしあんまりこれだと使い勝手が悪い。こりゃ直していかなければならんなということで、ひとつひとつデータを見ていくと、かなりユニコードにカバーされていて驚く。ユニコードに含まれていないのは10％くらいか。

歴史文献に現れる漢字は字体のレベルまで見れば果てしがない世界なので、完全にこの問題が解決されることはない。というか時代ごとに文字体系があって、それが時代と共に少しずつ変化することを突き止めることや、どの時代にも必然的に現れる文字体系のほころびを丹念に見つけていくことが重要な研究テーマなのだろう。どの文字をコンピューター上に表示させようとするか、ということ自体がすでに我々が認識する漢字体系に基づいているという点で、上記のことは漢字の歴史をどう引き受けるかということのコアにコミットしているのだと思う。

（参考）
  • niji wo mita: OpenOffice3.2はCJK統合漢字拡張には対応せず？
  • niji wo mita: ubuntu, wine上に今昔文字鏡をのせる
  • niji wo mita: 10万字版はvistaに対応しにくく、15万字版はTeXに対応せず
    • ラベル:

    コメント

    コメントを投稿

    このブログの人気の投稿

    三つ葉をミツパと呼ぶ理由

    山形で、あるいは言葉によっては東北で広く聞かれる変わった発音に、関東では濁音でいうところを清音でいうものがある。「ミツパ（三つ葉）」「ナガクツ（長靴）」「ヒラカナ（平仮名）」「イチチカン（一時間）」「〜トオリ（〜通り：路の名前）など。小林好日『東北の方言』,三省堂1945,p.74にはこれに類した例が、説明付きでいくつか挙がっている（音声記号は表示がめんどいので略式で。なおnは１モーラ分ではなく、鼻に抜ける程度の入り渡り鼻音（njm注））。 鼻母音があるとその次の濁音が往々にして無声化し、その上にその次の母音まで無声化させることがある。 　ミツパ（三つ葉）　mitsunpa 　マツパ（松葉）　matsunpa 　マツ（先づ）　mantsu 　クピタ（頚）　kunpita 　テプソク（手不足）　tenpusoku 　カチカ（河鹿）　kanchika 　ムツケル（むずかる・すねる）　muntsukeru この無声化はなほそのあとの音節にまで及ぶこともある。 　アンチコト（案じ事）　anchikoto 　ミツパナ（水洟）　mitsunpana この現象は法則的に起こるのではなく、あくまでも語彙的・個別的に生じている。これって、どうしてこういうの？ということを仮説立ててみる。 ＊　＊　＊　＊　＊ 伝統的な東北方言では、非語頭の清濁は鼻音の有無で弁別される。よく教科書に挙がる例では以下がある。 mado（的）：mando（窓） kagi（柿）：kangi（鍵）＊ngiは鼻濁音で現れる場合と、入り渡り鼻音＋濁音で現れる場合とあり 語頭では他の方言と同様に有声音と無声音の対立があり、非語頭では上記のような鼻音と非鼻音の対立がある（そして有声音と無声音は弁別には関与しない）のが特徴的と言われるが、こうした弁別体系は古代日本語の残照と言われることもある。実証的な論考で明示されたことではないのだが、多くの概説書で「〜と考えられている」といった程度には書かれており、定説とは言わないまでも通説と言ってよいだろう。 非語頭の濁音音節前に現れる入り渡りの鼻音は、中世の宣教師による観察にも現れているので、比較的最近まで（日本語史は中世も最近とかうっかり言います）近畿方言にも残っていたとされる。このあたりは文献資料でも確かめられるために、実証的な論考でも言い尽くされているところ。 さて、古代日本語...
    コメントを投稿
    続きを読む

    お尻はいくつか

    子どもが友人たちと「お尻はいくつか」という論争を楽しんだらしい。友人たちの意見が「お尻は2つである」、対してうちの子どもは「お尻は1つである」とのこと。前者の根拠は、外見上の特徴が2つに割れていることにある。後者の根拠は、割れているとはいえ根元でつながっていること、すなわち1つのものが部分的に（先端で）2つに割れているだけで、根本的には1つと解釈されることにある。白熱した「お尻はいくつか」論争は、やがて論争参加者の現物を実地に確かめながら、どこまでが1つでどこからが2つかといった方向に展開したものの、ついには決着を見なかったらしい。ぜひその場にいたかったものだと思う。 このかわいらしい（自分で言うな、と）エピソードは、名詞の文法範疇であるところの「数（すう）」（→ 数 (文法) - wikipedia ）の問題に直結している。子どもにフォローアップインタビューをしてみると、どうもお尻を集合名詞ととらえている節がある。根元でつながっているということは論争の中の理屈として登場した、（尻だけに）屁理屈であるようで、尻は全体で一つという感覚があるようだ。つながっているかどうかを根拠とするなら、足はどう？と聞いてみると、それは2つに数えるという。目や耳は2つ、鼻は1つ。では唇は？と尋ねると1つだという。このあたりは大人も意見が分かれるところだろう。僕は調音音声学の意識があるので、上唇と下唇を分けて数えたくなるが、セットで1つというのが大方のとらえ方ではないだろうか。両手、両足、両耳は言えるが、両唇とは、音声学や解剖学的な文脈でなければ言わないのが普通ではないかと思う。そう考えれば、お尻を両尻とは言わないわけで、やはり1つととらえるのが日本語のあり方かと考えられる。 もっとも、日本語に限って言えば文法範疇に数は含まれないので、尻が1つであろうと2つであろうと形式上の問題になることはない。単数、複数、双数といった、印欧語族みたいな形式上の区別が日本語にもあれば、この論争には実物を出さずとも決着がついただろうに…。大風呂敷を広げたわりに、こんな結論でごめんなさい。尻すぼみって言いたかっただけです。
    2 件のコメント
    続きを読む

    あさって、やなさって、しあさって、さーさって

    授業で、言語地理学の基礎を取り扱うときに出す、おなじみのLAJこと日本言語地図。毎年、「明日、明後日、の次を何と言うか」を話題にするのだが、今年はリアクションペーパーになんだか色々出てきたのでメモ。これまでの話題の出し方が悪かったのかな。 明後日の次（ DSpace: Item 10600/386 ）は、ざっくりしたところでは、伝統的には東の国（糸魚川浜名湖ライン以東）は「やのあさって（やなさって）」、西の国は古くは「さーさって」それより新しくは「しあさって」。その次の日（ DSpace: Item 10600/387 ）は、伝統的には東西どちらもないが、民間語源説によって山形市近辺では「や（八）」の類推で「ここのさって」、西では「し（四）」の類推で「ごあさって」が生まれる、などなど（LAJによる）。概説書のたぐいに出ている解説である。LAJがウェブ上で閲覧できるようになって、資料作りには便利便利。PDF地図は拡大縮小お手の物ー。 ＊拡大可能なPDFはこちら 日本言語地図285「明明後日（しあさって）」 ＊拡大可能なPDFはこちら 日本言語地図286「明明明後日（やのあさって）」 さて、関東でかつて受け持っていた非常勤での学生解答は、「あした　あさって　しあさって　（やのあさって）」がデフォルト。やのあさっては、八王子や山梨方面の学生から聞かれ、LAJまんまであるが、ただし「やのあさって」はほとんど解答がない。数年前にビールのCMで「やのあさって」がちらりと聞ける、遊び心的な演出があったが学生は何を言っているのかさっぱりだったよう。これはかつての東国伝統系列「あした　あさって　やのあさって」に関西から「しあさって」が侵入して「やのあさって」は地位を追い落とされひとつ後ろにずれた、と説明する。「あした　あさって　やのあさって　しあさって」は期待されるが、出会ったことがない。 山形では「あした　あさって　やなさって　（しあさって）」と「あした　あさって　しあさって　（やなさって）」はほとんど均衡する。これには最初驚いた。まだあったんだ（無知ゆえの驚き）！と（ただしLAJから知られる山形市の古い形は「あした　あさって　やなさって　さーさって」）。同じ共同体内で明後日の翌日語形に揺れがある、ということは待ち合わせしても出会えないじゃないか。というのはネタで、実際は「～日」と...
    5 件のコメント
    続きを読む