タグ: 用語集作成

ウエブにある用語集をWildLight辞書に変換してみる

インターネット上には専門分野に特化した用語集が多く公開されており、翻訳作業の中でその業界や分野で使用される用語を理解するために、良く利用されていると思います。ただ、インターネット上にあることで検索性が乏しく、ＰＣ内にある辞書と同じように簡単に検索出来たらと考えるのは、翻訳を仕事にしている人間なら当然のことでしょう。

私が良くやるのは、それらのウエブ用語集を変換してWildLight用辞書にしてしまうという方法です。一度変換しておけば、他への流用もできますからとても有益な作業なのですが、ただ、それを簡単に実現する方法がありませんよね？
私もいろいろな方法を使っていますが、１つの方法としてWildLightを使う方法です。

今回は、その方法の一例をご紹介します。

今回、題材にあげるのは統計用語集(http://software.ssri.co.jp/statweb2/gloss/glossary.html) です。この用語集を例にした理由は、通常、公開されている用語集には表形式が多く、それらはどちらかといえば変換が容易な形式ですが、この統計用語集は日本語と英語が複数行に跨いでおり、変換が難しいと思われたからです。

こういったウエブ用語集は、その作り方により、変換が可能なものとそうでないものに分かれますが、表示される画面のソースを見て判断することになります。今回は、以下のようなアプローチで変換を試みます。

  1. ソースファイルを読み解く。
  2. 変換するための作戦を決める。
  3. ワイルドカードとWildLight特殊コマンドを記述する。

１．ソースファイルを読み解く

統計用語集の「ア行」を表示し、ブラウザ上で右クリックしてソースを表示します。すると、こんな記述がみられます。

ア行

この場合、用語集として必要になるのは日本語と英語のペアですが、ソースファイルを上から下まで眺めていくと、どうも、この用語ペアは以下のような記述になっているようです。

<h3 id=”a022″>アドホック調査<br>ad hoc survey</h3>

２．変換するための作戦を決める

ソースを良く見て、すべてが以下のような構成になっているかを確認します。「<h3 id=”????”>」や「<br>」「</h3>」が他に使用されていないかもあわせて確認します。

<h3 id=”????”>検索語<br>置換語</h3>

他の読み行のソースも含めて確認し、すべてこの構成で成り立っていて、かつ、他に使用されていないことが確認できました。では、以下の作戦でやってみましょう。

  • 「<h3 」で始まるタグを用語ペアの先頭(3の後ろには半角スペースがあります)
  • 「<br>」をセパレータ
  • 「</h3>」を用語ペアの終端

これらの条件で用語ペアの検索を掛けて、対象に蛍光ペン付けし、WildLightの特殊コマンド ExtractH2Word で蛍光ペン部をワードへ抜き出します。

１回の作業で用語集ができそうな感じに見えますが、実は、<br>をタブに変換した後に特殊コマンド(ExtractH2Word)でワードへ抽出した場合、タブが消えてしまうという制限があるため、２段階で作業をする必要があります。つまり、まず、１）用語ペアを抜き、それから２）セパレータをタブへ置換する、という流れになります。

３．ワイルドカードとWildLight特殊コマンドを記述する

用語ペアの抜き出しの記述を考える前に、用語ペアを抜いた後の処理を少し意識しておきたいと思います。それは、今後もいろいろな形式の用語集を変換することになると想像され、二度目の処理としてセパレータの置換が必ず発生するわけですから、できれば毎回同じWildLight辞書で処理できるように、最初の処理である「用語ペア抜き」の結果が、いつも同じスタイルになるようにルールを決めておきたいと思います。

そのルールとは、用語ペアは「●」で囲み、セパレータは「■」とするスタイルです。

では、今回のケースでも、抜き出し結果がこのスタイルになるように用語ペアを抜いてみます。

  • 「<h3 」で始まるタグを「●」に変換
  • 「<br>」を「■」に変換
  • 「</h3>」を「●」に変換

次に、作業の流れを作ります。

  1. 蛍光ペンを付けずに、「<h3 」で始まるタグを「●」に変換
  2. 蛍光ペンを付けずに、「<br>」を「■」に変換
  3. 蛍光ペンを付けずに、「</h3>」を「●」に変換
  4. 「●」と「●」に挟まれた文字列へ蛍光ペンを付ける。
  5. 蛍光ペン部を新文書へ抽出する。

この流れにより、「●検索語■置換語●」というスタイルで用語ペアが抽出されることになります。では、具体的にワイルドカードと特殊コマンドで記述してみます。

  1. WILDCARD:ON
    まず、ワイルドカードが利用できるようにＯＮにします。
  2. ~\<h3 *\>(tab)●
    置換後の文字に蛍光ペンを付けないため、先頭に「~」を付与し、検索語「\<h3 *\>」を記述します。（「<」や「>」などのワイルドカード文字を検索語とするときは、その前に「\」を付けなくてはなりません。）
    そしてセパレータのタブを入れ、置換語の「●」を記述します。
  3. ~\<br\>(tab)■
    同様に蛍光ペンなしの「~」を先頭に入れて、検索語「\<br\>」を記述し、セパレータのタブを入れて、置換語の「■」を記述します。
  4. ~\<\/h3\>(tab)●
    同様に蛍光ペンなしの「~」を先頭に入れて、検索語「\<\/h3\>」を記述し、セパレータのタブを入れて、置換語の「●」を記述します。
  5. ●*●
    ●で挟まれた文字列をすべて蛍光ペン付けします。
  6. ExtractH2Word
    蛍光ペンがついた文字列をワードへ新規文書として抽出します。

これらを記述した辞書を作成し、統計用語集のア行のソースに適用してみます。
(「WLDIC_Sample_抽出_統計用語集.txt」としてWildLight Dic Library に登録しておきましたので、ご覧ください)

抽出用語ペア

上手く用語ペアが抽出できたようです。あとは、最後の料理として、「●」を消し、「■」をタブに置き換えます。そのための記述は以下のようになります。

  1. WILDCARD:ON
    ワイルドカードが利用できるようにＯＮにします。
  2. ~●(*)●(tab)\1
    置換結果に蛍光ペンが付かないよう先頭に「~」を付与し、「●」で挟まれた文字列を検索して、「●」を除いた文字列へ置き換えます。
  3. ~■(tab)^t
    置換結果に蛍光ペンが付かないよう先頭に「~」を付与して「■」を検索し、タブ(^t)へ置換します。

これらを記述した辞書ファイルを「WLDIC_変換_●■●記述を辞書へ変換する.txt」として登録してありますので、ご利用ください。（今後、「●検索語■置換語●」スタイルで用語ペアを抽出すれば、この辞書を流用できます）

この辞書を、上記の抽出結果に適用すると、以下のようになります。

変換後

この作業を各「読み行」で実施し、変換された用語ペアを合体すれば、WildLight辞書の出来上がりです。

こんなやり方で、ウエブに公開されているいろいろな用語集を変換してみると良いと思います。

和文から用語集候補をエクセルへ抽出する

英文に続き、今度は和文から用語集候補をエクセルに抜く為の WildLight 辞書です。

過去に「日本語原稿から簡易的に用語を抜く」という記事をアップしていますが、別のアプローチによる抽出です。以下のWildLight辞書をダウンロードして使用して下さい。WildLight Library に登録されています。

WLDIC_抽出_和文から用語集候補をExcelへ抜く.txt

この辞書の記述は以下の通りです。

[『](*)[』]  \1
[「](*)[」]  \1
[a-zA-Zａ-ｚＡ-Ｚ0-9０-９]{1,}[ァ-ヾ一-鶴]{1,}
[ァ-ヾ一-鶴]{1,}[a-zA-Zａ-ｚＡ-Ｚ0-9０-９]{1,}
[ァ-ヾ一-鶴]{1,}
ExtractH2Excel
  • １行目と２行目は、「」と『』で囲まれた文字列を括弧なし文字に置換して蛍光ペン付けをしています。これらの括弧に囲まれた文字列には定訳を持つ用語が含まれている可能性が高い為、抽出対象にします。
    この２行だけは括弧を抽出文字から消したい為に、括弧なし文字に置換しています。従って、この辞書を適用すると原稿が加工されてしまいますので上書き保存しないように注意して下さい。
  • ３行目は英数字の文字列に続いて、カタカナ・漢字の文字列で構成される文字列に蛍光ペン付けしています。
    例）「GTP結合タンパク質」とか「ROHS指令物質不使用証明書」といった用語が検索対象になります。
  • ４行目は、カタカナ・漢字の文字列に続いて、英数字の文字列で構成される文字列に蛍光ペン付けしています。
    例）「コプラナーPCB」とか「イムノグロブリンE」といった用語が検索対象となります。
  • ５行目は、カタカナと漢字の文字列に蛍光ペン付けしています。
    例）「高性能液体クロマトグラフィー」とか「プロジェクト管理」といった用語が検索対象になります。
  • ６行目は、蛍光ペンをエクセルへ抽出する特殊コマンドです。

前述の過去記事による用語候補抽出は、５行目の「カタカナと漢字」の文字列だけでしたが、英数字が前後に付くケースも多く見られる事から、３～４行目を追加しました。

英文の抽出と同様、この辞書の適用により抽出された用語も、人間の目で選別を行う必要があります。

英文から用語集候補をエクセルへ抽出する

日本語文書から用語集候補文字列を抽出するWildLight辞書を以前公開しましたが、今回は英語文書から用語集候補の単語もしくは連語を抽出する辞書です。

以前、某社で行ったWildLightセミナーの中で、その抽出方法の考え方をお伝えした事があり、その際「いつ出来ますか？」と質問を受けていながら、長らく放置していました。

以下がそのWildLight 用辞書です。WildLight Library に登録されています。

WLDIC_抽出_英文から用語集候補をエクセルへ抜く.txt

この辞書で行っていることは、以下のような文字列を検索し、蛍光ペン付けをしてテキスト抽出しています。

  1. 頭文字が大文字で始まる単語
  2. その単語が連続した連語

具体的にどういうものか？ 上記の１「頭文字が大文字で始まる単語」とは、Hello とか HELLO のような単語です。２「その単語が連続した連語」とは、Hello World とか HELLO World など、頭文字が大文字で始まる単語のセットのことです。

用語集候補は、例えば「Microsoft Visual Basic」や「National Art Museum」に見られるように、単語の頭文字が大文字になっている単語／連語の場合が多いので、そういう単語を検索して抜いてしまおうと言うのがアイデアです。

辞書の記述は以下の通り。(わかり易くする為にくどい書き方をしています。)

[A-Z&][A-Za-z0-9\-&]{1,}[ ]
[A-Z&][A-Za-z0-9\-&]{1,}
[&][ ]
ExtractH2Excel

１行目は、頭文字がアルファベットの大文字で、それに続く文字列が英数字で、最後が半角スペースのものを検索して蛍光ペンをつけます。
２行目は、頭文字がアルファベットの大文字で、それに続く文字列が英数字のものを検索して蛍光ペンをつけます。
３行目は、半角のアンドマークと半角スペースのセットを検索して蛍光ペンをつけます。

１行目と２行目は記述が似ています。違いは終端の半角スペースだけです。１行目で、殆どの単語と連語が蛍光ペン付けされますが、文末にある単語は残ってしまいます。それを２行目の記述で蛍光ペン付けします。
何故こんなやり方をしているかと言うと、改行を抽出対象としない為です(抽出されなくなる)
３行目は、単語が＆で繋がれている連語を、連語として抽出する為に検索して蛍光ペン付けします。

この辞書ではあくまでも「候補」の抽出しかできません。お分かりの通り、文頭の単語は無条件で抽出対象となります(頭文字が大文字だから)。

抽出された単語／連語を自分の目で見て、不要物を除去して下さい。面倒だと思われる方は、例えば潔く連語だけを残すと言う考え方もあります(用語集に盛り込むべき連語の可能性が高い)。

この辞書の記述はひとつの例でしかありませんので、皆さんの使途に合わせて変えて使ってみて下さい。

[テキスト抽出のポイント]
抽出対象の検索は、ワイルドカードを一文で表現する必要はありません。抽出部位を別々に検索して、蛍光ペン付けするようにします。(これがWildLightの強みです)
蛍光ペンのテキスト抽出機能は、蛍光ペンが付いている連続した文字列を１つの塊として抜き出します。従って、別々に検索して色付けされても、最終的に蛍光ペンでひと塊りになっていれば問題ないのです。