0．イントロダクション HCE（階層的クラスタリング探索器）は多次元データの相互的な解析のための可視化ツールです．HCEの一つの目的は活用されていない人の知覚スキルを最大化する事により多次元データの解析や理解を助ける事です．HCEは、ユーザーが体系的に多次元データの中に隠された予期しない興味深い機能を識別するために、多次元データセットを精査できる望遠鏡である。 多次元望遠鏡の使い方の指針では、ユーザーに1次元（1D）または2次元（2D）の分布を理解させるのに有効な、リレーションシップ、クラスタを発見することができGRID（グラフィックス、ランキング、そして発見のための相互作用）原理である、ギャップ、外れ値、および多次元データセット内の他の機能。要約と統計的な手法で情報の可視化技術（概要、調整、および動的クエリ）を組み合わせることにより、ユーザーは、体系的に最も重要な1Dおよび2D軸平行投影を調べることができます。 このマニュアルでは、我々はHCEの可視化コンポーネントを使用する方法とHCEの詳細な動作について説明します。 1．入力ファイル形式 HCE3.0では以前の入力形式のファイルフォーマットにも対応しています．最も重要な点は入力データの第一列に固有の識別を入れなければならなくなったことです．それらはアイテムの名前やユーザーが適当な1からｎの整数値で埋めればよいです．新たな入力形式では，上図で示されるようにfield type情報を各変数の下に追加する事が出来ます．この場合では最初の列には“field type”と入力し，それぞれ各列にはSTRING, CATEGORICAL, INTEGER, REALの識別子を用いる事が出来る．INTEGERは-2147483648から2147483647の整数値を表し，REALは‐3.402823466E +38から-3.402823466E+38までの実数値を表します．新しい入力形式のサンプルファイルはcereal-new.txtを参照してください． また，ユーザーは劣の入力ファイルの見出しとして以下の予約語は用いる事はできません． 予約語：name, title, desc (or description), go (or goid), weight 以前のファイル形式の入力ファイル（fieldtype行をもたない）の列に対してはREAL型の値を持っているとして扱われます． いくつかのテストデータをサンプルとしてアプリケーションの使用例のページ（?application examples）に掲載しています． 1.1　カテゴリ変数 カテゴリ変数は文字列または整数のいずれかになります．内部的には文字列は整数値として扱われ，各文字列は1から始まる個別の整数値に変換されます．例えば上記の入力データのmfr列のNabisco,Quacker Oats,Kelloggsはそれぞれ，内部的には1，2，3と変換されて扱われることになります．現在のバージョン（HCE3.0）ではカテゴリ変数は，クラスタに含まれていない場合を除き，その他の変数と同様に扱われます．以降のバージョンではクラスタリングに用いられているカテゴリ変数も層化に使用します． 1.2ファイルサイズとクラスタリング時間 HCEでの現在の実装では，n行，m列のデータに対しては時間計算量はO(n2m)であり，空間計算量はO（n2）である．以下の表は、行のクラスタリングを完了するためにかかる時間についての実験結果を示しています．行の数（または，列の数）が4万より大きい場合は，クラスタリング完了時間（秒）は中間距離行列を維持するためのメモリオーバーヘッドのため，現在のHCEの実装ではわかっていません（Pentium 4 2.53GHz 1GB memory PC使用時）． number of rows 3138 3614 6211 12422 22690 22283 38305 number of columns 17 38 27 27 40 105 6 clustering time 3.75 7.75 16.15 65.25 226.21 452.29 659.63 2プレビューダイアログボックス File?==>?Open 入力ファイルを選択後，以下のダイアログが表示される．入力ファイルの10つの列が表示され，正しい形式で入力されているかどうか確認できる．また，データのフィルタリングや変換を行う事ができる． 2.1　データフィルタリング CALL　フィルタリング Affymetrixによるアウトプットを用いたフィルタリングなので，訳しません！！ 標準偏差によるフィルタリング ユーザーは標準偏差に基づいたフィルタリングを行う事ができる．つまり，時系列やサンプルがあまり変化しない項目を除外することです．しきい値以下の標準偏差の列もしくは，標本は除外される．なお，デフォルトのしきい値は1です． 2.2　データ変換 対数変換（自然対数） 入力データに対して，前処理を行う事で，良い結果を得る事ができる場合があります．対数変換では，指数関数で表される分布を線形に変換する事ができ，分散を減らす事ができる．例えば，cDNAアレイ用のGreen/Redの強度の比率データなどでは対数変換を適用する事で良い結果を得る事ができます． 正規化 HCE3.0では入力データの列ごと，もしくは行ごとに以下の4つの正規化手法を利用する事ができます． 値は標準化される．すなわち，平均からの偏差を計算し、標準偏差によって偏差を分割する。標準化を行う事で、それぞれの行（または列）が同じ平均（0）と同じ標準偏差（1）を持つようになる。 単に最初の列または行の値で各値を除算します。つまり，左の式中のコントロールは常にHCE3の最初の列または行です。 単に中央値で値を除算します。 新しい範囲にスケーリング 線形的に新しい値の範囲に各行または各列を変換します。たとえば、範囲0から1にスケーリングした場合、最小値は0、最大値は1になり、その間の値は線形的に0と1の間の値に変換されます。 ユーザーの入力ファイルの列が（セクション1に示すようなシリアル?データ?ファイルなど）の値の異なる範囲を使用している場合は、列ごとの正規化は?推奨されます。この正規化は、カラーマッピングがより合理的になり、それぞれを比較させる．すべての列の値がすでに直接比較できる場合、行ごとの正規化は推奨されます。例えば、Affymetrix社のプロジェクト内の各列（チップまたはサンプル）は、通常のプローブセットのシグナルアルゴリズムで正規化されているので、別の列の値は直接比較できます。このような場合には、行ごとの正規化は、カラーマッピングを向上させ、行のクラスタ化プロセスを加速します。正規化の方向の選択（列ごとまたは行ごと）が深くクラスタリング結果と他の結果に影響を与えることに注意してください。そのような注文表を表示、ヒストグラムの順序付け、および散布図としてHCEの中で最も可視化コンポーネントで正規化された値または元の値のいずれかを使用するように選択するオプションがありますのでご注意ください。 3　階層的クラスタリングとデンドログラム表示 優れたクラスタリングアルゴリズムには，データセットの自然なクラスタ数を決定する機能が求められる．しかし，ほとんどのクラスタリング技法では実験者の主観や経験によってクラスタ数を決定する必要がある．そのような場合では，不自然なクラスタの併合や分割が行われる場合がある．さらにクラスタの数はほとんどユーザーの嗜好やアプリケーションに依存しています．階層的凝集クラスタリング（HAC）アルゴリズムを使用することで，この問題を解決する事ができます．HACアルゴリズムを用いる事で，実験者がクラスタの数を決定するパラメータを任意に変化させる事ができます．数多くのクラスタリングアルゴリズムとは異なり，HACではクラスタの代わりにクラスタ集合の階層構造を生成します．HACのアルゴリズムは次のように要約されています．ｎ個のデータ項目をクラスタリングを行うと仮定し，各データ項目間で類似度（もしくは距離）が求められているとします．（つまり，n*(n-1)/2の類似度，距離が求められる） @ 最初に、各データ項目は、それ自体でクラスタとなります。したがって、初めにn個のクラスタがあります。 A 類似度の値が最も高いペア同士を新しい一つのクラスタとする． B 新しいクラスタと残りのクラスタ間の類似度の値を更新します。 C ただ一つのサイズｎのクラスタに併合されるまで，ステップAとステップBをN-1回繰り返す。 ステップ3で類似の値を更新する際に多くの可能な選択肢があります。その中で、最も一般的なものは、完全なリンケージ平均リンケージ、シングルリンケージです。完全なリンケージは、新しいクラスタと新クラスタの各メンバーと残り間の類似度の最小値になるように残りのクラスタ間の類似度値を設定します。平均的なリンケージは、新しい類似度の値として平均類似度の値を使用します。シングル・リンケージが最大になります。 階層的クラスタリングの結果は、通常、デンドログラム(樹形図)として表されます。デンドログラムは2分木として表され，デンドログラム上で、各データ項目はバイナリツリーの末端ノードに対応しており、サブツリーのルートからの距離がサブツリーの類似性を示しているバイナリツリーです。たとえば、次の図では、とDの間のユークリッド距離は、類似/の面で非常に似ているため、サブツリーとサブツリーの高さが非常に短いと、それらが一緒にマージされ、すべての可能なペアの中で最小です。距離尺度。彼らは非常に似ていないので、一方、BとEはお互いに非常に近い場所ではありませんが、対応するサブツリーの高さは非常に背が高い。 階層的凝集クラスタリングと樹形図。左側の図は2次元平面上の5つのデータポイント（A、B、C、D、E）はクラスタ化されている様子を表している．右側のデンドログラム（バイナリツリー）は、シングル・リンケージとのユークリッド距離を用いたクラスタリング結果を示しています。各サブツリーの高さ各ノードの間の結合した時の距離を表しています。 4．多次元データのカラーモザイクディスプレイ 多次元データはよ項目を表す行と変数を表す列をもつテーブルで表現される．例えば，以下の図（a）では，朝食用のシリアルの栄養成分に関するデータセット（77行13列）を入力とした時のカラーマッピングを表しています．各行は各シリアルの製品を表し，各列はそれぞれの栄養成分を表します．図中のカラーマッピングは“カラーモザイク”と呼ばれるものです．別の呼び方ではヒートマップやパッチグリッドとも呼ばれます．図（ｂ）はカラーモザイクの垂直表示，図（ｃ）はカラーモザイクの水平表示を表します．垂直表示が標準的な表示形式ですが，HCEでは少ないスペースでより多くの変数間の関係を可視化できるようにデフォルトの表示形式として水平表示を採用しています．これはパソコンのモニタは通常横長で，多次元データの行よりも列の方が一般的に数が多いためです． カラーモザイクを見る事で，実験者がデータの分布を調べて興味深い点やデータの特徴を理解しする事ができる．デンドログラム上ではカラーモザイクは葉で表され，デンドログラムの下部に表示される（図a）．カラーモザイクの列と行はそれぞれクラスタリングの結果によって変化する．カラーマッピングはデータセットの全ての数値のヒストグラムに基づいて決定される．HCEでは高い値は明るい赤色で現れ，低い値は明るい緑色で表される．中間の値は暗い色で表される．縦の赤い線と緑の線はそれぞれカラーマッピングのしきい値を表し，実験者がカラーマッピングのしきい値を任意に変化させる事ができます．赤と緑の境目になるほど色は黒くなっていきます．ユーザーは任意の色をカラーマッピングに用いる事ができ，カラーセレクションダイアログボックスで設定を変更する事が出来ます． カラーマッピング上のユーザーコントロールは実験者の分析対象の微妙な違いを見る事ができるようにするために必要です．非対称な分布のデータ，つまり全ての要素が赤，もしくは緑で表されるような状況は避けるべきです．実験者はヒストグラム上の縦の赤の線と緑の線をドラッグして，右か左に移動させる事で，(ｂ)のヒストグラム上のどの範囲をカラーマッピングするかを任意に変化させる事ができます． 5．クラスタリングパラメータの決定 プレビューダイアログボックスのOKを押すと，以下のダイアログが開きます． このダイアログ内では以下の機能を用いる事ができます． 5.1結合方法の選択 階層的クラスタ手法では現在のクラスタと新しいクラスタの距離を計算し，近いクラスタ同士を併合し，より大きなクラスタを生成していきます．併合する方式には様々な種類があり我々はそれらを“linkage method”(結合方法)と呼んでいます．HCE3.0では5つの併合方法を選択する事ができます．CiとCjを併合した時のCｎは新たなクラスタで，残りのクラスタをCkとします． 平均値結合（非加重結合法） 平均集団結合（中央値結合） 完全結合 単結合 Shneidermanの1by1結合 2つの距離の近いクラスタを選ぶ代わりに，この結合方式では直前の併合で生成されたクラスタを成長させる．直前の併合で生成されたクラスタをCn-1とすると，Cn-1と最も距離の近いクラスタをCmとし，CpはあCmに最も距離の近いクラスタだとする．|DIST(Cn-1,Cm) - DIST(Cm,Cp)| Compare Results ユーザーは2つの異なるクラスタリングの結果を比較する事ができます．ファイルを読み込みんだ後，以下のダイアログボックスで2つの異なる設定を適用する事ができます． 一つ目のデンドログラム上で特定のクラスタをダブルクリックする事で，2つのクラスタリング結果間のマッピング結果を見る事ができます．カラーモザイク上にカーソルを載せる事で，2つのクラスタリング結果間の同じクラスタが黒の線で結ばれて表示されます．階層的クラスタリングの演算コストの問題上，巨大なデータセットに対してはこの処理に時間がかかります．そのため，基本表示モードで1スクリーンに収まる程度のデータセットを用いる事をオススメします． 注意：この機能は巨大なデータセットには用いないでください（おおよその目安としては200×30以下のファイルが望ましい） 13．動的制御ダイアログバー（垂直ダイアログバー） 13.1　制御タブ このタブでは色の表示設定を行う事ができる．デフォルトのカラーマッピングは緑，黒，赤の三色であるが，3色モード，単色モードをユーザーは選ぶ事ができる．また，データセット全体のヒストグラムを見る事ができ，黒，赤，緑の縦線をドラッグする事でカラーマッピングのしきい値を変化させる事ができる．色の境目上でマウスを右クリックする事で，色選択のダイアログが表示されるので，対応する色の設定を変更することができます． また，ユーザーはカラーモザイクバーの高さを0からデンドログラム図の半分まで調整できるように末端ノードの高さのバーを変更する事ができます．デンドログラム表示の右上の角に表示されている?'Minimum Similarity Bar', 'Detail Cutoff Bar', 'Clustering Information', 'Color Scale Bar'を表示させたくない場合は，対応するチェックボックスをクリックする事で，デンドログラム表示から隠す事ができます． ? 13.2　詳細タブ Aタブは選択するアイテムを示している．ハイライトされているアイテムはデンドログラム上でのカーソルを合わせているアイテムを示す．また，詳細はCタブでも見る事ができ，左上のSAVEボタンを押す事でユーザーはこれらの選択されている生データをテキストファイルへと保存する事ができる．選択されているアイテムの数はSAVEボタンの横に表示される．Cタブでは現在デンドログラム上で選択されているアイテムの値を表示する．カラーモザイク上でマウスを動かすと，選択されているリスト内の情報を表示する事ができる． また，Bのバーをドラッグする事でAとCの表示の占有範囲を変更する事ができる．上矢印をクリックする事でCの表示面積が増え，下矢印をクリックする事でAの表示面で木が増える．ダブルクリックする事でAとCの表示は2分割で表示される． 13.3　評価タブ HCE3では現在のクラスタリングの評価方法としてaverage within-cluster distanceと average between-cluster distanceという単純な方法を用いている．between-cluster distanceは大きく，within-cluster distanceは小さい方が望ましい． 14　情報ダイアログバー（水平ダイアログバー） 14.1　カラーモザイクタブ このタブでは最小類似度バーによるフィルタリングなしでのクラスタリング結果のカラーモザイクを見る事ができます．ユーザーは画面を水平にスクロールさせる事でカラーモザイクの全体を見る事ができ，垂直の線をスクロールする事で，長いアイテム名を見る事ができます．行クラスタリング（クラスタリングダイアログボックス内の'Cluster Columns'チェックボックスをクリックする）を行う場合，ユーザーは下図のような行クラスタリングの結果のデンドログラムを表示させる事ができます．この時黄色でハイライトされている項目がクラスタリングに選択された項目です． 行クラスタリングの結果はメインのデンドログラム表示画面でも見る事ができ，ToolsからSwitchViewを選択するか，をクリックする事で見る事ができます．デンドログラ画面上でユーザーがクラスタをクリックすると，対応する項目名が黄色でハイライトされ，選択されたグループの右もしくは左にサンプル名と小さなデンドログラムが追加されます． 項目の行名を見るために，サンプル名と小デンドログラムを自由にドラッグして移動させる事ができます．また，画面上で右クリックすると，３つのポップアップメニュー（Print Current View, Copy Current View, and Save Current View）がでてきます．ユーザーは現在の画面の印刷，現在の画面をクリップボードにコピー，そして現在の画面をbmpファイルに保存する事ができます．デンドログラム表示画面中でもユーザーは最小類似度バーをドラッグして移動させる事ができます． 14.2　テーブル表示 テーブル形式の表示ではHCE3.0 の他の表示と相互で参照できます．これは簡単な表で記された入力データセットを示します．他の表示で複数の項目を選択した場合，テーブル表示では選択された項目の列が黄色でハイライトされ表示されます．各行は項目を表し，各列は変数や外部の入力ソースからの注釈データを表します． ユーザーは選択している項目のみを表示するか全ての項目を表示するかを選ぶ事が出来ます．“Show　Selected　Data　Only”チェックボックスのチェックを外す事（上図参照）で，全ての項目が表内に表示されます．そして，選択されている項目が黄色でハイライトされます．現在選択している項目の位置が分かりやすいようにスクロールバーの右隣に選択している項目のある場所が線で示されます．表示職はコントロールタブの設定(11.1参照）を変える事で変更する事ができます． データセットとして用いることのできるWebデータベースが存在する場合，ユーザーはURLを指定する事で，各列にWebデータを用いる事ができます．列のヘッダー上で右クリックする事で，以下のダイアログボックスが出てきます．URLもしくは%sを用いて特定の検索ワードを入力した後，セル上で右クリックし，値を選択する事でWebブラウザが立ち上がります．Webブラウザには入力した値で指定されたWebデータベースもしくは検索結果が表示されます． 例えば，バイオ系のWebデータベースとして以下のサンプルがあります． 例えば，UniGeneのデータを用いたい場合は列上で右クリックし，http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=unigene&cmd=search&term=%sを入力できます． %sはテーブル表示中で右クリックしたセルの値にとって代わることに注意してください． 14.3　ヒストグラムによる順序付けタブ HCE3.0では各変数の値を独自の評価基準で評価し，ソートしてユーザに提示する事で，分析の補助を行うRank-by-feature framework を実装しています．メイン画面はヒストグラムとボックスプロットが表示されています．インターフェース画面は(a)ControlPanel(b)Score overview (c)Orderd List (d)Histgram Browser の4つの要素から構成されます． ヒストグラムは（a）のコントロールパネルで選択された基準によって順位付けされ，（c）のオーダーリストに表示されます．（b）では順位付けの概要を見る事ができます．概要画面上でマウスオーバーすることで（c）のオーダーリスト，（d）のヒストグラム表示上で対応する箇所がハイライトされます．（d）のヒストグラム上部にはデータの分布を示した箱髭図が表示されます． ユーザーは(a)のコントロールパネルのダイアログボックス上で自由に評価基準を選択する事が出来ます．評価値の上下によって各項目は色付けされ，スコアの値が高いほど，赤色に，スコアの値が低いほど値は緑色にいろづけされ，中間値は暗色で示されます．ユーザーは自由に色のしきい値を変化させる事ができ，対応する色のバーを右クリックすることで最大値，最小値，中間値を変化させる事ができます．色のスケーリングは(b)の右上の隅に表示されます．ユーザーは簡単にスコアの概要を見てとれる事ができ，最小値，最大値を持つデータの数値や変数名を知る事ができます． オーダーリストで選択した項目はヒストグラムブラウザに表示され，箱髭図とヒストグラムが表示されます．(a)(b)(c)のそれぞれは相互に連携しあい，着目しているデータの分析を可能にします．言い換えるならば．現在表示している項目への変更は残りの2つの画面上にもすぐに反映されます． (c)のオーダーリスト上では各項目の数値的な分布の詳細を見る事が出来ます．5つの統計的な概要を表す値と標準偏差が表示されます．数値スコアの評価は3列目の色付けされたセルで見る事ができ，スコアオーバービューと同じ色付けがされています．数値的な概要を見る事はとても有用ですが，ミスリードを招く場合があります．例えば，分布上二つのピークがあったとして，中央値が分布の中央を表さないような場合，(d)のヒストグラム表示のようなグラフィカルな分析の方が有効な場合があります． (d)のヒストグラムブラウザでは各項目の分布を視覚的に見る事ができます．箱髭図はヒストグラムとともに，特徴的な分布を視覚的に表し，5つの概要について示す良い指標です．アイテムスライダーをドラッグすることでヒストグラムの注目したい箇所に相互にフォーカスする事ができます． 評価基準 様々なユーザーが異なる視点でデータセットの分析を行うので，評価基準もユーザーがカスタマイズできる事が望ましい．しかし，HCE3.0では以下の基本的，共通的な評価基準のみを実装しています． 分布の正規性 多くの統計解析手法（t-検定，ANOVA）ではデータセットが正規分布に従っているという過程の下で行われます．様々な要因で分布が非正規になることがあるので，Shapiro-Wilk検定やKolmogorov-Sminov検定などが知られています．我々は今回の実装ではオムニバス検定を用いています．歪度ｓと尖度ｋの2つの値が得られ，標準正規分布ではｓ＝0，ｋ＝３なので，我々は標準正規分布からどのように離れているかを|s|+|k-3|により求め，評価変数を計算します．ユーザーはヒストグラムブラウザを用いて，良く知られた釣鐘状の曲線からどれだけ離れているかを見て，評価結果を確認する事ができます． 分布の均一性 均一性検定のために，我々はエントロピーを測定しています．ヒストグラムでｋ個のbinsが与えられた時，ヒストグラムエントロピーHは　　　で求められます．Piはi番目のbinsにその項目がある確率を表します．エントロピーが高い事は分布が均一な事を示し，ヒストグラム上では水平な形を示します．分布の一様性を知ることはデータセットの理解を助ける事が知られているが，歪な分布では興味深い外れ値があるときがあるので，一様分布からどれだけ分布が逸脱しているかを知ることも重要な事がある． 外れ値の数 分布の中での外れ値を計測するために我々は1.5＊IQR（四分位範囲）を用います．4分位範囲とは値を小さい方から順に並び替えた時の75パーセンタイルと25パーセンタイルの間の間隔の事を表し，この間隔以上の値は外れ値とみなす事ができる．より厳密な外れ値の計測を行いたい場合は3＊IQRを用いることもできます．この方法もまたデータマイニングの分野で用いられてきた外れ値の探索方法です．外れ値は単なるノイズとしてではなく，注目すべき特異な値として重要な役割を果たします． 固有値の数 データの解析を始める前に，データがどれだけの固有値をもつのか調べると役に立ちます．巨大なデータにも関わらず固有値の値が小さい時はデータの収集方法や解釈方法に問題があるかもしれません．また，カテゴリ変数やデータの量子化の問題があるのかもしれません．カテゴリ変数や量子尺度には特別な扱いが必要です． 最大ギャップサイズ データセットの各項目間の隔たりや分布の様式を理解するのにギャップは重要な特徴です． tを公差，ｎを項目数，mfを最大頻度だとすると，我々はギャップをt*mf個以下の項目を持つbk(k=0 to n)のbins(bk)の集まりと定義します．順次，各binsを走査しより大きなbinsを形成するようにbinsを併合していきます．これはシンプルで早い方法である．全てのデータのギャップを計算し，我々は各ヒストグラムの最大ギャップによってヒストグラムを評価する．我々は等しいサイズのbinsを用いているため，最大ギャップは公差ｔを満たす大部分のbinsを持っています． 14.4　散布図による順序付けタブ インターフェース画面は(a)ControlPanel(b)Score overview (c)Orderd List (d)Scatterplot Browser の4つの要素から構成されます． （a）の評価基準により全ての2次元散布図は評価され，(c)のオーダードリストに表示されます．ユーザーは多数の組み合わせの2次元散布図を同時に比較する事ができ，自由に切り替えて表示する事ができます．(b)では全ての組み合わせの散布図の評価結果の概要を見る事ができます．（b）のセル上でマウスオーバーすることで対応するアイテムが(c)上でハイライトされます．また，対応する2次元散布図が（d）に表示されます．一度マウスをクリックすると，他のアイテムをくりっくするまで現在の画面は保持されます．また，（d）の横軸と縦軸にあるアイテムスライダーをドラッグする事でも簡単に各散布図を横断して結果を見る事ができます． ユーザーは左側のコントロールパネル上で評価基準を自由に選択できます．選択した評価基準に基づき全ての可能な組み合わせの2次元散布図に対してランキングを行います．(ｂ)ではその概要を見る事ができ，（ｃ）では評価結果の大小をカラーリストで一覧で見る事ができます． 評価基準 我々は散布図を描画するのに有効であると考えられる基本的，一般的な6つの評価指標をHCE3.0に実装しています．最初の3つの評価指標は変数間の2次元の統計的関係を明らかにするのに有用であり，後の3つは興味深い散布図を見つけるのに有効である． 相関係数 ピアソンの相関係数ｒはー1から1までの整数で表され，2つの変数間の線形関係の強さを表します．正と負は関係の方向性を示します．線形関係はシンプルで理解しやすいため重要です．しかし，強い相関係数が得られたとしても，それが真に変数間の関係を表しているとは限りません．ベストフィット直線，回帰直線が散布図上に描かれ相関関係をグラフィカルに見る事ができます． 曲線回帰の最小二乗誤差 全ての点にフィットするような近似2次曲線に基づいた最小二乗誤差によって散布図を木評価します．線形的な関係に加えて非線形な関係について分析を行いたいときにこの指標を用います．例えば，経済学者などは相関係数の順位をみて簡単に，州の財政収入と貧困には負の線形関係があると想定するでしょう．しかしながら，この指標を用いて両者の関係に2次関数的な線形関係があることが分かればより彼らは興味を持つ事でしょう． Quadracity 2つの変数間に強い線形関係がある場合，線形関係は（X^2）の最高次数の係数が0に等しくなる2次関係の特別な場合と考えられるためそれらは曲線回帰の小さな誤差を生むでしょう． 正確な2次関係を強調するために，我々はQuadracityという指標を定義しました．ユーザーが最も2次的な散布図を容易に発見できるように，最高次数の係数に基づき散布図をランク付けします．もちろん最小二乗誤差は2次的な関係を見つけ出すために用いられていますが，この指標ではフィット曲線を見る事でユーザーは誤差を簡単に見る事ができるため，(d)のブラウザ上で簡単に理解する事が出来る． 外れ値の数 1次元分析の場合ではよく用いられている簡単な統計的手法であるが，2次元分析の場合に用いられる外れ値に関する探索手法は無い．そこで，データマイニングやデータベースの研究分野で多く用いられている外れ値の探索方法を代わりに用いる．それらの中でも距離に基づいた外れ値の探索方法であるDB−outなどの手法では少なくとも，データセット内のオブジェクトの一部pがしきい値以上の距離を持つオブジェクトから離れている場合，それらを外れ値として定義します．密度に基づいた外れ値探索方法であるLOFに基づいた手法では，両隣のオブジェクトの相対密度がしきい値より低い場合に外れ値として定義します．いいかえるとしきい値より大きい内的外れ値要因（LOF）を持つオブジェクトを外れ値として定義します．LOFに基づいた手法は外れ値の定義や探索において動的で柔軟に対応できるためHCE3.0ではLOFに基づいた手法を実装しています． 注目領域内の項目数 この評価指標はユーザーに興味のある範囲（楕円形，長方形，または自由形式）を要求するため最も相互的です．ユーザーが簡単に与えられた範囲内で最大/最小の項目数を持つ散布図を見つけ出せるように整理された散布図の項目数を使用します．この評価方法の最も興味深い点はユーザーが散布図の左上もしくは右下の隅を指定した場合です．ユーザーは簡単にその変数で低い値を持つ項目（野球選手の年俸など）や他の変数で高い値を持つ項目（打率など）の散布図を見つけ出す事ができます． 分布の均一性 ヒストグラムで用いたのと同じエントロピーによる均一性の評価指標を用います．しかし，2次元上でのエントロピーの計算を考慮し，2次元空間を格子状に分割し各格子それぞれを一つのbinとして扱います．例えば，K×Kの格子が与えられた時，散布図Sのエントロピー（S）は　　　　で与えられます．Pijは項目が格子のセル（i.j）に存在する確率です． 散布図の表示方法の変更 密度 散布図を右クリックして，散布図の密度プロットを表示するためには“show density”を選択してください．明るいセルはセルが高密度である事を示し，密度の情報が100×100の格子上に色分けして表示されます． プロパティ 散布図を右クリックして，“properties”を右クリックする事でプロパティの変更画面が表示されます．プロパティでは散布図の表示方法の変更を行う事が出来ます．表示されるダイアログボックス内ではマーカーサイズ，マーカーの形状，マーカーの色を設定できます．マーカーの色は横軸と縦軸の平均値から動的に変更するタイプか静的なものかを選べます． 14.5　プロファイルサーチタブ HCE3.0 ではユーザーが異なるクラスタの傾向を比較しやすいように平行座標プロットを実装しています．動的クエリはプロファイルサーチの基本的な方法であり，ユーザー自身がマウスドラッグにより検索パターンを指定する事ができ，瞬時に検索結果を見る事ができる．以下の図ではプロファイルサーチタブの概観を示す．プロファイルサーチは4つの部分から構成される．(A)情報スペース(B)インディケーターの選択(C)しきい値スライダー(D)コントロールパネル ユーザーは検索パターンを簡単なマウスドラッグで指定できる．(A)の情報スペース内でマウスオーバーすることで，マウスカーソルが合わさっているY軸の線がコントロールポイントとなる．コントロールポイントが指定された状態でドラッグを行う事で縦軸のタイムラインが更新されます．検索パターンはコントロールポイントとタイムライン上で繋がっている折れ線グラフの集合として表示されます．ユーザーはコントロールパネルで検索方法と類似度の計算方法を設定する事が出来ます．コントロールポイント上でドラッグ，線分を水平，垂直にドラッグ，コントロールポイントを削除，追加する事で現在の検索パターンを変更する事ができます．全ての変更はマウスのクリック，ドラッグで行われ瞬時に結果は反映されます．検索パターンの構成と検索結果の表示の空間的な統合は2つの異なる空間のコンテキスト切り替えのオーバーヘッドを無くし，ユーザーの認知的な負荷を軽減します．ライトグレー多角形の領域は全体のプロファイルの範囲（データセットの形状）を示しています．選択したプロファイルの数が200以下の場合には各プロファイルはポリラインとして描かれます．プロファイル上でマウスオーバーすると，プロファイルは赤くハイライトされます． 選択したプロファイルの数が200より大きい場合には，視覚的な混乱を避けるためにダークグレーのポリラインとして選択したプロファイルが表示されます． ユーザーは情報スペース内に各項目を表すプロファイルとしてはっきりとした線を見れる．この画面上では，ユーザーはマウスのドラッグによるクエリを送信する事ができる．もちろん，クエリの結果は同じ画面に即表示される．ユーザーはポイントを垂直に移動したり，線分を垂直方向，水平方向に移動する事で，自由にクエリを変更する事ができます．左クリックを押しながらドラッグ，もしくは“Delete”ボタンを押す事で，モデルパターンの特定の部分を削除する事が出来ます．“Clear ALL”ボタンを押す事で初期化されます． クエリの絞り込み プロファイルサーチタブは連続クエリの改良をサポートしています．ユーザーは現在のクエリの結果に対して新たなクエリを送信する事ができます．クエリを送信した後，“Pin　This Result”を選択する事で更に検索範囲を狭めてクエリを送信する事ができます．我々はこれを“pinning”と呼んでいます．Pinningは現在の検索過程を失うことなく，解析パターンに注目する事を容易にする連続クエリの送信を有効にします．例えば，ユーザーがデンドログラム表示でクラスタを選択した場合，クラスタ内のすべての項目が平行座標プロット上で表示されます．この結果をPinningすることで，ユーザーはこのクラスタのみに着目して分析を行う事ができる．“Show　Silhouette”をチェックする事でユーザーは常に探索空間の全てのプロファイルの範囲を灰色の影のポリラインで見る事ができる．“Consider All Profiles”ボタンをクリックする事で情報スペースを初期のプロファイルの状態にリセットする事ができる． 以下の3種類のクエリがこのタブでは用いる事ができる． モデルベースクエリ 以下の図で示すようにユーザーは左クリックしながらドラッグする事でモデルパターンを簡単に指定する事ができる．他の方法としては既存のモデルパターンを選択する事もできる．プロファイル上で右クリックし，“Make it model pattern”をポップアップしたメニュー上で選択する事でパターンが赤色に代わりモデルパターンになる．ユーザーは気兼ねなくモデルパターンの一部を削除する事が出来る． ユーザーは3つの異なる距離尺度を選ぶ事ができ，しきい値を選ぶ事が出来る．しきい値を満たす全てのプロファイルが相互的に情報スペースに表示される．例えば，上図では赤いモデルパターンと90.1％以上の類似度（ピアソンの相関係数）を持つアイテムが表示されている．コントロールポイントをドラッグする事や，各線分をドラッグすることによりモデルパターンの全体を移動する事が出来る．3つの距離尺度は各コントロールポイントからのピアソンの相関係数，ユークリッド距離，絶対距離である．ユーザーが絶対距離尺度を選択し，しきい値は0から60であると仮定した場合，モデルパターンのプロファイルとそれに対応するコントロールポイントの各点の絶対距離が0〜60までの範囲内にある場合，そのプロファイルが結果として選択されます．それはモデルパターンのラインを中心とした等幅（60）のパイプを介してプロファイルを選択するようなものです．淡黄色の影が満足のいく結果を表しています． Ceil-Floor クエリ Ceil(天井)とFloor（床）を指定し，表示されるプロファイルの上限と下限を指定する事ができます．次の図では簡単な例を示しています．ユーザーは左クリックで上限（Ceil）を指定する事ができ，右クリックで下限（Floor）を指定する事ができます．天井と床を変更する事でユーザは各線分やコントロールポイントを移動する事ができます． 名前による検索クエリ ユーザは指定した文字列をもつ項目を検索する事ができます．検索はインクリメンタルでもなくてもどちらかで行えます．例えば，ユーザーが項目名として“muscle”という文字列を含む項目を見つけたい場合，ユーザーが“ｍ”を入力した時，項目名として“ｍ”を含む項目が表示されるでしょう．ユーザーが“u”を入力すると検索結果が更新され”mu”を含む項目が表示されるでしょう． 名前による検索クエリとモデルパターンクエリのもっとも良い使い方の組み合わせは，先に名前による検索を行い，検索結果にたいして右クリックから“Make it model pattern”を選択しモデルパターンクエリを行う事です．新たなモデルパターンとしきい値を見直す事で，ユーザーは簡単に同様の項目を見つけ出す事ができるでしょう．デンドログラム表示を用いた相互的な調整もまた項目が同様，もしくは類似するクラスタに所属するかを簡単に発見させるでしょう． 14.6　遺伝子オントロジータブ 14.7　K平均法タブ このタブではカラーモザイクタブに似た結果をもたらすK平均法について示します．K-meansタブ上でマウスの右クリックを行う事でポップアップメニューが表示され，“Do K-means Clustering”を選択すると以下のダイアログボックスが表示されます．ユーザーは列/行クラスタリングを行う事ができます．ユーザーは初期クラスタの数をランダム，もしくは現在の階層的クラスタリングの結果（現在の最小類似度バーの位置によって決定されるクラスタ数）を用いて決定する事ができます．この方法を用いる事で優れたクラスタリング結果を生成できる事が知られています．ランダムに生成を行う場合ではユーザーが生成するクラスタの数を指定する事ができます． ユーザーはクラスタ間で1ピクセルのギャップを持つ行でK平均法によるクラスタリングの結果を参照する事ができます．列クラスタはクラスタ間の水平線で区切られます．選択している項目は黄色の背景でハイライトされます．クラスタリング結果の画面上で右クリックし，“Export　Clustering　Result”を選択する事で現在のクラスタリング結果を行もしくは列にクラスターラベルが追記されたテキストファイルに出力する事ができます．