データベース用サーバ(MONSTER-HY)の利用方法の編集

* 目次 [#u4b47691]
#contents

* データベース用サーバ(MONSTER-HY)について [#c57eedb4]
本マシンは、ラップトップでは扱えないような巨大なデータを扱うことを目的に設置したデータベース用サーバです。~
Dockerを使って、ユーザごとに別々のデータベースサーバを立てるので、各ユーザはそれぞれが所有するデータベースに関するすべての権限を持っており、所有しているデータベースを好き勝手に操作できます。間違って他人のデータベースを触ってしまうようなことはありません。~
だれでも利用可能ですが、事前にユーザ登録が必要です。

** サポートしているデータベースサーバ [#g2236c59]
- MySQL
他のデータベースサーバを立てたい場合(MongoDB等)は本ページの一番下にある管理者に連絡してください。

** マシンスペック [#fb848056]
- OS: Ubuntu 18.04 LTS
- CPU: Intel(R) Core(TM) i7-4770K CPU @ 3.50GHz(コア数: 4, スレッド数: 8)
- メモリ: 32GB(8GB×4)
- ディスク容量: 8TB
- ネットワーク
-- ホスト名: floss1.sys.wakayama-u.ac.jp
-- IPアドレス: 133.42.75.203

* 利用にあたっての注意 [#t900e3c0]
※編集中
複数人で利用するので、他の人のデータやプロセスに注意してください。~
動作が遅かったりしたら、topコマンドでload averageを確認してみてください。~
他の人のプロセスが動作している場合があります。~
このサーバはあくまでデータベース用ですので、データを用いた計算などは、別のマシンでやるようにしてください。~
また、念のため、重要なデータは各自でバックアップを取るようにしてください。~
サーバ内のデータの消失などに関して、サーバ管理者は一切の責任を負いません。~

* 利用するには [#f8d9913c]
本マシンのデータベースを利用するためには、システムへのユーザ登録と、データベースサーバの用意が必要です。

** システムへのユーザ登録 [#fb4ec4f9]
管理者に連絡してください。

** データベースサーバの用意 [#b5215949]
管理者に連絡してください。~
MySQLサーバを立てるのは準備ができていますが、ほかのデータベースサーバは準備していません。環境を整えるのに少し時間がかかるかもしれません。

* MySQLサーバへの接続方法 [#e95f7a58]

** 研究室内WiFi(FLOSS)または学内ネットワーク(airo等)からの接続 [#c1378c5a] 
IPアドレス: 133.42.145.219~
ポート番号: 3306 + システムの自分のUID(例: horiguchiのUIDは1001なので、ポート番号は4307、自分のUIDはidコマンドでわかります)~
データベースのユーザ名: MySQLサーバを立てるときに設定したユーザ名(おそらく初回はroot)~
データベースのパスワード: MySQLサーバを立てるときに設定したパスワード~
これらのサーバの設定情報を基に、以下のコマンドを実行します。~
LEFT: $ mysql -u [データベースのユーザ名] -p -P [ポート番号]
 Enter password: [データベースのパスワード]

** 学外(自宅など)からの接続 [#jf0b60ac]
あらかじめ、SSH接続ができるように設定しておく必要があります。~
詳しくは下に書いてある「SSH接続方法」の「学外(自宅など)からの接続」を確認してください。~
SSH接続ができるようにしたうえで、SSHのポートフォワーディング機能を使う必要があります。~
以下のコマンドを、学外のネットワークから実行してください。~
このコマンドは、ネットワーク接続がリセットされるたびに実行する必要があります。~
LEFT: $ ssh [sXXXXXX(自分のユーザ名)]@com.wakayama-u.ac.jp -fNL [ローカルホストにバインドする任意のポート番号]:133.42.145.219:[MySQLサーバのポート番号]
このコマンドを実行したうえで、以下のコマンドを実行します。
LEFT: $ mysql -u [データベースのユーザ名] -p -P [ローカルホストにバインドされた任意のポート番号]
 Enter password: [データベースのパスワード]

* SSH接続方法 [#s5311984]

** 研究室内WiFi(FLOSS)または学内ネットワーク(airo等)からの接続 [#c1378c5a]
以下のコマンドで接続できます。~
LEFT: $ ssh [ユーザ名]@133.42.145.219

** 学外(自宅など)からの接続 [#jf0b60ac]
あらかじめ、SSH接続ができるように設定しておく必要があります。~
学内から、下記URLにアクセスし、公開鍵の設定をしてください。~
http://www.wakayama-u.ac.jp/limited/aic/sv/com~
この設定ができると、学外から共有Linuxサーバ(com.wakayama-u.ac.jp)に接続できるようになります。~
このサーバを踏み台にして、研究室内のデータベース用サーバにssh接続します。~
LEFT: (自分のPCのシェル) $ ssh [共有Linuxサーバのユーザ名(sXXXXXX)]@com.wakayama-u.ac.jp
 (共有Linuxサーバのシェル) $ ssh [データベース用サーバのユーザ名]@133.42.145.219
 (データベース用サーバのシェル) $ [これで接続完了]

* Tips [#rb3848cd]
** MySQLのデータのインポートが遅い [#pe82aa68]
整形されて、整合性のチェックが必要ないデータをインポートする場合に限り、~
いくつかのチェック機能を無効にしたり、バッファサイズを増やしたりして、~
データのインポートをにかかる時間を短くできる。
LEFT: SET foreign_key_checks = 0;
 SET unique_checks = 0;
 SET autocommit = 0;
 SET sql_log_bin = OFF;
 SET GLOBAL innodb_flush_log_at_trx_commit = 1;
 SET GLOBAL innodb_buffer_pool_size = 2047 * 1000 * 1000;

** サーバが遅い [#t7bade5f]
topコマンド

** ターミナルを閉じた後も処理を続けさせたい [#u451941f]
サーバ上でデータベース用のファイルのダウンロードをする際や、クローラ、その他計算処理をする場合、ターミナルを閉じた後も継続してプロセスを動かしたいですよね。~
そんなときは、nohupコマンドを使います。~
LEFT: $ nohup [ターミナルを閉じた後も継続して動かしたいコマンド] &
標準出力と標準エラー出力がnohup.outファイルに書き出されるので、このファイルをtailすれば、コマンドの実行状況がわかります。~
また、コマンドが実行中の場合、以下のコマンドを使えば表示されます。~
LEFT $ ps x

* 管理者 [#g67f4074]
堀口日向 s216332@wakayama-u.ac.jp

タイムスタンプを変更しない