データベース用サーバ(MONSTER-HY)の利用方法 の履歴(No.7)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• データベース用サーバ(MONSTER-HY)の利用方法 へ行く。
  • 1 (2019-03-28 (木) 06:15:12)
  • 2 (2019-03-28 (木) 07:31:17)
  • 3 (2019-03-30 (土) 03:39:08)
  • 4 (2019-03-31 (日) 13:26:14)
  • 5 (2019-04-01 (月) 06:31:36)
  • 6 (2019-04-05 (金) 04:15:14)
  • 7 (2019-04-18 (木) 13:22:09)

---

目次†

データベース用サーバ(MONSTER-HY)について†

本マシンは、ラップトップでは扱えないような巨大なデータを扱うことを目的に設置したデータベース用サーバです。
Dockerを使って、ユーザごとに別々のデータベースサーバを立てるので、各ユーザはそれぞれが所有するデータベースに関するすべての権限を持っており、所有しているデータベースを好き勝手に操作できます。間違って他人のデータベースを触ってしまうようなことはありません。
だれでも利用可能ですが、事前にユーザ登録が必要です。

サポートしているデータベースサーバ†

• MySQL 他のデータベースサーバを立てたい場合(MongoDB等)は本ページの一番下にある管理者に連絡してください。

マシンスペック†

• OS: Ubuntu 18.04 LTS
• CPU: Intel(R) Core(TM) i7-4770K CPU @ 3.50GHz(コア数: 4, スレッド数: 8)
• メモリ: 32GB(8GB×4)
• ディスク容量: 8TB
• ネットワーク
  • ホスト名: oss24.sys.wakayama-u.ac.jp
  • IPアドレス: 133.42.145.219

利用にあたっての注意†

※編集中 複数人で利用するので、他の人のデータやプロセスに注意してください。
動作が遅かったりしたら、topコマンドでload averageを確認してみてください。
他の人のプロセスが動作している場合があります。
このサーバはあくまでデータベース用ですので、データを用いた計算などは、別のマシンでやるようにしてください。
また、念のため、重要なデータは各自でバックアップを取るようにしてください。
サーバ内のデータの消失などに関して、サーバ管理者は一切の責任を負いません。

利用するには†

本マシンのデータベースを利用するためには、システムへのユーザ登録と、データベースサーバの用意が必要です。

システムへのユーザ登録†

管理者に連絡してください。

データベースサーバの用意†

管理者に連絡してください。
MySQLサーバを立てるのは準備ができていますが、ほかのデータベースサーバは準備していません。環境を整えるのに少し時間がかかるかもしれません。

MySQLサーバへの接続方法†

研究室内WiFi(FLOSS)または学内ネットワーク(airo等)からの接続†

IPアドレス: 133.42.145.219
ポート番号: 3306 + システムの自分のUID(例: horiguchiのUIDは1001なので、ポート番号は4307、自分のUIDはidコマンドでわかります)
データベースのユーザ名: MySQLサーバを立てるときに設定したユーザ名(おそらく初回はroot)
データベースのパスワード: MySQLサーバを立てるときに設定したパスワード
これらのサーバの設定情報を基に、以下のコマンドを実行します。

$ mysql -u [データベースのユーザ名] -p -P [ポート番号]
Enter password: [データベースのパスワード]

学外(自宅など)からの接続†

あらかじめ、SSH接続ができるように設定しておく必要があります。
詳しくは下に書いてある「SSH接続方法」の「学外(自宅など)からの接続」を確認してください。
SSH接続ができるようにしたうえで、SSHのポートフォワーディング機能を使う必要があります。
以下のコマンドを、学外のネットワークから実行してください。
このコマンドは、ネットワーク接続がリセットされるたびに実行する必要があります。

$ ssh [sXXXXXX(自分のユーザ名)]@com.wakayama-u.ac.jp -fNL [ローカルホストにバインドする任意のポート番号]:133.42.145.219:[MySQLサーバのポート番号]

このコマンドを実行したうえで、以下のコマンドを実行します。

$ mysql -u [データベースのユーザ名] -p -P [ローカルホストにバインドされた任意のポート番号]
Enter password: [データベースのパスワード]

SSH接続方法†

研究室内WiFi(FLOSS)または学内ネットワーク(airo等)からの接続†

以下のコマンドで接続できます。

$ ssh [ユーザ名]@133.42.145.219

学外(自宅など)からの接続†

あらかじめ、SSH接続ができるように設定しておく必要があります。
学内から、下記URLにアクセスし、公開鍵の設定をしてください。
http://www.wakayama-u.ac.jp/limited/aic/sv/com
この設定ができると、学外から共有Linuxサーバ(com.wakayama-u.ac.jp)に接続できるようになります。
このサーバを踏み台にして、研究室内のデータベース用サーバにssh接続します。

(自分のPCのシェル) $ ssh [共有Linuxサーバのユーザ名(sXXXXXX)]@com.wakayama-u.ac.jp
(共有Linuxサーバのシェル) $ ssh [データベース用サーバのユーザ名]@133.42.145.219
(データベース用サーバのシェル) $ [これで接続完了]

Tips†

MySQLのデータのインポートが遅い†

整形されて、整合性のチェックが必要ないデータをインポートする場合に限り、
いくつかのチェック機能を無効にしたり、バッファサイズを増やしたりして、
データのインポートをにかかる時間を短くできる。

SET foreign_key_checks = 0;
SET unique_checks = 0;
SET autocommit = 0;
SET sql_log_bin = OFF;
SET GLOBAL innodb_flush_log_at_trx_commit = 0;
SET GLOBAL innodb_buffer_pool_size = 2047 * 1000 * 1000;

サーバが遅い†

topコマンド

ターミナルを閉じた後も処理を続けさせたい†

サーバ上でデータベース用のファイルのダウンロードをする際や、クローラ、その他計算処理をする場合、ターミナルを閉じた後も継続してプロセスを動かしたいですよね。
そんなときは、nohupコマンドを使います。

$ nohup [ターミナルを閉じた後も継続して動かしたいコマンド] &

標準出力と標準エラー出力がnohup.outファイルに書き出されるので、このファイルをtailすれば、コマンドの実行状況がわかります。
また、コマンドが実行中の場合、以下のコマンドを使えば表示されます。
LEFT $ ps x

管理者†

堀口日向 s216332@wakayama-u.ac.jp