木村/Memo の履歴(No.18)

Index of Tables（Memo）†

Index of Tables（Memo）

HomeBrew†

HomeBrewはMacOSに提供されているアプリケーション一元管理ツールです．
インストールするパッケージと依存関係にある必要なものを自動的に補完し，
また，アンインストールの際に不要なゴミを残さずにクリーンにアンインストールが可能です．
MacOSを使用している人にオススメのツールです．

HomeBrew インストール

ターミナルを起動し，以下のコマンドを実行します．
```
$ /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
```
実行すると途中で，
```
Press RETURN to continue or any other key to abort
```
と表示されるのでEnterを押します．
その後，パスワードが要求されるので，自分のアカウントのパスワードを入力してください．
しばらくするとHomeBrewのインストールが完了します．
HomeBrewのチェック（飛ばしても大丈夫）
```
$ brew doctor
Your system is ready to brew.
```
と表示されればOK．
もし，Worningが出ても対処コマンドが表示されるので，そのコマンドを実行すれば大丈夫．
HomeBrewの更新
```
$ brew update
Already up-to-date.
```
HomeBrewの更新はこまめに行いましょう．
インストール済みパッケージの確認・アンインストール

以下のコマンドを実行すると，インストール済みのパッケージが確認できます．
```
& brew list
```
また，パッケージのアンインストールは，
```
$ brew uninstall 'パッケージ名'
```
で実行できます．

↑

Pythonの開発環境構築（pyenv）†

pyenvのインストール

pyenvはHomeBrewを使ってインストールしましょう．コマンドは以下のものを実行します．
```
$ brew install pyenv
```
実行後は，パスを通すために以下のプロファイル書き換えのコマンドを実行します．
```
$ echo 'eval "$(pyenv init -)"' >> ~/.bash_profile
$ exec $SHELL -l
```
Python（Anaconda）のインストール

以下のコマンドでインストール可能なバージョンが表示されます．
```
$ pyenv install -l
```
自分の構築したい開発環境に応じてインストールするバージョンを変えましょう．
※Python２系はMacOSに標準インストールされています．

今回は，Python３系のインストールを紹介します．
Python３系をインストールしたい場合は，anaconda3-x.x.xのいずれかをインストールしましょう．
```
$ pyenv install anaconda3-x.x.x
$ pyenv global anaconda3-x.x.x
```
globalは開発環境の変更宣言です．これでPython３系が利用できるようになりました．
※ディレクトリごとに開発環境を変えるlocalもありますが，今回は説明を省きます．
Pythonのバージョン確認

以下のコマンドでインストールされているPythonのバージョン一覧が確認できます．
```
$ pyenv versions
```
Jupyter Notebook・Jupyter Labの利用（Labの推奨）
```
$ jupyter notebook
```
あるいは，
```
$ jupyter lab
```
をターミナルで実行することによりそれぞれ起動することができます．
現在，Notebookの開発は行われておらず，Labの開発が進められています．
なので，Jupyter Labの利用を推奨します．

control + cを押すと，
```
Shutdown this notebook server (y/[n])?
```
と表示されるので，yを入力しEnterを押すと元のシェルに戻ります．

↑

Google Colaboratory†

GPUを使用しながらPythonができるらしいぞ！！！
- https://cpp-learning.com/python_colaboratory/
- https://qiita.com/tomo_makes/items/b3c60b10f7b25a0a5935
※スワップ領域が存在しないので大規模データの解析・モデル構築はできない

↑

MySQL†

MySQL 逆引きリファレンス（わからないことはここに書いてるかも）
- http://mysql.javarou.com
MySQL コマンド・操作方法など（こっちの方が強そう）
- https://www.dbonline.jp/mysql/
MySQL データ削除の際に気をつけること（TRUNCATEを使用すれば問題なし）
- https://qiita.com/hmatsu47/items/a779213a71c3c1f72763
MySQL フラグメンテーションの確認とその解消方法
- https://yohei-a.hatenablog.jp/entry/20180610/1528650004
MySQL データの自己結合方法
- https://www.dbonline.jp/mysql/select/index17.html

↑

Python†

↑

PythonからMySQLへのアクセス†

MONSTER-HYのDocker MySQLに構築されているデータベース「SOTorrent」の使用方法についてです．

使用するために，今回mysql-connector-pythonを使用しています．
インストールしていない場合は以下のコマンドを実行してインストールしてください．
```
$ pip install mysql-connector-python
```
データベースのコンフィグスクリプト　[MySQLConfig.py]
MySQLからデータ取得を簡単にしたスクリプト　[RedirectQueryMySQL.py]
※ダメダメスクリプトなので改良してください．
上記の2つのスクリプトは同じディレクトリに保存してください．
- ~~MySQLConfig.pyのsshの接続設定に関して，ポートは3306で設定してあります．~~
- MySQLConfig.pyのsshの接続設定に関して，ポートは4309に変更してください．
- ポートフォワーディングをする際は，ローカルポートを4309，リモートポートを4309でバインドしてください．
- ローカルポートはご自分で変えていただいて大丈夫です．
~~RedirectQuery.pyを実行するとデータベース接続のパスワードを要求されるようにしています．~~
~~パスワードはいつもの魚釣りのやつです．~~
- 追記：getpassだと接続が不安定だったため辞めました．
サンプルではinput()を用いてSQLクエリを入力するようにしています．
ループ処理を用いたプログラムなど，具体的な処理は目的に応じて自分で記述してください．
学外からの利用も可能です．学外利用の場合，事前にSSHの設定が必要になります．
設定についてはデータベース用サーバ(MONSTER-HY)の利用方法を参照してください．

↑

可視化ライブラリ Dash†

まずはDashをインストールしましょう．

$ pip install dash

簡単なサンプルコードを記述したファイル [app.py]

$ python app.py

で実行すると，

Running on http://127.0.0.1:8050/
Debugger PIN: xxx-xxx-xxx

と表示されるので，ブラウザで「http://127.0.0.1:8050/」にアクセスすると表示されます．

Dashではその他にも様々な機能があります．（テキストフォームやCytoScape，簡単なウェブアプリ開発など）
※多機能すぎて習得が少し難しいですが，使えるとかっこいいのでオススメしておきます．

自分はコールバック機能まではなんとか理解しましたので，もし興味があれば微力ながらお手伝いいたします．
さらに詳しく知りたい場合は，下のURLにある公式ドキュメントを参照してください．

↑

Pandas†

csvファイルで書き出すときに文字化けしないためのエンコーディング
```
DataFrame.to_csv('ファイル名', encoding = 'utf_8_sig')
```

↑

other†

JupyterLabでのDash利用ライブラリ(使い方がよくわからんので注意)
- https://github.com/plotly/jupyterlab-dash
- ライブラリにバグがあるのでおそらく使えません...
python コードの書き方（参考に）
- https://qiita.com/yinawekuky/items/28d973a653e9825ed582
JupyterLab おしゃれなプログレスバー
- https://qiita.com/dialectic4th/items/368877009f15b6b551ff
python 機械学習の環境構築
- https://takaxtech.com/2018/10/09/article266/
python 深層学習ライブラリKeras 公式ドキュメント
- https://keras.io/ja/
dask サイズの大きいファイルを読み込むときに使える
- 使い方はpandasと同様の使用方法で，処理実行にはcompute()を使用する
- https://qiita.com/kodai_sudo/items/c2ff1e85da18eaf13b65
pandas pickleファイルも使用可能
python 複数の配列の共通要素を抽出する（配列2，3の共通要素を取り出す例）
```
[配列1] = set([配列2]) & set([配列3])
```

↑

Mac ショートカットキー†

command + shift + G：ファイルパス検索
command + Q：アプリケーションの終了
command + R：リロード
command + H：ウィンドウを隠す
control + D（もしくは，fn + delete）：WindowsでいうDeleteキー
control + K：カーソル右側文字の全削除
control + A：カーソルを行頭に移動
command + shift + 3：全画面スクショ
command + shift + 4：選択範囲スクショ