2020-09-19

Centos7 下 pyenv 環境中的 Python 升級記錄。含 mod-wsgi

 [升級 python / pyenv]

本篇流程在於你以前已經安裝過舊 python(例如3.5), 現在想升級新版(例如3.7)。全程都是使用 virtualenv 進行,也建議大家儘量都用 virtualenv 

* 前置安裝 (升級前必裝,之前有裝則免)

安裝一些compile時會用到的 development tools

#yum groupinstall "Development Tools"  -y

#yum install -y python-devel libevent-devel python-pip gcc xz-devel openssl-devel readline-devel sqlite-devel bzip2-devel

安裝 libffi-devel 避免產生 ctype 問題. httpd-devel 避免 mod-wsgi compile 問題
#yum install -y libffi-devel httpd-devel


* git 更新 pyenv 的版本成最新,以獲取最新 OS list

假設你原先的 pyenv 安裝在 /var/pyenv

#cd /var/pyenv/plugins/python-build/../.. && git pull && cd -
反正意思就是 git pull 最新就對了


*重要! 讓 python lib compile 成 shared 。 在pyenv 安裝 python 前必做!

因為我們 python 要在 apache 多網站多環境下使用,因此共用 python lib 是絕對必要的,因此要用 pyenv 安裝 python 時 --enable-shared

#PYTHON_CONFIGURE_OPTS="--enable-unicode=ucs4 --enable-shared"
#export PYTHON_CONFIGURE_OPTS 


*安裝 python3.7

#pyenv install  3.7.9


* 到 專案目錄下 建立 env37

切換到你的專案,建立虛擬環境

#cd /path/to/ur/project

將 global 環境切換成我們要安裝的版本,等全部大功告成後看需求是否再切回去
#pyenv global 3.7.9

檢查目前環境版本正確與否
#pyenv versions

安裝 virtualenv
#pip install virtualenv

升級 pip
#python -m pip install --upgrade pip

建立 envirtual environment 目錄
#virtualenv env37


* 啟用虛據環境,安裝所有 package

注意,有個「.」
# . env37/bin/activate

上傳我們之前 pip freeze > requirement.txt 的檔案
#pip install -r requirements.txt

再修改你的 apache/services/celery..等 環境變數成最新的 env37 即可

* 最後的最後,更新 mod_wsgi 成以目前 python 版本 build 的 wsgi

因為我們 requirements.txt 已經有 install mod-wsgi==4.7.1

若你沒有可以手動安裝

# pip install mod-wsgi

故我們只要將 虛擬環境下的 lib 直接 copy 到 httpd 的 modules 下即可(centos7 LoadModule 位置)

先刪舊資料(如果你之前有舊版已安裝的話,可 list httpd/modules 查看)

# rm -f  /etc/httpd/modules/mod_wsgi.so
# rm -f  /etc/httpd/modules/mod_wsgi-py37.cpython-37m-x86_64-linux-gnu.so

再 copy 新 share library 到 httpd/modules (註:httpd/modules 是個目錄捷徑,實際位置在 /usr/lib64/httpd/modules , 但無關緊要)

copy 我們安在 env37 下的已 compiled wsgi 到 httpd modules
# cp /var/django/[你的專案]/env37/lib/python3.7/site-packages/mod_wsgi/server/mod_wsgi-py37.cpython-37m-x86_64-linux-gnu.so  /etc/httpd/modules/mod_wsgi.so

# cp /var/django/[你的專案]/env37/lib/python3.7/site-packages/mod_wsgi/server/mod_wsgi-py37.cpython-37m-x86_64-linux-gnu.so  /etc/httpd/modules

註1:由於我們對系統 link 來 link 去的 shared library 非常瞭解,所以才有100%信心做上述動作,絕對安全沒問題。若你有疑慮不放心,請看這篇安裝 mod_wsgi(https://missions5.blogspot.com/2014/06/centos-modwsgi.html)

註2:不放心的同鞋可以用 ldd 指令分別檢查你的舊 so 及新 so 檔比較看看即可明瞭

舊so
# ldd /etc/httpd/modules/mod_wsgi.so

新so
# ldd /var/django/[你的專案]/env37/lib/python3.7/site-packages/mod_wsgi/server/mod_wsgi-py37.cpython-37m-x86_64-linux-gnu.so

* 更改 /etc/ld.so.conf 下的 pyenv path 以便讓 wsgi 抓到 python shared library
例如原為
/var/pyenv/versions/3.5.1/lib/
改為
/var/pyenv/versions/3.7.9/lib/
載入
#ldconfig
註:若非要全域,個人可設環境變數 LD_LIBRARY_PATH,將 python library path 加入即可

重新啟動 apache,看 /var/log/httpd 下的 error_log
# systemctl restart httpd

[mpm_prefork:notice] [pid 9850] AH00163: Apache/2.4.6 (CentOS) OpenSSL/1.0.2k-fips mod_wsgi/4.7.1 Python/3.7 configured

顯示 wsgi4.7 + python3.7 正常運作, 即表示你的 so 檔已正常運行

完成!!!





2020-05-28

Centos7 Mysql5.7 安裝

為什麼不用 mysql80 ?
別不信邪,因為很多實驗數據結果顯示,在 < 300 threads 時
效能 mysql5.6 > mysql5.7 > mysql8
不是版本愈高就愈好,而是要選擇適合你的。小型網站或使用者不多的不一定要拿牛刀,MySQL 在Oracle 接管後進步很緩慢,差別真的不大。
但本安裝步驟不分版本,稍改一下版本字元即可通用


如果你只想安裝 mysql,不 care 版本,
1. 安裝前看一下版本
# yum info mysql-community-server
Available Packages
Name        : mysql-community-server
Arch        : x86_64
Version     : 5.6.48
Release     : 2.el7
....
....

2. 安裝
# yum install mysql-community-server



安裝指定版本,這裡是 mysql 5.7

0.檢查 repo source 是否已有 mysql57
# yum repolist enabled | grep "mysql.*-community.*"
!mysql-connectors-community/x86_64 MySQL Connectors Community                153
!mysql-tools-community/x86_64      MySQL Tools Community                     110
!mysql56-community/x86_64          MySQL 5.6 Community Server                530
不符合我們版本


1. 取 mysql community 5.7 版最新安裝檔
毋須指定 release no, architecture independ (例 mysql57-community-release-el7-xx.rpm)
# wget https://repo.mysql.com/mysql57-community-release-el7.noarch.rpm

2. 安裝 (# 提示字 就是 root 身分,你應該知道的)
安裝 mysql5.7 安裝源(repo source)
# yum localinstall mysql57-community-release-el7.rpm

3. 檢查資源狀態
# yum repolist all | grep mysql5
mysql55-community/x86_64            MySQL 5.5 Community Server   disabled
mysql55-community-source            MySQL 5.5 Community Server - disabled
mysql56-community/x86_64            MySQL 5.6 Community Server   enabled:    530
mysql56-community-source            MySQL 5.6 Community Server - disabled
mysql57-community-dmr/x86_64        MySQL 5.7 Community Server D disabled
mysql57-community-dmr-source        MySQL 5.7 Community Server D disabled
enable  的還是 mysql56, 意指目前還是預設指向 mysql56

4. 切換 mysql 安裝來源
關56
# yum-config-manager --disable mysql56-community
開57
# yum-config-manager --enable mysql57-community-dmr
切換完你可以再檢查一下 (可略)
# yum repolist all | grep mysql5 是否已切換了
或第一步驟指令再檢查一下 (可略)
# yum repolist enabled | grep "mysql.*-community.*"
mysql-connectors-community/x86_64 MySQL Connectors Community                 153
mysql-tools-community/x86_64      MySQL Tools Community                      110
mysql57-community-dmr/x86_64      MySQL 5.7 Community Server Development     424

5. 安裝
# yum install mysql-community-server -y

6. 啟動服務 & 檢查服務狀態
# systemctl start mysqld
# systemctl status mysqld

Active: active (running)


6-1. root 的預設密碼在哪裡?
根據官網給的資訊,預設密碼在 /var/log/mysqld.log ,用以下指令
# sudo grep 'temporary password' /var/log/mysqld.log

# sudo grep 'temporary password' /var/log/mysqld.log

2020-05-28T09:47:04.213709Z 1 [Note] A temporary password is generated for root@localhost: #c3/f5KDwtko


登入試試
# mysql -uroot -p

# mysql -uroot -p

Enter password: 

Welcome to the MySQL monitor.  Commands end with ; or \g.

Your MySQL connection id is 2

Server version: 5.7.30


Copyright (c) 2000, 2020, Oracle and/or its affiliates. All rights reserved.


Oracle is a registered trademark of Oracle Corporation and/or its

affiliates. Other names may be trademarks of their respective

owners.


Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.


mysql> 

成功!!!

6-2. 變更密碼
在 mysql> 下變更密碼

mysql> SET PASSWORD FOR 'root'@'localhost' = PASSWORD('我的新密碼');

Query OK, 0 rows affected, 1 warning (0.00 sec)

下次登入即可使用該密碼

6-3. 開機自動執行
# systemctl enabled mysqld
安裝步驟到此全部完成!!!



7. 追加,安裝附屬套件!!!
安裝 Shared compat libraries for MySQL ,我們程式 compile 所需 lib 及 python mysql connector 需要。
# yum install mysql-community-libs-compat

註:libmysqlclient.so.18、libmysqlclient.so



2020-05-18

那些年我們走過的 AWS 的坑 - Volume, Snapshot, AMI, Image 有何不同?

AWS 是我見過唯一一個把簡單的事情搞得複雜化,但是股價卻是老高在上,下不來。通常把簡單事情搞複雜化會因學習曲線太高不易使用,最後公司倒閉。而亞馬遜卻不然,可見 AWS 有它不為人知的某方面優點。


Volume:儲存媒體,就俗稱它硬碟啦。
Snapshot:映像快照。
AMI(Image):亞馬遜機器映像檔(Amazon Machine Images),內容為 硬碟映像檔+機器描述資料(OS,主機裝置規格)。


[產生 EC2 的方法]
1. 從 ec2 界面 lanuch
   即從標準 ec2 package 清單,經一系列設定啟用 ec2
2. 利用 AMI 啟動
  2-1. 若沒 AMI 可從 Snapshot 或正在 run 的 EC2 產生 AMI
       Snapshot --create image--> Image
       EC2 Instance --create image--> Image
  2-2. 若也沒 Snapshot 可從 Volume 產生
       亦即 Volume ==可產生==>> Snapshot ==可產生==>> Image(AMI) ==launch==> EC2
       Volume 要輸入一些機械描述資料。

[產生 AMI(Image) 方法不同的差異]
方法1. Snapshot --create--> Image
方法2. EC2 Instance --create--> Image
兩者填的資料不一樣,Snapshot 沒主機資料,故需填 Architecture、Virtualization type、RAM disk ID、Root device name、Kernel ID。為什麼需要這些資料?Snapshot(volume)不是有OS Image 了嗎?猜測是因為 AWS 系統的關係,在 launch 時需配合它原先的主機指令集(x86_64,arm..)、Kernel Image ID 以配合開機,若選錯,例如 window 選 redhat 可能開不了機?arm 選 i386 不能跑?未測!




[ moreover Lanuch EC2 from AMI pools ]
當你從標準 ec2 package list lanuch ec2 後,可以在 EC2 詳細看到 AMI。若你刪除 AMI 的 snapshot, AMI,這時 EC2 詳細的 AMI 即永久消失,即使你後來再從 EC2 create Image(AMI),此 AMI 非原 AMI,故依舊不會顯示。




AWS EC2 一般用執行個體類型比較



[ 計點計費現象 ]
t2.large => 41.98 USD/月 0.058 USD/h   470 USD/預付一年
t2.medium => 20.95 USD/月  0.029 USD/h  235 USD/預付一年
t2.small => 10.51 USD/月   0.014 USD/h   118 USD/預付一年

在同為 t2 下,cpu計點積分,large型 = medium型 + samll型 = 16(積分/小時)

如果我們有一台 small +一台 medium,是否合適換成只要一台 Large?
vCPU比較:  large (2vCPU) < medium(2vCPU) + small(1vCPU)  少一顆
Memory比較: large (memory8GB) > medium(4GB) + small(2GB)  多 2GB 記憶體
所以在 cpu 不那麼強烈要求下, 與其將系統分為雙層 web server(meidum) + database(small),不如合在同一台 large。

測試環境 web server cpu 常態負載在 5%~10%, database server 在 1%~4% ,使用 Large,將系統 合在同一台,少一顆vcpu反而表現較佳


[ 同條件下比對 t2, t3, t3a ]
t2.large => 41.98 USD/月 0.058 USD/h   470 USD/預付一年
t3.large => 38.11 USD 0.052 USD  426 USD/預付一年
t3a.large => 34.38 USD 0.047 USD  385 USD/預付一年
結論為:貴賤順序為 t2(貴) > t3 > t3a(便宜)
t2 使用 Intel CPU(3GHZ) 且有穩定cpu算力;t3 使用 Intel CPU(2.5GHZ) 但為 lazy cpu burst模式;t3a 同 t3 但使用 AMD CPU(2.5GHZ),
只要是 cpu 負責不高的情況下 t3a 為較優選擇;反之則結果相反。


[同樣執行個體下,不同地區]
同樣執行個體下,不同地區以美國為最便宜,而亞洲便宜至貴依序:
首爾 每小時 0.0065 USD (便宜)
新加坡 每小時 0.0066 USD
東京 每小時 0.0068 USD
香港 每小時 0.0073 USD




無廢話 crontab 設定


[排程]
* 檔案位置
nano /etc/crontab

* 內容格式
# ┌───────────── 分鐘   (0 - 59)
# │ ┌─────────── 小時   (0 - 23)
# │ │ ┌───────── 日     (1 - 31)
# │ │ │ ┌─────── 月     (1 - 12)
# │ │ │ │ ┌───── 星期幾 (0 - 7,0 是週日,6 是週六,7 也是週日)
# │ │ │ │ │
# * * * * *
# 台灣時間半夜3點15分 (系統為格林威治時間)
15 19 * * *  root  /bin/mysqldump -umyname -p密碼 mytest_db | gzip > /aws/share/mysql/mytest_db_auto_bak_`date '+\%Y\%m\%d'`.sql.gz




goofsy 的設定與自動/手動掛載

安裝

$ go get github.com/kahing/goofys
$ go install github.com/kahing/goofys


掛載 AWS S3 bucket 的 package

[goofsy 設定]
在 [HOME]/.aws/ 下有兩個檔案要設,格式如下 (參考 https://docs.aws.amazon.com/cli/latest/userguide/cli-configure-files.html)
1. ~/.aws/credentials
[default]
aws_access_key_id=AKxxxxxxx12345QCQCEE 
aws_secret_access_key=y8lkHqIxxxxxxxzq54dd
2. ~/.aws/config
[default]
region=us-west-2
output=json

3. 手動 mount 指令
$ $GOPATH/bin/goofys <bucket> <mountpoint>
例如
$ $GOPATH/bin/goofys my-s3-bucket /aws/s3

4. 手動 umount 指令
指令記得離開該目錄,然後 umount 該目錄
$ umount /aws/s3

5. copy goofys 至系統目錄(path for all users)以供執行
$ cp ~/go/bin/goofys /usr/bin

6. 掛入 fstab
  * 安裝 fuse (Filesystem in Userspace) 
  $ yum install fuse
  * 位址 /etc/fstab
  * 格式
    goofys#bucket   /mnt/mountpoint        fuse     _netdev,allow_other,--file-mode=0666,--dir-mode=0777    0       0
  * 實例
    goofys#aws-share   /aws/share        fuse     _netdev,allow_other,--file-mode=0666,--dir-mode=0777    0       0
  * 掛載
  $ mount -a

其它注意事項,可參考 https://github.com/kahing/goofys/issues/433#issuecomment-512903339

go 安裝及資訊


[go 安裝]
* 下載位置
$ wget https://dl.google.com/go/go1.14.3.linux-amd64.tar.gz
* 解壓至 /user/local
tar -C /usr/local -xzf go1.14.3.linux-amd64.tar.gz
* 將 go 註冊於系統路徑
export PATH=$PATH:/usr/local/go/bin
* 測試

檔案 hello.go
package main

import "fmt"

func main() {
   fmt.Println("Hello, World!")
}

執行
$ go run hello.go
Hello, World!



[資訊]
* 安裝位置
/usr/local/go/
* bin
/usr/local/go/bin/go
* go env
GOPATH="/root/go"
GOTOOLDIR="/usr/local/go/pkg/tool/linux_amd64"