五月婷综合,野花电影高清完整版在线观看

主頁 > 知識庫 > MySQL數據歸檔小工具mysql_archiver詳解

MySQL數據歸檔小工具mysql_archiver詳解

一.主要概述

MySQL數據庫歸檔歷史數據主要可以分為三種方式：一.創建編寫SP、設置Event；二.通過dump導入導出；三.通過pt-archiver工具進行歸檔。第一種方式往往受限于同實例要求，往往被大家舍棄。第二種，性能相對較好，但是歸檔表較多時運維也是比較頭疼的事。所以很多DBA往往采用第三種方式--pt-archiver。

pt-archiver是Percona-Toolkit工具集中的一個組件，是一個主要用于對MySQL表數據進行歸檔和清除的工具。它可以將數據歸檔到另一張表或者是一個文件中。pt-archiver在清除表數據的過程中并不會影響OLTP事務的查詢性能。對于數據的歸檔，它可以歸檔到另一臺服務器上的另一張表，也可歸檔到一個文件中。

有一個網友通過Python開發了將pt-archiver打包成了一個小工具—mysql_archiver，它基本實現了歸檔作業的配置化部署，使用起來挺不錯。"MySQL_archiver基本上實現了數據歸檔的自動運轉，統一的歸檔任務調度管理、自動監控和預警、自動生成報表。在一定程度上節約了生產力，提高了運維效率。"

github地址：https://github.com/dbarun/mysql_archiver

二.pt-archiver主要參數參數

參數	默認值	參數解釋
--check-slave-lag		指定主從復制延遲大于選項'--max-lag'指定的值之后暫停歸檔操作。默認情況下，工具會檢查所有的從庫，但該選項只作用于指定的從庫(通過DSN連接方式)。
--check-interval	1s	如果同時指定了選項'--check-slave-lag'，則該選項指定的時間為工具發現主從復制延遲時暫停的時間。每進行操作100行時進行一次檢查。
--[no]check-charset	yes	指定檢查確保數據庫連接時字符集和表字符集相同。
--commit-each		指定按每次獲取和歸檔的行數進行提交，該選項會禁用選項'--txn-size'。在每次獲取表數據并進行歸檔之后，在獲取下一次數據和選項'--sleep'指定的休眠時間之前，進行事務提交和刷新選項'--file'指定的文件，通過選項'--limit'控制事務的大小。
--host，-h		指定連接的數據庫IP地址。
--port，-P		指定連接的數據庫Port端口。
--user，-u		指定連接的數據庫用戶。
--password，-p		指定連接的數據庫用戶密碼。
--socket，-S		指定使用SOCKET文件連接。
--databases，-d		指定連接的數據庫
--source		指定需要進行歸檔操作的表，該選項是必須指定的選項，使用DSN方式表示。
--dest		指定要歸檔到的目標端表，使用DSN方式表示。如果該選項沒有指定的話，則默認與選項'--source'指定源端表為相同表。
--where		指定通過WHERE條件語句指定需要歸檔的數據，該選項是必須指定的選項。不需要加上'WHERE'關鍵字，如果確實不需要WHERE條件進行限制，則指定'--where 1=1'。
--file		指定表數據需要歸檔到的文件。使用類似MySQL DATE_FORMAT()格式化命名方式。文件內容與MySQL中SELECT INTO OUTFILE語句使用相同的格式，文件命名選項如下所示： ' %Y：年，4位數(Year, numeric, four digits) %m：月，2位數(Month, numeric (01..12)) %d：日，2位數(Day of the month, numeric (01..31)) %H：小時(Hour (00..23)) %i：分鐘(Minutes, numeric (00..59)) %s：秒(Seconds (00..59)) %D：數據庫名(Database name) %t：表名(Table name) 例如：--file '/var/log/archive/%Y-%m-%d-%D.%t' '
--output-format		指定選項'--file'文件內容輸出的格式。默認不指定該選項是以制表符進行字段的分隔符，如果指定該選項，則使用','(逗號)作為字段分隔符，使用'"'(雙引號)將字段括起。用法示例：'--output-format=dump'。
--limit	1	指定每條語句獲取表和歸檔表的行數。
--max-lag	1s	指定允許主從復制延遲時長的最大值，單位秒。如果在每次獲取行數據之后主從延遲超過指定的值，則歸檔操作將暫停執行，暫停休眠時間為選項'--check-interval'指定的值。待休眠時間結束之后再次檢查主從延遲時長，檢查方法是通過從庫查詢的'Seconds_Behind_Master'值來確定。如果主從復制延遲一直大于該參數指定值或者從庫停止復制，則操作將一直等待直到從庫重新啟動并且延遲小于該參數指定值.
--no-delete		指定不刪除已被歸檔的表數據。
--progress		指定每多少行打印進度信息，打印當前時間，已用時間以及多少行進行歸檔。
--purge		指定執行的清除操作而不是歸檔操作。允許忽略選項'--dest'和'--file'進行操作，如果只是清除操作可以結合選項'--primary-key-only'會更高效。
--replace		指定寫入選項'--dest'指定目標端表時改寫INSERT語句為REPLACE語句。
--retries	1	指定歸檔操作遇到死鎖或超時的重試次數。當重試次數超過該選項指定的值時，工具將報錯退出。
--run-time		指定工具歸檔操作在退出之前需要運行的時間。允許的時間后綴名為s=秒，m=分，h=小時，d=天，如果沒指定，默認為s。
--[no]safe-auto-increment	yes	指定不使用自增列(AUTO_INCREMENT)最大值對應的行進行歸檔。該選項在進行歸檔清除時會額外添加一條WHERE子句以防止工具刪除單列升序字段具有的具有AUTO_INCREMENT屬性最大值的數據行，為了在數據庫重啟之后還能使用到AUTO_INCREMENT對應的值，但這會引起無法歸檔或清除字段對應最大值的行。
--sleep		指定工具在通過SELECT語句獲取歸檔數據需要休眠的時間，默認值是不進行休眠。在休眠之前事務并不會提交，并且選項'--file'指定的文件不會被刷新。如果指定選項'--commit-each'，則在休眠之前會進行事務提交和文件刷新。
--statistics		指定工具收集并打印操作的時間統計信息。
--txn-size	1	指定每個事務處理的行數。如果是0則禁用事務功能。
--why-quit		指定工具打印當非因完成歸檔行數退出的原因。在執行一個自動歸檔任務時該選項與選項'--run-time'一起使用非常方便，這樣可以確定歸檔任務是否在指定的時間內完成。如果同時指定了選項'--statistics'，則會打印所有退出的原因。
--skip-foreign-key-checks		指定使用語句SET FOREIGN_KEY_CHECKS = 0禁用外鍵檢查。

三,安裝部署mysql_archiver常見錯誤

1. 執行python db_archive_exec.py 127.0.0.1 db123 報錯

Traceback (most recent call last):
File "/data/mysql_archiver/mysql_archiver-master/db_archive_exec.py", line 7, in module>
import db_conn
File "/data/mysql_archiver/mysql_archiver-master/db_conn.py", line 4, in module>
import MySQLdb
ImportError: No module named MySQLdb

解決方案:

Step 1 基礎環境

rm -rf /etc/yum.repos.d/epel*
yum install postgresql-devel python3-devel postgresql-devel python-devel

Step 2安裝setuptools

（1） 下載 setuptools-39.2.0.zip
（2） 解壓安裝 python setup.py build
    python setup.py install

step 3 安裝pip

（1） 下載 pip-1.5.4.tar.gz
（2） 安裝 python setup.py install

step 4 安裝MySQL-python

yum install MySQL-python

2.報錯缺少pt-archiver工具

sh: pt-archiver: command not found

解決方案：

下載percona-toolkit-3.2.1_x86_64.tar.gz,安裝，并且設置個軟連接。

例如:

ln -s /data/mysql_archiver/percona-toolkit-3.2.1/bin/pt-archiver /usr/local/bin/pt-archiver

3.缺少文檔

type 'exceptions.Exception'>
[Errno 2] No such file or directory: u'/software/python_script/db_archive_XXXXdb_XXXtablename.log'

解決方案:

創建文檔:/software/python_script

4.字符集問題

Character set mismatch: --source DSN uses utf8, table uses utf8mb4. You can disable this check by specifying --no-check-charset.

解決方案:

修改db_archive_exec.py可執行文件，針對pt-archiver添加參數--no-check-charset

5.參數設置報錯

Usage: pt-archiver [OPTIONS] --source DSN --where WHERE

Errors in command-line arguments:
 * --txn-size and --commit-each are mutually exclusive.

pt-archiver nibbles records from a MySQL table. The --source and --dest
arguments use DSN syntax; if COPY is yes, --dest defaults to the key's value
from --source. For more details, please use the --help option, or try 'perldoc
/usr/local/bin/pt-archiver' for complete documentation.

解決方案:

pt-archiver去掉參數--commit-each

6.Cannot find encoding "utf8mb4"

報錯信息: