好湿?好紧?好多水好爽自慰,久久久噜久噜久久综合,成人做爰A片免费看黄冈,机机对机机30分钟无遮挡

主頁 > 知識庫 > Postgresql中xlog生成和清理邏輯操作

Postgresql中xlog生成和清理邏輯操作

熱門標簽:濟南外呼網絡電話線路 移動外呼系統模擬題 電話機器人怎么換人工座席 地圖標注要花多少錢 天津開發區地圖標注app 江蘇400電話辦理官方 電銷機器人能補救房產中介嗎 廣州電銷機器人公司招聘 400電話申請客服

0 前言

1、2部分是對XLOG生成和清理邏輯的分析,XLOG暴漲的處理直接看第3部分。

1 WAL歸檔

# 在自動的WAL檢查點之間的日志文件段的最大數量
checkpoint_segments = 
# 在自動WAL檢查點之間的最長時間
checkpoint_timeout = 
# 緩解io壓力
checkpoint_completion_target = 
# 日志文件段的保存最小數量,為了備庫保留更多段
wal_keep_segments = 
# 已完成的WAL段通過archive_command發送到歸檔存儲
archive_mode = 
# 強制timeout切換到新的wal段文件
archive_timeout = 
max_wal_size = 
min_wal_size =

1.1 不開啟歸檔時

文件數量受下面幾個參數控制,通常不超過

(2 + checkpoint_completion_target) * checkpoint_segments + 1

checkpoint_segments + wal_keep_segments + 1個文件。

如果一個舊段文件不再需要了會重命名然后繼續覆蓋使用,如果由于短期的日志輸出高峰導致了超過

3 * checkpoint_segments + 1個文件,直接刪除文件。

1.2 開啟歸檔時

文件數量:刪除歸檔成功的段文件

抽象來看一個運行的PG生成一個無限長的WAL日志序列。每段16M,這些段文件的名字是數值命名的,反映在WAL序列中的位置。在不用WAL歸檔的時候,系統通常只是創建幾個段文件然后循環使用,方法是把不再使用的段文件重命名為更高的段編號。

當且僅當歸檔命令成功時,歸檔命令返回零。 在得到一個零值結果之后,PostgreSQL將假設該WAL段文件已經成功歸檔,稍后將刪除段文件。一個非零值告訴PostgreSQL該文件沒有被歸檔,會周期性的重試直到成功。

2 PG源碼分析

2.1 刪除邏輯

觸發刪除動作

RemoveOldXlogFiles
> CreateCheckPoint
> CreateRestartPoint

wal_keep_segments判斷(調用這個函數修改_logSegNo,然后再傳入RemoveOldXlogFiles)

static void
KeepLogSeg(XLogRecPtr recptr, XLogSegNo *logSegNo)
{
 XLogSegNo segno;
 XLogRecPtr keep;
 XLByteToSeg(recptr, segno);
 keep = XLogGetReplicationSlotMinimumLSN();
 /* compute limit for wal_keep_segments first */
 if (wal_keep_segments > 0)
 {
 /* avoid underflow, don't go below 1 */
 if (segno = wal_keep_segments)
  segno = 1;
 else
  segno = segno - wal_keep_segments;
 }
 /* then check whether slots limit removal further */
 if (max_replication_slots > 0  keep != InvalidXLogRecPtr)
 {
 XLogSegNo slotSegNo;
 XLByteToSeg(keep, slotSegNo);
 if (slotSegNo = 0)
  segno = 1;
 else if (slotSegNo  segno)
  segno = slotSegNo;
 }
 /* don't delete WAL segments newer than the calculated segment */
 if (segno  *logSegNo)
 *logSegNo = segno;
}

刪除邏輯

static void
RemoveOldXlogFiles(XLogSegNo segno, XLogRecPtr endptr)
{
  ...
  ...
 while ((xlde = ReadDir(xldir, XLOGDIR)) != NULL)
 {
 /* Ignore files that are not XLOG segments */
 if (strlen(xlde->d_name) != 24 ||
  strspn(xlde->d_name, "0123456789ABCDEF") != 24)
  continue;
 /*
  * We ignore the timeline part of the XLOG segment identifiers in
  * deciding whether a segment is still needed. This ensures that we
  * won't prematurely remove a segment from a parent timeline. We could
  * probably be a little more proactive about removing segments of
  * non-parent timelines, but that would be a whole lot more
  * complicated.
  *
  * We use the alphanumeric sorting property of the filenames to decide
  * which ones are earlier than the lastoff segment.
  */
 if (strcmp(xlde->d_name + 8, lastoff + 8) = 0)
 {
  if (XLogArchiveCheckDone(xlde->d_name))
        # 歸檔關閉返回真
        # 存在done文件返回真
        # 存在.ready返回假
        # recheck存在done文件返回真
        # 重建.ready文件返回假
  {
  /* Update the last removed location in shared memory first */
  UpdateLastRemovedPtr(xlde->d_name);
        
        # 回收 或者 直接刪除,清理.done和.ready文件
  RemoveXlogFile(xlde->d_name, endptr);
  }
 }
 }
  ...
  ...
}

2.2 歸檔邏輯

static void
pgarch_ArchiverCopyLoop(void)
{
 char xlog[MAX_XFN_CHARS + 1];
  
  # 拿到最老那個沒有被歸檔的xlog文件名
 while (pgarch_readyXlog(xlog))
 {
 int  failures = 0;
 for (;;)
 {
  /*
  * Do not initiate any more archive commands after receiving
  * SIGTERM, nor after the postmaster has died unexpectedly. The
  * first condition is to try to keep from having init SIGKILL the
  * command, and the second is to avoid conflicts with another
  * archiver spawned by a newer postmaster.
  */
  if (got_SIGTERM || !PostmasterIsAlive())
  return;
  /*
  * Check for config update. This is so that we'll adopt a new
  * setting for archive_command as soon as possible, even if there
  * is a backlog of files to be archived.
  */
  if (got_SIGHUP)
  {
  got_SIGHUP = false;
  ProcessConfigFile(PGC_SIGHUP);
  }
  # archive_command沒設的話不再執行
      # 我們的command沒有設置,走的是這個分支
  if (!XLogArchiveCommandSet())
  {
  /*
   * Change WARNING to DEBUG1, since we will left archive_command empty to 
   * let external tools to manage archive
   */
  ereport(DEBUG1,
   (errmsg("archive_mode enabled, yet archive_command is not set")));
  return;
  }
      # 執行歸檔命令!
  if (pgarch_archiveXlog(xlog))
  {
  # 成功了,把.ready改名為.done
  pgarch_archiveDone(xlog);
  /*
   * Tell the collector about the WAL file that we successfully
   * archived
   */
  pgstat_send_archiver(xlog, false);
  break;  /* out of inner retry loop */
  }
  else
  {
  /*
   * Tell the collector about the WAL file that we failed to
   * archive
   */
  pgstat_send_archiver(xlog, true);
  if (++failures >= NUM_ARCHIVE_RETRIES)
  {
   ereport(WARNING,
    (errmsg("archiving transaction log file \"%s\" failed too many times, will try again later",
     xlog)));
   return; /* give up archiving for now */
  }
  pg_usleep(1000000L); /* wait a bit before retrying */
  }
 }
 }
}

2.3 ready生成邏輯

static void
XLogWrite(XLogwrtRqst WriteRqst, bool flexible)
{
...
      if (finishing_seg)
  {
  issue_xlog_fsync(openLogFile, openLogSegNo);
  /* signal that we need to wakeup walsenders later */
  WalSndWakeupRequest();
  LogwrtResult.Flush = LogwrtResult.Write; /* end of page */
        # 歸檔打開  wal_level >= archive
  if (XLogArchivingActive())
          # 生成ready文件
   XLogArchiveNotifySeg(openLogSegNo);
  XLogCtl->lastSegSwitchTime = (pg_time_t) time(NULL);
...

2.4 總結

ready文件只要滿足archive_mode=on和wal_lever>=archive,就總會生成(XLogWrite函數調用生成)

因為archive_command設置空,所以ready文件的消費完全由外部程序控制

done文件的處理由PG完成,兩個地方會觸發done文件處理,檢查點和重啟點

處理多少done文件受wal_keep_segments和replication_slot控制(KeepLogSeg函數)

3 WAL段累積的原因(長求總?)

注意:無論如何注意不要手動刪除xlog文件

注意:checkpoint產生的日志回不立即生成ready文件,是在下一個xlog后一塊生成的

3.1 ReplicationSlot

打開流了復制槽

-- 流復制插槽
-- 如果restart_lsn和當前XLOG相差非常大的字節數, 需要排查slot的訂閱者是否能正常接收XLOG, 
-- 或者訂閱者是否正常. 長時間不將slot的數據取走, pg_xlog目錄可能會撐爆
select pg_xlog_location_diff(pg_current_xlog_location(),restart_lsn), * 
from pg_replication_slots;

刪除

select pg_drop_replication_slot('xxx');

刪除后PG會在下一個checkpoint清理xlog

3.2 較大的wal_keep_segments

檢查參數配置,注意打開這個參數會使xlog和ready有一定延遲

3.3 回收出現問題

如果不使用PG自動回收機制,數據庫依賴外部程序修改.ready文件,需要檢測回收進程

(archive_mode=on archive_command='')

3.4 檢查點間隔過長

檢查參數配置

以上為個人經驗,希望能給大家一個參考,也希望大家多多支持腳本之家。如有錯誤或未考慮完全的地方,望不吝賜教。

您可能感興趣的文章:
  • postgresql 性能參數配置方式
  • postgresql SQL語句變量的使用說明
  • postgresql 實現查詢出的數據為空,則設為0的操作
  • postgresql 補齊空值、自定義查詢字段并賦值操作
  • Postgresql去重函數distinct的用法說明
  • postgresql 12版本搭建及主備部署操作
  • 淺談PostgreSQL和SQLServer的一些差異

標簽:溫州 榆林 昭通 海西 寶雞 辛集 杭州 濮陽

巨人網絡通訊聲明:本文標題《Postgresql中xlog生成和清理邏輯操作》,本文關鍵詞  Postgresql,中,xlog,生成,和,;如發現本文內容存在版權問題,煩請提供相關信息告之我們,我們將及時溝通與處理。本站內容系統采集于網絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《Postgresql中xlog生成和清理邏輯操作》相關的同類信息!
  • 本頁收集關于Postgresql中xlog生成和清理邏輯操作的相關信息資訊供網民參考!
  • 推薦文章
    主站蜘蛛池模板: 维修工人的绝遇中文字_| 懂色av蜜臀av粉嫩av分享 | 日本一级毛一片免费视频| 暖暖在线观看免费完整版| 美女很黄很黄是免费的| 一级A片国语普通话对白| 情瘾(出轨,高H)小说| 钓系美人在七零[穿书]| 久久综合伊人77777自慰| 粗大缓慢挺进娇喘呻吟| 国产国际精品福利色噜噜| bl高h喷水荡肉爽文np| 免费看的黄色| 野花国产精品秘?入口| 年轻的的小保?HD3| 久久9精品| 91国内揄拍国内精品对白| 乳色吐息1~2集在线观看第一集| 国产学生一级毛片在线| 2019午夜福利1000集| 欧美zoz0人禽杂交z0z0另类| 亚洲黄网免费| 九九99精品| 色哦色哦哦色天天综合| 越来越深| 男女床上打扑克| 波多野结衣久久国产精品| 国产网红主播无码精品动漫| 黄色短视频在线观看| 精品国产50部农村老熟女AV| 欧美三级黄| 欧美18-19sex性处| 久久国产亚洲偷自| 女欢电影| 白丝女榨干蹂躏我| 午夜精品久久久久久久90蜜桃| 我从不忠截取的一段画面 | 啊灬啊别停灬用力啊村妇快三| 国产麻豆剧果冻传媒东营| 亚洲乱熟女一区二区三区山口理珠| 极度勾引h|