久久久久久全国免费观看,极品模特婉婷与摄影师

主頁 > 知識庫 > 詳解golang中bufio包的實現原理

詳解golang中bufio包的實現原理

最近用golang寫了一個處理文件的腳本，由于其中涉及到了文件讀寫，開始使用golang中的 io 包，后來發現golang 中提供了一個bufio的包，使用這個包可以大幅提高文件讀寫的效率，于是在網上搜索同樣的文件讀寫為什么bufio 要比io的讀寫更快速呢？根據網上的資料和閱讀源碼，以下來詳細解釋下bufio的高效如何實現的。

bufio 包介紹

bufio包實現了有緩沖的I/O。它包裝一個io.Reader或io.Writer接口對象，創建另一個也實現了該接口，且同時還提供了緩沖和一些文本I/O的幫助函數的對象。

以上為官方包的介紹，在其中我們能了解到的信息如下：

bufio 是通過緩沖來提高效率

簡單的說就是，把文件讀取進緩沖（內存）之后再讀取的時候就可以避免文件系統的io 從而提高速度。同理，在進行寫操作時，先把文件寫入緩沖（內存），然后由緩沖寫入文件系統。看完以上解釋有人可能會表示困惑了，直接把內容->文件和內容->緩沖->文件相比，緩沖區好像沒有起到作用嘛。其實緩沖區的設計是為了存儲多次的寫入，最后一口氣把緩沖區內容寫入文件。下面會詳細解釋

bufio 封裝了io.Reader或io.Writer接口對象，并創建另一個也實現了該接口的對象

io.Reader或io.Writer 接口實現read() 和 write() 方法，對于實現這個接口的對象都是可以使用這兩個方法的

bufio 包實現原理

bufio 源碼分析

Reader對象

bufio.Reader 是bufio中對io.Reader 的封裝

// Reader implements buffering for an io.Reader object.
type Reader struct {
  buf     []byte
  rd      io.Reader // reader provided by the client
  r, w     int    // buf read and write positions
  err     error
  lastByte   int
  lastRuneSize int
}

bufio.Read(p []byte) 相當于讀取大小len(p)的內容，思路如下：

當緩存區有內容的時，將緩存區內容全部填入p并清空緩存區
當緩存區沒有內容的時候且len(p)>len(buf),即要讀取的內容比緩存區還要大，直接去文件讀取即可
當緩存區沒有內容的時候且len(p)len(buf),即要讀取的內容比緩存區小，緩存區從文件讀取內容充滿緩存區，并將p填滿（此時緩存區有剩余內容）
以后再次讀取時緩存區有內容，將緩存區內容全部填入p并清空緩存區（此時和情況1一樣）

以下是源碼

// Read reads data into p.
// It returns the number of bytes read into p.
// The bytes are taken from at most one Read on the underlying Reader,
// hence n may be less than len(p).
// At EOF, the count will be zero and err will be io.EOF.
func (b *Reader) Read(p []byte) (n int, err error) {
  n = len(p)
  if n == 0 {
    return 0, b.readErr()
  }
  if b.r == b.w {
    if b.err != nil {
      return 0, b.readErr()
    }
    if len(p) >= len(b.buf) {
      // Large read, empty buffer.
      // Read directly into p to avoid copy.
      n, b.err = b.rd.Read(p)
      if n  0 {
        panic(errNegativeRead)
      }
      if n > 0 {
        b.lastByte = int(p[n-1])
        b.lastRuneSize = -1
      }
      return n, b.readErr()
    }
    // One read.
    // Do not use b.fill, which will loop.
    b.r = 0
    b.w = 0
    n, b.err = b.rd.Read(b.buf)
    if n  0 {
      panic(errNegativeRead)
    }
    if n == 0 {
      return 0, b.readErr()
    }
    b.w += n
  }

  // copy as much as we can
  n = copy(p, b.buf[b.r:b.w])
  b.r += n
  b.lastByte = int(b.buf[b.r-1])
  b.lastRuneSize = -1
  return n, nil
}

說明：

reader內部通過維護一個r, w 即讀入和寫入的位置索引來判斷是否緩存區內容被全部讀出

Writer對象

bufio.Writer 是bufio中對io.Writer 的封裝

// Writer implements buffering for an io.Writer object.
type Writer struct {
  err error
  buf []byte
  n  int
  wr io.Writer
}

bufio.Write(p []byte) 的思路如下

判斷buf中可用容量是否可以放下 p
如果能放下，直接把p拼接到buf后面，即把內容放到緩沖區
如果緩沖區的可用容量不足以放下，且此時緩沖區是空的，直接把p寫入文件即可
如果緩沖區的可用容量不足以放下，且此時緩沖區有內容，則用p把緩沖區填滿，把緩沖區所有內容寫入文件，并清空緩沖區
判斷p的剩余內容大小能否放到緩沖區，如果能放下（此時和步驟1情況一樣）則把內容放到緩沖區
如果p的剩余內容依舊大于緩沖區，（注意此時緩沖區是空的，情況和步驟2一樣）則把p的剩余內容直接寫入文件

以下是源碼

// Write writes the contents of p into the buffer.
// It returns the number of bytes written.
// If nn  len(p), it also returns an error explaining
// why the write is short.
func (b *Writer) Write(p []byte) (nn int, err error) {
  for len(p) > b.Available()  b.err == nil {
    var n int
    if b.Buffered() == 0 {
      // Large write, empty buffer.
      // Write directly from p to avoid copy.
      n, b.err = b.wr.Write(p)
    } else {
      n = copy(b.buf[b.n:], p)
      b.n += n
      b.flush()
    }
    nn += n
    p = p[n:]
  }
  if b.err != nil {
    return nn, b.err
  }
  n := copy(b.buf[b.n:], p)
  b.n += n
  nn += n
  return nn, nil
}

說明：

b.wr 存儲的是一個io.writer對象，實現了Write()的接口，所以可以使用b.wr.Write(p) 將p的內容寫入文件

b.flush() 會將緩存區內容寫入文件，當所有寫入完成后，因為緩存區會存儲內容，所以需要手動flush()到文件

b.Available() 為buf可用容量，等于len(buf) - n

下圖解釋的是其中一種情況，即緩存區有內容，剩余p大于緩存區