摘要：后文所用的測試文件是一個阿里云導出的文件，，測試時文件已緩存顯示的接近用去用看一下方法耗時較大，因為會對每一行都進行處理，但是實際上只有第一行有，所以浪費了。

工作中多多少少都會遇到UTF-8 BOM（后面直接叫BOM），有時第三方工具不支持就要自己去掉BOM，例如阿里云導出的SQL文件是有BOM的，但是Navicat不支持，這就要去掉BOM了。

后文所用的測試文件是一個阿里云導出的SQL文件，265M，測試時文件已緩存（time顯示的 File system inputs接近0）

sed -e "1s/^xefxbbxbf//" file

用time看一下sed方法耗時：

$ /usr/bin/time -v sed -e "1s/^xefxbbxbf//" sqlResult_1601835.sql > /dev/null
        ...
        User time (seconds): 0.33
        System time (seconds): 0.11
        Percent of CPU this job got: 98%
        Elapsed (wall clock) time (h:mm:ss or m:ss): 0:00.46
        ...

User time較大，因為sed會對每一行都進行處理，但是實際上只有第一行有BOM，所以浪費了CPU。

sed還支持原地更新（-i）：

$ /usr/bin/time -v sed -e "1s/^xefxbbxbf//" sqlResult_1601835.sql -i
        ...
        User time (seconds): 1.31
        System time (seconds): 3.89
        Percent of CPU this job got: 71%
        Elapsed (wall clock) time (h:mm:ss or m:ss): 0:07.32
        ...

因為會寫入文件，所以會更慢，用strace可以發現，sed是通過輸出到臨時文件然后覆蓋原文件實現更新的

open("sqlResult_1601835.sql", O_RDONLY) = 3
open("./sedGlXm60", O_RDWR|O_CREAT|O_EXCL, 0600) = 4
...
rename("./sedGlXm60", "sqlResult_1601835.sql")

tail --bytes=+4 file

用tail可以直接跳過BOM，然后直接復制文件內容，減少了不必要的CPU處理：

$ /usr/bin/time -v tail --bytes=+4 sqlResult_1601835.sql > /dev/null
        ...
        User time (seconds): 0.01
        System time (seconds): 0.12
        Percent of CPU this job got: 96%
        Elapsed (wall clock) time (h:mm:ss or m:ss): 0:00.14
        ...

但是tail必須自己重定向到新文件再覆蓋舊文件。

為了結合sed和tail的優點，我寫了一個strip-bom，支持原地更新文件。

先測試一下重定向：

$ /usr/bin/time -v php strip-bom.phar sqlResult_1601835.sql > /dev/null
        ...
        User time (seconds): 0.11
        System time (seconds): 0.22
        Percent of CPU this job got: 98%
        Elapsed (wall clock) time (h:mm:ss or m:ss): 0:00.35
        ...

只比sed快了20%，User time少了但System time增加了。因為是個循環讀寫的過程，每次循環就是一次read和write調用，所以我增加了一個參數來調節每次讀的塊大小，可以減少循環次數和系統調用，可以比sed快60%：

$ /usr/bin/time -v php strip-bom.phar -b 16384 sqlResult_1601835.sql > /dev/null
        ...
        User time (seconds): 0.06
        System time (seconds): 0.12
        Percent of CPU this job got: 96%
        Elapsed (wall clock) time (h:mm:ss or m:ss): 0:00.19

測試原地更新，比sed快30%：

$ /usr/bin/time -v php strip-bom.phar -i -b 16384 sqlResult_1601835.sql
        User time (seconds): 0.23
        System time (seconds): 0.67
        Percent of CPU this job got: 17%
        Elapsed (wall clock) time (h:mm:ss or m:ss): 0:05.11

Linux 4.5增加了一個系統調用：

ssize_t copy_file_range(int fd_in, loff_t *off_in,
                               int fd_out, loff_t *off_out,
                               size_t len, unsigned int flags);

可以直接在兩個文件描述符間復制內容，而且通常只要一個系統調用，所以可以參考sed復制到臨時文件，然后覆蓋舊文件，實現代碼在：Gist

測試：

$ /usr/bin/time -v ./copy_file_range sqlResult_1601835.sql
        ...
        User time (seconds): 0.00
        System time (seconds): 2.47
        Percent of CPU this job got: 37%
        Elapsed (wall clock) time (h:mm:ss or m:ss): 0:06.52

減少了系統調用也只比sed快一點，復制到臨時文件還是比strip-bom原地更新慢。

一直以為dos2unix就是轉CRLF的，看Feng_Yu評論之后看了man page，原來dos2unix功能很多，其中有去BOM的選項（-r）：

$ /usr/bin/time -v dos2unix -r sqlResult_1601835.sql
dos2unix: 正在轉換文件 sqlResult_1601835.sql 為Unix格式...
        Command being timed: "dos2unix -r sqlResult_1601835.sql"
        User time (seconds): 10.01
        System time (seconds): 0.90
        Percent of CPU this job got: 60%
        Elapsed (wall clock) time (h:mm:ss or m:ss): 0:18.20

dos2unix實現類似sed，也是寫到臨時文件再覆蓋，也和sed一樣，會處理每一行，所以性能并不好。