yuu_nkjm blog

[find][grep][xargs][command] findした検索結果に含まれるファイルに対してgrepを実行

やりたいこと（シナリオ）

/srv/www以下のファイルで，2009という語が含まれている行を抽出したい．基本的には，ファイル名に*.htmlを含むファイルを選び出し，そのファイルから2009を含む行を抽出する．

xargs

一番使う．

# 手抜き
find /srv/www -name \*.html | xargs grep -nH 2009
# 特殊文字対策
find /srv/www -name \*.html -print0 | xargs -0 grep -nH 2009
# locateは便利なんだけど，どこのどのファイルがインデックス対象になっているかを注意する必要がある．
locate /srv/www/*.html|xargs grep -nH 2009

find

• nameにはワイルドカードが使える．ワイルドカードを使う場合は，エスケープする必要がある．
• {}は検索で引っかかったファイル名が入る．{}と\;の間にスペースが必要なことに注意する．\;となっているのは，;をシェルに解釈させないため．
• -printを指定しなくてもデフォルトが-printなことが多いので，面倒な時はタイプしないことも．
• 検索対象ディレクトリは複数が可能． "find /srv/www /home/user/public_html -name \*.html" -print
• findだけで頑張る．

  # プレースホルダ{}あたりの書き方がややこしいので，xargsを使ってしまうことが多い．
  # findの結果が多いときもxargsの方が有利．
  find /srv/www -name \*.html -exec grep -nH 2009 {} \;
  find /srv/www -name "*.html" -exec grep -nH 2009 {} \;
  

grep

• nで行番号表示，Hでファイル名表示．

•  ファイル名でフィルタリングしなくていいなら，これが楽．
  grep -rnH 2009 /srv/www
  

参考ページ

• findとgrepの合わせ技 - Plan9日記
• UNIXの部屋 コマンド検索:find (*BSD/Linux)

[Linux][command][sed][grep] grepとsedで文字列の一括置換

grepとsedを使って，特定のディレクトリ以下のファイルに含まれる文字列を一括置換したい．そこで，以下の手続きを実行するコマンドを発行する．

「秀丸のGrepして置換」の機能を想定した．findしてgrepしてxarg sedの方が汎用性高そうだったな．

1. 特定のディレクトリ以下のファイルで，置換したい文字列を含むファイルのリストを生成する．
2. 置換を実行したくないファイル名が含む文字列を指定することで，置換の対象としないファイルを取り除き，置換を実行すべきファイルのリストを生成する．
3. 置換を実行したいファイルにおいて，置換を実行する．

簡単に言うと

grep -Erl '置換したい文字列' | \
grep -v "置換したくないファイル名" | \
xargs sed -i バックアップファイルのサッフィクス 's/置換したい文字列/置換後の文字列/g'

くどく説明すると

grep -Erl 'sedによる置換を適用したいファイルの中身に含まれる文字列' | \
grep -v "置換したくないファイル名が含む文字列" | \
xargs sed -i バックアップファイルのサッフィクス 's/置換したい文字列/置換後の文字列/g'

コマンドライン

最後の"-i"をつけると，バックアップファイルが作成されファイルが上書き編集される．

grep -Erl '置換したい文字列' | \
grep -v "置換したくないファイル名" | \
xargs -n 1 -i "バックアップファイルのサッフィクス" sed '1s/^/---------------{}--------------\n/' {} | \
sed 's/置換したい文字列/置換後の文字列/g'|lv

関連資料

• grep

  -E, --extended-regexp
  PATTERNを拡張された正規表現として扱います。
   
  -e PATTERN, --regexp=PATTERN
  PATTERNをパターンとして指定します-で始まるパターンを保護するために有効です。
   
  -r, --recursive
  各ディレクトリ下のすべてのファイルを再帰的に読み取ります。これは -d recurse オプションと等価です。 
   
  -l, --files-with-matches
  通常の出力はせず、このオプションを指定しなかったときに出力される入力ファイルの名前を表示します。スキャン動作は最初のマッチで終了します。
   
  -v, --invert-match
  結果を反転し、マッチしなかった行を選択します。
  

  grepのman

• sed

  -i[SUFFIX], --in-place[=SUFFIX]
   
  edit files in place (makes backup if extension supplied)
   
  g G
  Copy/append hold space to pattern space.
   
  s/regexp/replacement/
  パターンスペースに対してregexpのマッチを試みる。マッチに成功すると、マッチした部分をreplacementに置換する。replacementは特殊文字である&を含むことができ、これはパターンスペースのマッチした部分を参照する。また\1から\9までの特殊エスケープを含むこともでき、これはregexpの副表現(sub-expression)にマッチした部分をそれぞれ参照する。
  

  sedのman

  sedで使用できる正規表現演算子

  POSIX 1003.2で規定されているsedでは、以下の演算子が使用できます。

  • .
  • *
  • ^
  • $
  • \(regexp\)
  • \1 \2 \3 \4 \5 \6 \7 \8 \9
  • [char-list]
  • \{n,m\}
  • \{n,\}
  • \{n\}
  • [:alnum:]
  • [:alpha:]
  • [:blank:]
  • [:cntrl:]
  • [:digit:]
  • [:graph:]
  • [:lower:]
  • [:print:]
  • [:punct:]
  • [:space:]
  • [:upper:]
  • [:xdigit:]

  GNU sedでは上記のものに加えて、以下のものが使えます。

  • \<
  • \>
  • \+
  • \|
  • \b
  • \B
  • \`
  • \'
  • \w
  • \W

  付記: GNU sed 4.0.5ではオプション指定によりEREを使えるようになります(使えるEREはGNU のegrepと同じ)。
  GNU sed 4.1.2 ではオプション指定によりPerl5互換の正規表現を使えるように なります(有効にしてコンパイルした場合)。また、正規表現演算子として\sと\Sが使えるようになっています。

  正規表現メモより

[Apache][.htaccess] 親ディレクトリの.htaccessで設定したユーザ認証をある子ディレクトリ内で解除する

はてなですでに質問がなされていた． 親ディレクトリの.htaccessで設定したBasic認証によるアクセス制限を、ある子ディレクトリ内でのみ解除する方法 - 人力検索はてな．以下の.htaccessファイルをアクセス制限を外したい子ディレクトリに置いたら期待通りの動作をした．あ，別にBasic認証じゃなくてDigest認証でもOK．

Satisfy any
order allow,deny
allow from all

より細かい制御をしたい場合は，以下のサンプルが参考になると思う．ミケネコさんのhtaccess リファレンスにはかなりの情報がまとまっていそう．

AuthUserFile /home/user/ ... /.htpasswd
AuthGroupFile /dev/null
AuthName "Please enter username and password"
AuthType Basic
require valid-user
Satisfy any
order deny,allow
allow from .myfriend.ne.jp
deny from all

ミケネコの htaccess リファレンスより．