sed, awk 예제

URL에서 hostname만 얻어내기
echo "$SEED_URL" | sed 's/http:\/\/\([a-z0-9\._-]*\).*/\1/g"

filename으로 부터 URL과 filename list 만들기
cat $INFO_TYPE_DOWNLOAD_DIR/html_file_list.$DATETIME  | awk "{ print \"http://\"\$0\" $INFO_TYPE_DOWNLOAD_DIR/$DATETIME/\"\$0 }"

space bar로 구분된 field에서 4번째 원소 가져오기
cat 파일명 | awk {"print \$4}"