正则表达式
正则表达式
Regular Expression，正则表达式，一种使用表达式的⽅式对字符串进行匹配的语法规则。
我们抓取到的⽹⻚源代码本质上就是一个超长的字符串，想从⾥⾯提取内容，⽤正则再合适不过了。
正则的优点：速度快，效率高，准确性高。
正则的缺点：新手上手难度有点儿高。不过只要掌握了正则编写的逻辑关系，写出⼀个提取页面内容的正则其实并不复杂。
正则的语法：使⽤元字符进⾏排列组合⽤来匹配字符串
引用站外地址
OSCHINA
在线测试正则表达式。
元字符
具有固定含义的特殊符号 常用元字符:
.匹配除换⾏符以外的任意字符\w匹配字⺟或数字或下划线\s匹配任意的空⽩符\d匹配数字\n匹配⼀个换⾏符\t匹配⼀个制表符^匹配字符串的开始$匹配字符串的结尾\W匹配⾮字⺟或数字或下划线\D匹配⾮数字\S匹配⾮空⽩符a|b匹配字符 a 或字符 b()匹配括号内的表达式，也表示⼀个组[...]匹配字符组中的字符[^...]匹配除了字符组中字符的所有字符
量词
控制前⾯的元字符出现的次数
*重复零次或更多次+重复⼀次或更多次?重复零次或⼀次{n}重复 n 次{n,}重复 n 次或更多次{n,m}重复 n 到 m 次
前瞻后顾
?=前瞻?!负前瞻?<=后顾?<!负后顾
案例
1 | 检测字符串必须包含大写字符、小写字符和数字,长度在6-10位 |
贪婪匹配、惰性匹配
这两个要着重的说⼀下. 因为我们写爬⾍⽤的最多的就是这个惰性匹配.
.*贪婪匹配.*?惰性匹配
案例
1 | str: 玩⼉吃鸡游戏, 晚上⼀起上游戏, ⼲嘛呢?打游戏啊 |
所以我们能发现这样⼀个规律: .? 表示尽可能少的匹配*, .*表示尽可能多的匹配。
常用的正则表达式
校验数字的表达式
- 匹配括号中的字符,不包括括号：
(?<=\()\S+(?=\)) - 数字：
^[0-9]*$ - n 位的数字：
^\d{n}$ - 至少 n 位的数字：
^\d{n,}$ - m-n 位的数字：
^\d{m,n}$ - 零和非零开头的数字：
^(0|[1-9][0-9]*)$ - 非零开头的最多带两位小数的数字：
^([1-9][0-9]*)+(.[0-9]{1,2})?$ - 带 1-2 位小数的正数或负数：
^(\-)?\d+(\.\d{1,2})?$ - 正数、负数、和小数：
^(\-|\+)?\d+(\.\d+)?$ - 有两位小数的正实数：
^[0-9]+(.[0-9]{2})?$ - 有 1~3 位小数的正实数：
^[0-9]+(.[0-9]{1,3})?$ - 非零的正整数：
^[1-9]\d*$或^([1-9][0-9]*){1,3}$或^\+?[1-9][0-9]*$ - 非零的负整数：
^\-[1-9][]0-9"*$或^-[1-9]\d*$ - 非负整数：
^\d+$或^[1-9]\d*|0$ - 非正整数：
^-[1-9]\d*|0$或^((-\d+)|(0+))$ - 非负浮点数：
^\d+(\.\d+)?$或^[1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0$ - 非正浮点数：
^((-\d+(\.\d+)?)|(0+(\.0+)?))$或^(-([1-9]\d*\.\d*|0\.\d*[1-9]\d*))|0?\.0+|0$ - 正浮点数：
^[1-9]\d*\.\d*|0\.\d*[1-9]\d*$或^(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*))$ - 负浮点数：
^-([1-9]\d*\.\d*|0\.\d*[1-9]\d*)$或^(-(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*)))$ - 浮点数：
^(-?\d+)(\.\d+)?$或^-?([1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0)$
校验字符的表达式
- 汉字：
^[\u4e00-\u9fa5]{0,}$ - 英文和数字：
^[A-Za-z0-9]+$或^[A-Za-z0-9]{4,40}$ - 长度为 3-20 的所有字符：
^.{3,20}$ - 由 26 个英文字母组成的字符串：
^[A-Za-z]+$ - 由 26 个大写英文字母组成的字符串：
^[A-Z]+$ - 由 26 个小写英文字母组成的字符串：
^[a-z]+$ - 由数字和 26 个英文字母组成的字符串：
^[A-Za-z0-9]+$ - 由数字、26 个英文字母或者下划线组成的字符串：
^\w+$或^\w{3,20}$ - 中文、英文、数字包括下划线：
^[\u4E00-\u9FA5A-Za-z0-9_]+$ - 中文、英文、数字但不包括下划线等符号：
^[\u4E00-\u9FA5A-Za-z0-9]+$或^[\u4E00-\u9FA5A-Za-z0-9]{2,20}$ - 可以输入含有^%&’,;=?$"等字符：
[^%&',;=?$\x22]+ - 禁止输入含有
的字符：`[^\x22]`
特殊需求表达式
- Email 地址：
^\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*$ - 域名：
[a-zA-Z0-9][-a-zA-Z0-9]{0,62}(/.[a-zA-Z0-9][-a-zA-Z0-9]{0,62})+/.? - Internet URL：
[a-zA-z]+://[^\s]*或^http://([\w-]+\.)+[\w-]+(/[\w-./?%&=]*)?$ - 手机号码：
^(13[0-9]|14[5|7]|15[0|1|2|3|5|6|7|8|9]|18[0|1|2|3|5|6|7|8|9])\d{8}$ - 电话号码(“XXX-XXXXXXX”、”XXXX-XXXXXXXX”、”XXX-XXXXXXX”、”XXX-XXXXXXXX”、”XXXXXXX”和”XXXXXXXX)：
^(\(\d{3,4}-)|\d{3.4}-)?\d{7,8}$ - 国内电话号码(0511-4405222、021-87888822)：
\d{3}-\d{8}|\d{4}-\d{7} - 身份证号(15 位、18 位数字)：
^\d{15}|\d{18}$ - 短身份证号码(数字、字母 x 结尾)：
^([0-9]){7,18}(x|X)?$或^\d{8,18}|[0-9x]{8,18}|[0-9X]{8,18}?$ - 帐号是否合法(字母开头，允许 5-16 字节，允许字母数字下划线)：
^[a-zA-Z][a-zA-Z0-9_]{4,15}$ - 密码(以字母开头，长度在 6~18 之间，只能包含字母、数字和下划线)：
^[a-zA-Z]\w{5,17}$ - 强密码(必须包含大小写字母和数字的组合，不能使用特殊字符，长度在 8-10 之间)：
^(?=.*\d)(?=.*[a-z])(?=.*[A-Z]).{8,10}$ - 日期格式：
^\d{4}-\d{1,2}-\d{1,2} - 一年的 12 个月(01 ～ 09 和 1 ～ 12)：
^(0?[1-9]|1[0-2])$ - 一个月的 31 天(01 ～ 09 和 1 ～ 31)：
^((0?[1-9])|((1|2)[0-9])|30|31)$ - xml 文件：
^([a-zA-Z]+-?)+[a-zA-Z0-9]+\\.[x|X][m|M][l|L]$ - 中文字符的正则表达式：
[\u4e00-\u9fa5] - 双字节字符：
[^\x00-\xff](包括汉字在内，可以用来计算字符串的长度(一个双字节字符长度计 2，ASCII 字符计 1)) - 空白行的正则表达式：
\n\s*\r(可以用来删除空白行) - HTML 标记的正则表达式：
<(\S*?)[^>]*>.*?</\1>|<.*? />(网上流传的版本太糟糕，上面这个也仅仅能部分，对于复杂的嵌套标记依旧无能为力) - 首尾空白字符的正则表达式：
^\s*|\s*$或(^\s*)|(\s*$)(可以用来删除行首行尾的空白字符(包括空格、制表符、换页符等等)，非常有用的表达式) - 腾讯 QQ 号：
[1-9][0-9]{4,}(腾讯 QQ 号从 10000 开始) - 中国邮政编码：
[1-9]\d{5}(?!\d)(中国邮政编码为 6 位数字) - IP 地址：
\d+\.\d+\.\d+\.\d+(提取 IP 地址时有用)
钱的输入格式
- 有四种钱的表示形式我们可以接受:”10000.00” 和 “10,000.00”, 和没有 “分” 的 “10000” 和 “10,000”：
^[1-9][0-9]*$ - 这表示任意一个不以 0 开头的数字,但是,这也意味着一个字符”0”不通过,所以我们采用下面的形式：
^(0|[1-9][0-9]*)$ - 一个 0 或者一个不以 0 开头的数字.我们还可以允许开头有一个负号：
^(0|-?[1-9][0-9]*)$ - 这表示一个 0 或者一个可能为负的开头不为 0 的数字.让用户以 0 开头好了.把负号的也去掉,因为钱总不能是负的吧.下面我们要加的是说明可能的小数部分：
^[0-9]+(.[0-9]+)?$ - 必须说明的是,小数点后面至少应该有 1 位数,所以”10.”是不通过的,但是 “10” 和 “10.2” 是通过的：
^[0-9]+(.[0-9]{2})?$ - 这样我们规定小数点后面必须有两位,如果你认为太苛刻了,可以这样：
^[0-9]+(.[0-9]{1,2})?$ - 这样就允许用户只写一位小数.下面我们该考虑数字中的逗号了,我们可以这样：
^[0-9]{1,3}(,[0-9]{3})*(.[0-9]{1,2})?$ - 1 到 3 个数字,后面跟着任意个 逗号+3 个数字,逗号成为可选,而不是必须：
^([0-9]+|[0-9]{1,3}(,[0-9]{3})*)(.[0-9]{1,2})?$
备注：这就是最终结果了,别忘了”+”可以用”*“替代如果你觉得空字符串也可以接受的话(奇怪,为什么?)最后,别忘了在用函数时去掉去掉那个反斜杠,一般的错误都在这里
