測試小結果
1. python regular expression 的參數中 re.Locale 跟 re.Unicode 有很大的不同，unicode 會讓 英文字跟中文字視為文字: \w ; 而 locale 會讓地區字，如中文，跟英文視為不同字, 此時的 \w 只單指英文字
re.L (locale)會讓 regular 在遇到中文時才會判斷 \b(即\w\W交換邊界)
re.U (unicode)會讓 regular 在遇到空白' '時才會判斷 \b(即\w\W交換邊界), 中英字都算 \w
請看例子
>>> re.findall(r'\b\d+\.?\d*\ {0,2}[份吋寸度瓶]{1,2}\b', " 2 瓶 w", re.U)
['2 瓶']
發現了嗎？空白' ' 跟中文字被視為邊界
>>> re.findall(r'\b\d+\.?\d*\ {0,2}[份吋寸度瓶]{1,2}\b', " 2 瓶 w", re.L)
[]
發現了嗎？空白' ' 跟中文字非邊界字
>>> re.findall(r'\b\d+\.?\d*\ {0,2}[份吋寸度瓶]{1,2}\b', "2 瓶w", re.U)
[]
在unicode 時英文＝中文
>>> re.findall(r'\b\d+\.?\d*\ {0,2}[份吋寸度瓶]{1,2}\b', "2 瓶w", re.L)
['2 瓶']
在locale 時英文 跟 中文 又變成不同國了
掌握這種小技巧，你就可以無往不利了
要寫出一個超強的 re 解析器也就不是什麼難事了
def get_product_regex():
regex = []
special_words = ['.*(?:多拉|哆啦)[Aa]夢',
'漢堡QQ糖', "M&M's", "\d{2}姨"
]
special_words = "|".join(special_words)
regex += [special_words]
# << 先用中文分開所有字串 >>
#regex += [r'\b[a-zA-Z]{1,2}\ *號[^\w\b']
regex += [r'[\d\.]+[合][\d\.]+']
regex += [r'[\d\.]+[倍元入種切枚包組箱粒支號盒公分升斤束片張重瓦尺年份吋寸度瓶]{1,2}']
regex += [r'[LMXSlmxs]{1,2}\ *[號]{1,2}']
regex += [r'[\u4e00-\ufaff /]+']
# 數字＋單位
regex += [r'\d+\.?\d*(?:[mM][lL]|[kK][gG]|[cC][mM]|[oO][zZ]|gm|g|[cC][cC]|%)']
#regex += ['[a-zA-Z\d\'\"\.\*\-&~]+']
# << 英文部分處理 >>
# 數字加一個 " 或 ' 結束 (avex note: 使用 re.Local 時 ' " 無法配合\b判斷, 故要獨立)
regex += [r'\d+\.?\d*[\"\'%/]']
# ex, 123 x 456
regex += [r'\d+\ *[\*xX]\ *\d+']
# 數字加一個以英文字母結束;
regex += [r'\d+\.?\d+\b']
regex += [r'\d+\.?\d*[A-Za-z]\b']
regex += [r'\d+\.?\d*[A-Za-z]+']
# 英文
regex += [r'[a-zA-Z]+\.[a-zA-Z]+\b']
# regex += [r'\b[a-zA-Z,\.\~]+\b']
# regex += [r'\b[a-zA-Z]+\b']
# 大寫英文
#regex += [r'(?<=[\d\.])[A-Z]+\b|[A-Z]+\b']
# 數字
regex += [r'\d+\"?\'?']
# 英文含數字
regex += [r'[a-zA-Z\d\-\+\'\ \"\.~/]+']
s_reg = "|".join(regex)
#print(s_reg)
#r = re.compile(s_reg, re.IGNORECASE)
r = re.compile(s_reg, re.L)
return r
測試字串：
>>>s = '0.5L佳珍密封罐 000060 4DC 12V車用電風扇5" 插式sp1627df uE-35、L號 R.F 12升貝納頌100%拿鐵3合1裝2.3kg咖啡2oz(22g*10)6入' >>> r.findall(s) ['0.5L', '佳珍密封罐 ', '000060', ' ', '4DC', ' ', '12V', '車用電風扇', '5"', ' 插式', 'sp1627df uE-35', 'L號', ' ', 'R.F', ' ', '12升', '貝納頌', '100%', '拿鐵', '3合1', '裝', '2.3kg', '咖啡', '2oz', '22g', '10', '6入']看吧，這麼複雜的字串都可以幫你分類的好好的，大數據就是要從基礎建設開始
python 支援的正規表示式(regular expression) function 比較
match： 依規則搜尋單一結果，搜尋一定是從頭(^)開始比對，即使用 re.MULTILINE
search： 依規則搜尋單一結果，搜尋不需要是從頭(^)開始比對，若要限制一定從頭比對可以加入 ^，例如 "^要找的規則"
findall: 用 search 去搜尋，並且給出多個結果
finditer: 同 findall, 但回傳資料同 match 有position資料，而非 findall 的 string
