import requests, bs4
import re

#def get_mbox(url):

#年月のリンク一覧があるページのURL
res = requests.get('http://mail-archives.apache.org/mod_mbox/httpd-dev/201604.mbox/date')
res.raise_for_status()
soup = bs4.BeautifulSoup(res.text, "html.parser")
elems1 = soup.select('#msglist td a')

#年月のリンク一覧があるページから取得したい年月を取得
elems2 = soup.select('#msglist th a')
elem2 = elems2[1].get('href')
elem2 = re.match("/mod_mbox/httpd-dev/[0-9]{6}.mbox/", elem2)


for elem1 in elems1:
    elem1 = elem1.get('href')
    
    #メールの概要・本文があるページのurl
    elem1 = 'http://mail-archives.apache.org' + elem2[0] + elem1
    
    res2 = requests.get(elem1)
    res2.raise_for_status()
    soup2 = bs4.BeautifulSoup(res2.text, "html.parser")
    elems3 = soup2.select('td a')
    
    #メールのMbox形式のデータがあるページのurl
    elem3 = 'http://mail-archives.apache.org' + elems3[-1].get('href')
    
    res3 = requests.get(elem3)
    res3.raise_for_status()
    soup3 = bs4.BeautifulSoup(res3.text, "html.parser")
    print(soup3)
    print('\n')