【Python】保活で活用してみた

#必要なライブラリのインポート
import requests
from bs4 import BeautifulSoup
import urllib
import time
import pandas as pd

# webページを取得して解析する
load_url = "ここに解析したいURLを入れました"
html = requests.get(load_url)
soup = BeautifulSoup(html.text, "html.parser")

#取得したい要素の空リストを作成する
links = []
names = []
divisions = []
categories = []
places = []
tels = []

# 全部の区のclassで検索し、その中の全ての"a"タグを検索して表示する
# 施設名、リンクを絶対URLで表示する
for facilities in soup.find_all(class_="facilities"):
    for title in facilities.find_all("a"):
        names.append(title.string)
        links.append(urllib.parse.urljoin(load_url, title.get("href")))

# 地域, 分類, 所在地, 電話情報をtdタグ、class名より検索し、空リストに格納していく
    for division, category, place, tel in zip(facilities.find_all('td', class_="division"),
                                              facilities.find_all('td', class_="category"),
                                              facilities.find_all('td', class_="place"),
                                              facilities.find_all('td', class_="tel")):
        divisions.append(division.string)
        categories.append(category.string)
        places.append(place.string)
        tels.append(tel.string)

# DataFrameに保存
df = pd.DataFrame({"Name":names, "Division":divisions, "Category":categories, "Place":places, "Tel":tels, "Link":links})

# テーブルを指定
find_conditions = [
    {"class":"basicInfo wide"},
    {"class":"basicInfo narrow"},
    {"class":"detailedInfo"}
]

for ix, link_url in enumerate(df["Link"]):
    html = requests.get(link_url)
    soup = BeautifulSoup(html.text, "html.parser")

# 1回アクセスしたので1秒待つ
    time.sleep(1)

# テーブル内の要素を取得する
    for condition in find_conditions:
        table = soup.find("table", condition)
        try:
            for column, value in zip(table.find_all("th"), table.find_all("td")):
                if not column.text in df.columns:
                    df[column.text] = ''
                df.at[ix, column.text] = value.text
        except AttributeError:
                pass

#　整形する
for column in df.columns:
    df[column] = df[column].str.replace(" ", "")
    df[column] = df[column].str.replace("\t", "")
    df[column] = df[column].str.replace("\n", "")

# CSVファイルに出力する
df.to_csv("kindergartens.csv", encoding="utf-8-sig")