使用selenium实现web自动化抓取-以qq空间说说内容

# 分析网页源代码 

(相关资料图)

可知.txt-box.txt-big-size存放说说内容 .comments-content存放好友评论

# 使用的库

from selenium import webdriverimport timefrom selenium.webdriver.common.by import By

# 调用webdrive

options = webdriver.EdgeOptions()# options.add_argument('headless')  # options.add_argument('--headless')   # 取消可视化

browser = webdriver.Edge('msedgedriver', options=options)browser.maximize_window()

# 自动化登录qq空间

def get_response(qq_num):    try:        browser.get('https://user.qzone.qq.com/{}'.format(qq_num))        browser.switch_to.frame('login_frame')        browser.find_element(By.ID, value='switcher_plogin').click()        browser.find_element(By.ID, value='u').clear()        browser.find_element(By.ID, value='u').send_keys('qq')        browser.find_element(By.ID, value='p').clear()        browser.find_element(By.ID, value='p').send_keys(’password')        browser.find_element(By.ID, value='login_button').click()        time.sleep(5)

# 使用css选择器查找评论

contents = browser.find_elements(By.CSS_SELECTOR, value='.txt-box.txt-big-size')        comments = browser.find_elements(By.CSS_SELECTOR, value='.comments-content')        for content in contents:                print(content.text)        for comment in comments:            print(comment.text)        time.sleep(2)

except Exception as e:        print(e)

# 运行程序

if __name__ == '__main__':    get_response('qq')

# 同理分析url和源代码  也可以抓取好友空间信息 也可以保存二进制格式文件 如图片等。