黄色网页视频 I 影音先锋日日狠狠久久 I 秋霞午夜毛片 I 秋霞一二三区 I 国产成人片无码视频 I 国产 精品 自在自线 I av免费观看网站 I 日本精品久久久久中文字幕5 I 91看视频 I 看全色黄大色黄女片18 I 精品不卡一区 I 亚洲最新精品 I 欧美 激情 在线 I 人妻少妇精品久久 I 国产99视频精品免费专区 I 欧美影院 I 欧美精品在欧美一区二区少妇 I av大片网站 I 国产精品黄色片 I 888久久 I 狠狠干最新 I 看看黄色一级片 I 黄色精品久久 I 三级av在线 I 69色综合 I 国产日韩欧美91 I 亚洲精品偷拍 I 激情小说亚洲图片 I 久久国产视频精品 I 国产综合精品一区二区三区 I 色婷婷国产 I 最新成人av在线 I 国产私拍精品 I 日韩成人影音 I 日日夜夜天天综合

python爬蟲存進數據庫

系統 2022 0
            
              
                import
              
               os
              
                ,
              
              sys

              
                import
              
               requests

              
                import
              
               bs4

              
                import
              
               pymysql

              
                #import MySQLdb
              
              
                #連接MYSQL數據庫  ,第一個參數是ip地址/數據庫的用戶名/密碼/數據庫名稱/端口/編碼格式
              
              
db 
              
                =
              
               pymysql
              
                .
              
              connect
              
                (
              
              host
              
                =
              
              
                '127.0.0.1'
              
              
                ,
              
              user
              
                =
              
              
                'root'
              
              
                ,
              
              password
              
                =
              
              
                'mysql'
              
              
                ,
              
              db
              
                =
              
              
                'test'
              
              
                ,
              
              port
              
                =
              
              
                3306
              
              
                ,
              
              charset
              
                =
              
              
                'utf8'
              
              
                )
              
              
                #db = MySQLdb.connect('127.0.0.1','root','mysql','test',coon.set_character_set('utf8'))
              
              
                print
              
              
                (
              
              
                '連接數據庫成功!'
              
              
                )
              
              
conn 
              
                =
              
               db
              
                .
              
              cursor
              
                (
              
              
                )
              
              
                #cursor是游標對象,獲取指針以操作數據庫
              
              
conn
              
                .
              
              execute
              
                (
              
              
                'set names utf8'
              
              
                )
              
              
                #-------------------------------------------------------------------------------------
              
              
html 
              
                =
              
              
                'https://www.dongmanmanhua.cn/dailySchedule?weekday=MONDAY'
              
              
result 
              
                =
              
               requests
              
                .
              
              get
              
                (
              
              html
              
                )
              
              
texts 
              
                =
              
               result
              
                .
              
              text

data 
              
                =
              
               bs4
              
                .
              
              BeautifulSoup
              
                (
              
              texts
              
                ,
              
              
                'html.parser'
              
              
                )
              
              
                ;
              
              
lidata 
              
                =
              
               data
              
                .
              
              select
              
                (
              
              
                'div#dailyList ul.daily_card li'
              
              
                )
              
              
                #print(lidata)
              
              
arr 
              
                =
              
              
                {
              
              
                }
              
              
                for
              
               x 
              
                in
              
               lidata
              
                :
              
              
    did 
              
                =
              
               x
              
                .
              
              get
              
                (
              
              
                'data-title-no'
              
              
                )
              
              
                print
              
              
                (
              
              did
              
                )
              
              
    name 
              
                =
              
               x
              
                .
              
              select
              
                (
              
              
                'p.subj'
              
              
                )
              
              
    name1 
              
                =
              
               name
              
                [
              
              
                0
              
              
                ]
              
              
                .
              
              get_text
              
                (
              
              
                )
              
              
    url 
              
                =
              
               x
              
                .
              
              a
              
                .
              
              get
              
                (
              
              
                'href'
              
              
                )
              
              
                #print(url)
              
              
    story 
              
                =
              
               x
              
                .
              
              a
              
                .
              
              p
    story1 
              
                =
              
               story
              
                .
              
              string
    user 
              
                =
              
               x
              
                .
              
              select
              
                (
              
              
                'p.author'
              
              
                )
              
              
    user1 
              
                =
              
               user
              
                [
              
              
                0
              
              
                ]
              
              
                .
              
              get_text
              
                (
              
              
                )
              
              
    like 
              
                =
              
               x
              
                .
              
              select
              
                (
              
              
                'em.grade_num'
              
              
                )
              
              
    like1 
              
                =
              
               like
              
                [
              
              
                0
              
              
                ]
              
              
                .
              
              get_text
              
                (
              
              
                )
              
              
                #-----------------------------------------------------------------------------------------------
              
              
                #寫入MYSQL數據庫
              
              
    t 
              
                =
              
              
                [
              
              did
              
                ,
              
              name1
              
                ,
              
              url
              
                ,
              
              story1
              
                ,
              
              user1
              
                ,
              
              like1
              
                ]
              
              
    sql 
              
                =
              
               u
              
                "INSERT INTO dongman(did,name,url,story,user,likes) VALUES(%s,%s,%s,%s,%s,%s)"
              
              
    conn
              
                .
              
              execute
              
                (
              
              sql
              
                ,
              
              t
              
                )
              
              
                #    t1 = (did,name1,url,story1,user1,like1)
              
              
                #    sql1 = u'''insert into dongman(did,name,url,story,user,likes) values (%d,'%s','%s','%s','%s','%s')''' % t1
              
              
                #    conn.execute(sql1)
              
              
    db
              
                .
              
              commit
              
                (
              
              
                )
              
              
                #提交操作
              
              
                print
              
              
                (
              
              
                '插入數據成功!'
              
              
                )
              
              
                #關閉MySQL連接
              
              
conn
              
                .
              
              close
              
                (
              
              
                )
              
              
db
              
                .
              
              close
              
                (
              
              
                )
              
            
          

更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論