校园春色亚洲色图_亚洲视频分类_中文字幕精品一区二区精品_麻豆一区区三区四区产品精品蜜桃

主頁 > 知識(shí)庫 > Python查詢oracle數(shù)據(jù)庫速度慢的解決方案

Python查詢oracle數(shù)據(jù)庫速度慢的解決方案

熱門標(biāo)簽:打印谷歌地圖標(biāo)注 電話機(jī)器人貸款詐騙 淮安呼叫中心外呼系統(tǒng)如何 廣東旅游地圖標(biāo)注 電話外呼系統(tǒng)招商代理 佛山通用400電話申請 蘇州人工外呼系統(tǒng)軟件 京華圖書館地圖標(biāo)注 看懂地圖標(biāo)注方法

如下所示:

conn = cx_Oracle.connect('username/password@ip:port/servername')
cur = conn.cursor()
cur.execute('SELECT * FROM "db"."table"')

cur是一個(gè)迭代器,不要用fetchall一次性取完數(shù)據(jù)

直接 for row in cur 即可取數(shù)據(jù)

使用:sqlalchemy

MySQL-Python
    mysql+mysqldb://user>:password>@host>[:port>]/dbname>
 
pymysql
    mysql+pymysql://username>:password>@host>/dbname>[?options>]
 
MySQL-Connector
    mysql+mysqlconnector://user>:password>@host>[:port>]/dbname>
 
cx_Oracle
    oracle+cx_oracle://user:pass@host:port/dbname[?key=valuekey=value...]
create_engine('oracle+cx_oracle://{a}:@{c}:mxltgaaarev/?service_name={e}'.format(a,b,c,d,e))
create_engine('mysql+pymysql://%(user)s:%(password)s@%(host)s/%(database)s?charset=utf8' % laoshifu_info)
 
df = pd.read_sql_table(table_name="table_name", con=engine)  
(the function to_sql is case-sensitive,F(xiàn)ound the root cause from DBMS (mysql) autoconvert the table name to lowercase.)
df = pd.read_sql_query(sql=sql,con=engine)  # 很慢
ordf = pd.read_sql("SELECT * FROM db.table ",engine,chunksize=50000)
dflist = []
for chunk in ordf:
    dflist.append(chunk)
df = pd.concat(dflist)

補(bǔ)充:Python3 Cx_oracle 的一些使用技巧

Cx_oracle的一些使用技巧

工作中的數(shù)據(jù)庫采用oracle。訪問oracle數(shù)據(jù)庫一般都采用cx_oracle包來完成,API很清晰,操作效率也比較高,而且oracle官方好像對cx_oracle也非常支持,提供了豐富的文檔。這里討論一些使用技巧,作為記錄,可能對你也有用。

我最近用python寫了一個(gè)小工具,這個(gè)工具根據(jù)客戶端的請求查詢數(shù)據(jù)庫,并將結(jié)果集以json的方式返回。請求的格式如下:

    {
        fields : [
            {name : "project_id", type : "string"},
            {name : "project_name", type : "string"}
        ],
        
        sql : "select t.project_id, t.project_name from dp_project t"
    }

即,客戶端描述自己想要的元數(shù)據(jù)信息(字段名稱,字段類型),以及SQL語句,服務(wù)器端根據(jù)此信息查詢數(shù)據(jù)庫,并將返回組織成客戶端在fields中描述的那樣。

cx_oracle默認(rèn)從cursor中fetch出來的數(shù)據(jù)是一個(gè)元組,按照SQL中的順序組織,但是我希望返回的是一個(gè)字典結(jié)構(gòu),這個(gè)可以通過設(shè)置cursor的rowfactory屬性來實(shí)現(xiàn),定義一個(gè)rowfactory的回調(diào)函數(shù):

    def makedict(self, cursor):
        cols = [d[0] for d in cursor.description]     
        def createrow(*args):
            return dict(zip(cols, args))     
        return createrow

這個(gè)函數(shù)返回一個(gè)函數(shù):createrow??赡苡悬c(diǎn)繞口,仔細(xì)想想就清晰了。cursor中帶有足夠的信息來生成這個(gè)字典,如cursor的description的值為:

   [
   ('PROJECT_ID', ;type 'cx_Oracle.STRING'>, 40, 40, 0, 0, 0), 
   ('PROJECT_NAME', ;type 'cx_Oracle.STRING'>, 50, 50, 0, 0, 1)
   ]

我們需要的是cursor.description的第一列,zip函數(shù)將cols和默認(rèn)的那個(gè)元組合成為一個(gè)新的元組,再用dict轉(zhuǎn)換為一個(gè)新的字典對象返回。

然后將這個(gè)返回函數(shù)的函數(shù)注冊給cursor的rowfactory即可:

 cursor.rowfactory = self.makedict(cursor)

這樣,我們使用cursor.fetchall/fetchone的時(shí)候,取出來的就成為一個(gè)字典對象,很方便將其序列化為json格式返回。

另一個(gè)技巧是關(guān)于將查詢到的結(jié)果中,字符串類型的字段轉(zhuǎn)換為unicode,數(shù)值類型的不做處理:

    def outtypehandler(self, cursor, name, dtype, size, p, s):
        if dtype in (oracle.STRING, oracle.FIXED_CHAR):
            return cursor.var(unicode, size, cursor.arraysize)

將connection對象的outputtypehandler注冊為此函數(shù)即可:

   connection = oracle.connect(self.constr)
   connection.outputtypehandler = self.outtypehandler

通用查詢的這個(gè)小工具還在開發(fā)中,等完成了再整理一下。

以上為個(gè)人經(jīng)驗(yàn),希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教。

您可能感興趣的文章:
  • zabbix agent2 監(jiān)控oracle數(shù)據(jù)庫的方法
  • ORACLE數(shù)據(jù)庫對long類型字段進(jìn)行模糊匹配的解決思路
  • 配置python連接oracle讀取excel數(shù)據(jù)寫入數(shù)據(jù)庫的操作流程
  • SpringBoot多數(shù)據(jù)庫連接(mysql+oracle)的實(shí)現(xiàn)
  • 使用zabbix監(jiān)控oracle數(shù)據(jù)庫的方法詳解
  • Oracle數(shù)據(jù)庫下載與安裝的完整步驟
  • QT連接Oracle數(shù)據(jù)庫并實(shí)現(xiàn)登錄驗(yàn)證的操作步驟
  • oracle取數(shù)據(jù)庫中最新的一條數(shù)據(jù)可能會(huì)遇到的bug(兩種情況)
  • 使用IDEA對Oracle數(shù)據(jù)庫進(jìn)行簡單增刪改查操作
  • Oracle數(shù)據(jù)庫scott用戶創(chuàng)建view視圖權(quán)限的操作方法
  • ORACLE數(shù)據(jù)庫應(yīng)用開發(fā)的三十個(gè)注意事項(xiàng)

標(biāo)簽:駐馬店 呼和浩特 股票 江蘇 湖州 畢節(jié) 衡水 中山

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《Python查詢oracle數(shù)據(jù)庫速度慢的解決方案》,本文關(guān)鍵詞  Python,查詢,oracle,數(shù)據(jù)庫,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請?zhí)峁┫嚓P(guān)信息告之我們,我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《Python查詢oracle數(shù)據(jù)庫速度慢的解決方案》相關(guān)的同類信息!
  • 本頁收集關(guān)于Python查詢oracle數(shù)據(jù)庫速度慢的解決方案的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章
    主站蜘蛛池模板: 南昌县| 丰都县| 融水| 莆田市| 九龙城区| 太谷县| 滁州市| 赞皇县| 平原县| 武冈市| 丰城市| 新津县| 黑河市| 龙胜| 常宁市| 福贡县| 浦江县| 广河县| 兴海县| 安塞县| 金湖县| 宜春市| 黑河市| 益阳市| 桃园县| 五常市| 肥乡县| 轮台县| 隆子县| 仁布县| 噶尔县| 双柏县| 农安县| 淮北市| 石屏县| 枞阳县| 清水河县| 根河市| 芮城县| 铜山县| 汪清县|