基于強(qiáng)化學(xué)習(xí)的含電動(dòng)汽車(chē)虛擬電廠優(yōu)化調(diào)度與應(yīng)用

安科瑞 宣依依

摘要:大量電動(dòng)汽車(chē)(EV)用戶的無(wú)序充電可能造成電網(wǎng)負(fù)荷劇烈波動(dòng),危及電網(wǎng)的安全穩(wěn)定。隨著EV入網(wǎng)(V2C)技術(shù)的應(yīng)用,將EV充電站及其周邊的分布式新能源發(fā)電聚合為虛擬電廠(VPP)后進(jìn)行優(yōu)化調(diào)度,有助于改善EV用戶充放電的經(jīng)濟(jì)性及滿意度,同時(shí)提高分布式新能源的利用率,平抑電網(wǎng)負(fù)荷波動(dòng),但EV充電站的整體充放電負(fù)荷是大量個(gè)體EV用戶隨機(jī)行為的聚合,難以用數(shù)學(xué)模型精確描述。針對(duì)包含EV的VPP,提出一種基于深度強(qiáng)化學(xué)習(xí)的交互式調(diào)度框架,以VPP內(nèi)EV用戶的總效益。VPP控制中心作為智能體決策EV個(gè)體的充放電動(dòng)作,無(wú)需掌握個(gè)體詳細(xì)模型,而是通過(guò)與區(qū)域電網(wǎng)環(huán)境的交互,不斷學(xué)習(xí)和更新動(dòng)作策略,從而克服集中式優(yōu)化方法的局限性。該優(yōu)化調(diào)度框架采用深度確定性策略梯度(DDPG)算法進(jìn)行求解。仿真結(jié)果表明,與集中式優(yōu)化方法相比,該優(yōu)化算法提高了各EV用戶的效益,并使EV充放電負(fù)荷與分布式新能源發(fā)電協(xié)調(diào)配合實(shí)現(xiàn)削峰填谷，改善了VPP的整體運(yùn)行性能。

關(guān)鍵詞:虛擬電廠;電動(dòng)汽車(chē);V2G;分布式新能源;深度確定性策略梯度算法;優(yōu)化調(diào)度;強(qiáng)化學(xué)習(xí)

一、引言

大量電動(dòng)汽車(chē)(Electric Vehicle,EV)的無(wú)序充電不僅會(huì)影響電網(wǎng)的安全穩(wěn)定運(yùn)行,而且會(huì)給用戶造成經(jīng)濟(jì)損失。事實(shí)上,EV充電負(fù)荷不僅具有較大的調(diào)節(jié)彈性,而且可以基于E人網(wǎng)(Vehicle toGrid,V2G)技術(shù)實(shí)現(xiàn)發(fā)電和用電側(cè)的角色轉(zhuǎn)換,具備很大的優(yōu)化調(diào)度潛力。通過(guò)搭建虛擬電廠(Virtual Power Plant,VPP)整合區(qū)域配電網(wǎng)中的EV充放電負(fù)荷及分布式新能源發(fā)電資源,合理引導(dǎo)EV用戶的充放電行為,不但可以降低EV車(chē)主的充電費(fèi)用,提高充電需求滿足程度,同時(shí)可使EV充放電負(fù)荷與分布式新能源發(fā)電協(xié)調(diào)配合,提高新能源利用率,平抑 VPP整體負(fù)荷的波動(dòng)。VPP是電力系統(tǒng)中智能配電網(wǎng)運(yùn)行的重要技術(shù),通過(guò)創(chuàng)建一個(gè) VPP控制中心,可以將配電網(wǎng)中的EV充放電負(fù)荷與分布式新能源聚合為一個(gè)整體參與電網(wǎng)運(yùn)行,更好地發(fā)掘EV充放電負(fù)荷與分布式新能源的價(jià)值和效益。

然而,在上述包含EV充放電負(fù)荷及分布式新能源的VPP中,EV充電站的總負(fù)荷特性是大量個(gè)體EV用戶隨機(jī)充放電行為的聚合,難以對(duì)其進(jìn)行精確的數(shù)學(xué)建模和準(zhǔn)確預(yù)測(cè),這給傳統(tǒng)的基于負(fù)荷預(yù)測(cè)進(jìn)行優(yōu)化計(jì)算的集中式調(diào)度模式帶來(lái)了挑戰(zhàn)。解決這一難點(diǎn)的一種有效途徑是采用基于強(qiáng)化學(xué)習(xí)(Reinforcement Leaming,RL)方法的交互式優(yōu)化調(diào)度模式。該模式中,VPP控制中心作為智能體,包含EV個(gè)體用戶及分布式新能源的區(qū)域電網(wǎng)為智能體所在的環(huán)境。VPP控制中心在不掌握EV個(gè)體用戶詳細(xì)模型的情況下給出EV個(gè)體的充放電動(dòng)作決策,并通過(guò)與區(qū)域電網(wǎng)的交互評(píng)估當(dāng)前決策的性能,不斷學(xué)習(xí)和更新動(dòng)作策略,直至得到令人滿意的優(yōu)化決策?；谥悄荏w與環(huán)境之間信息交互的RL方法可以在缺乏精確數(shù)學(xué)模型的情況下模擬順序決策問(wèn)題并獲得對(duì)環(huán)境的精準(zhǔn)響應(yīng)。這種基于R的交互式調(diào)度模式克服了傳統(tǒng)集中式調(diào)度的局限性,有望在 VPP 優(yōu)化調(diào)度中得到應(yīng)用。

二、含 EV的 VPP 優(yōu)化調(diào)度模型

考慮一個(gè)VPP,其中包含EV充電站及分布式新能源發(fā)電2類(lèi)對(duì)象。對(duì)該VPP在T=24h范圍內(nèi)進(jìn)行優(yōu)化調(diào)度,時(shí)間段表示為t={1,2,…,T},決策間隔Δt=1 h。

假設(shè) VPP中充電站內(nèi)有足夠多的充電樁,在T時(shí)間范圍內(nèi)共有I輛EV隨機(jī)進(jìn)入充電站,每輛EV進(jìn)站后即連接到充電樁變?yōu)樯暇€狀態(tài);當(dāng)EV的電池荷電狀態(tài)(State of Charge,S0C)達(dá)到充電上限后即自動(dòng)斷開(kāi)充電樁連接,變?yōu)殡x線狀態(tài)。第i輛E在充電站內(nèi)的在線時(shí)段表示為集合Tion={tion,…,tiout},其中tion和tiout分別為上線和離線時(shí)間。VPP控制中心作為智能體,在Tion時(shí)段內(nèi)可以通過(guò)對(duì)充電樁的智能控制,決策第i輛EV的充放電功率，而在其他時(shí)段該EV不進(jìn)行任何充放電行為。

VPP中的分布式新能源發(fā)電資源由若干分布式風(fēng)機(jī)單元和分布式光伏板單元組成,VPP控制中心在分布式發(fā)電資源的可發(fā)電功率范圍內(nèi)決策其實(shí)際出力。

三、基于RL的VPP優(yōu)化調(diào)度方法

傳統(tǒng)的集中調(diào)度模式難以對(duì)EV個(gè)體用戶充放電負(fù)荷做出精確預(yù)測(cè),因此,本節(jié)基于方法,提出一種交互式的 VPP優(yōu)化調(diào)度框架。VPP控制中心作為一個(gè)智能體,不需要事先掌握EV個(gè)體用戶及分布式新能源的精確模型及負(fù)荷預(yù)測(cè),而是通過(guò)充電樁與EV個(gè)體用戶交互,即下發(fā)充放電動(dòng)作和獲取用戶獎(jiǎng)勵(lì)值,經(jīng)R逐步得到令人滿意的調(diào)度策略。

RL是一個(gè)包含(S,A,P,R,γ)5個(gè)元素的馬爾可夫決策過(guò)程,其中:S為智能體的狀態(tài)空間;A為智能體的動(dòng)作空間;P為狀態(tài)轉(zhuǎn)移概率;R為獎(jiǎng)勵(lì)函數(shù);γ為折扣因子。本文建立的 VPP優(yōu)化調(diào)度模型可描述為圖1所示的 RL框架,其中VPP控制中心為智能體(Agent),VPP區(qū)域電網(wǎng)為環(huán)境(Environment),包括狀態(tài)(State)、動(dòng)作(Action)和獎(jiǎng)勵(lì)(Reward)三大要素。

圖1 用于VPP優(yōu)化調(diào)度的RL框架

四、解決方案

圖2 平臺(tái)結(jié)構(gòu)圖

充電運(yùn)營(yíng)管理平臺(tái)是基于物聯(lián)網(wǎng)和大數(shù)據(jù)技術(shù)的充電設(shè)施管理系統(tǒng)，可以實(shí)現(xiàn)對(duì)充電樁的監(jiān)控、調(diào)度和管理，提高充電樁的利用率和充電效率，提升用戶的充電體驗(yàn)和服務(wù)質(zhì)量。用戶可以通過(guò)APP或小程序提前預(yù)約充電，避免在充電站排隊(duì)等待的情況，同時(shí)也能為充電站提供更準(zhǔn)確的充電需求數(shù)據(jù)，方便后續(xù)的調(diào)度和管理。通過(guò)平臺(tái)可對(duì)充電樁的功率、電壓、電流等參數(shù)進(jìn)行實(shí)時(shí)監(jiān)控，及時(shí)發(fā)現(xiàn)和處理充電樁故障和異常情況對(duì)充電樁的功率進(jìn)行控制和管理，確保充電樁在合理的功率范圍內(nèi)充電，避免對(duì)電網(wǎng)造成過(guò)大的負(fù)荷。

五、安科瑞充電樁云平臺(tái)具體的功能

平臺(tái)除了對(duì)充電樁的監(jiān)控外，還對(duì)充電站的光伏發(fā)電系統(tǒng)、儲(chǔ)能系統(tǒng)以及供電系統(tǒng)進(jìn)行集中監(jiān)控和統(tǒng)一協(xié)調(diào)管理，提高充電站的運(yùn)行可靠性，降低運(yùn)營(yíng)成本，平臺(tái)系統(tǒng)架構(gòu)如圖3所示。

圖3 充電樁運(yùn)營(yíng)管理平臺(tái)系統(tǒng)架構(gòu)

大屏顯示：展示充電站設(shè)備統(tǒng)計(jì)、使用率排行、運(yùn)營(yíng)統(tǒng)計(jì)圖表、節(jié)碳量統(tǒng)計(jì)等數(shù)據(jù)。

圖4 大屏展示界面

站點(diǎn)監(jiān)控：顯示設(shè)備實(shí)時(shí)狀態(tài)、設(shè)備列表、設(shè)備日志、設(shè)備狀態(tài)統(tǒng)計(jì)等功能。

圖5 站點(diǎn)監(jiān)控界面

設(shè)備監(jiān)控：顯示設(shè)備實(shí)時(shí)信息、配套設(shè)備狀態(tài)、設(shè)備實(shí)時(shí)曲線、關(guān)聯(lián)訂單信息、充電功率曲線等。

圖6 設(shè)備監(jiān)控界面

運(yùn)營(yíng)趨勢(shì)統(tǒng)計(jì)：顯示運(yùn)營(yíng)信息查詢、站點(diǎn)對(duì)比曲線、日月年報(bào)表、站點(diǎn)對(duì)比列表等功能。

圖7 運(yùn)營(yíng)趨勢(shì)界面

收益查詢：提供收益匯總、實(shí)際收益報(bào)表、收益變化曲線、支付方式占比等功能。

圖8 收益查詢界面

故障分析：提供故障匯總、故障狀態(tài)餅圖、故障趨勢(shì)分析、故障類(lèi)型餅圖等功能。

圖9 故障分析界面

訂單記錄：提供實(shí)時(shí)/歷史訂單查詢、訂單終止、訂單詳情、訂單導(dǎo)出、運(yùn)營(yíng)商應(yīng)收信息、充電明細(xì)、交易流水查詢、充值余額明細(xì)等功能。

六、產(chǎn)品選型

 安科瑞為廣大用戶提供慢充和快充兩種充電方式，便攜式、壁掛式、落地式等多種類(lèi)型的充電樁，包含智能7kw/21kw交流充電樁，30kw直流充電樁，60kw/80kw/120kw/180kw直流一體式充電樁來(lái)滿足新能源汽車(chē)行業(yè)快速、經(jīng)濟(jì)、智能運(yùn)營(yíng)管理的市場(chǎng)需求。實(shí)現(xiàn)對(duì)動(dòng)力電池快速、高效、安全、合理的電量補(bǔ)給，同時(shí)為提高公共充電樁的效率和實(shí)用性，具有有智能監(jiān)測(cè)：充電樁智能控制器對(duì)充電樁具備測(cè)量、控制與保護(hù)的功能；智能計(jì)量：輸出配置智能電能表，進(jìn)行充電計(jì)量，具備完善的通信功能；云平臺(tái)：具備連接云平臺(tái)的功能，可以實(shí)現(xiàn)實(shí)時(shí)監(jiān)控，財(cái)務(wù)報(bào)表分析等等；遠(yuǎn)程升級(jí)：具備完善的通訊功能，可遠(yuǎn)程對(duì)設(shè)備軟件進(jìn)行升級(jí)；保護(hù)功能：具備防雷保護(hù)、過(guò)載保護(hù)、短路保護(hù)，漏電保護(hù)和接地保護(hù)等功能；適配車(chē)型：滿足國(guó)標(biāo)充電接口，適配所有符合國(guó)標(biāo)的電動(dòng)汽車(chē)，適應(yīng)不同車(chē)型的不同功率。下面是具體產(chǎn)品的型號(hào)和技術(shù)參數(shù)。

七、現(xiàn)場(chǎng)圖片

八、結(jié)論

本文基于R框架,研究了含EV充放電負(fù)荷與分布式新能源發(fā)電的 VPP優(yōu)化調(diào)度問(wèn)題,以VPP 運(yùn)行總效益為目標(biāo)。針對(duì)上述VPP,提出了基于R的交互式調(diào)度框架。交互式調(diào)度幫助EV用戶實(shí)現(xiàn)了較低的充電費(fèi)用和較高的充電滿意度。后續(xù)會(huì)對(duì)電價(jià)動(dòng)態(tài)變化機(jī)制下含EV充放電負(fù)荷的 VPP優(yōu)化調(diào)度問(wèn)題進(jìn)行研究,將在 VPP 中加入儲(chǔ)能單元,與EV充放電負(fù)荷和分布式新能源發(fā)電配合,進(jìn)一步改善 VPP運(yùn)行性能。