中國儲能網(wǎng)訊：3月23日，由中國化學與物理電源行業(yè)協(xié)會主辦并聯(lián)合500余家機構(gòu)共同支持的第十五屆儲能大會暨展覽會（簡稱“CIES2025”）在杭州國際博覽中心召開。
CIES大會以以“綠色、數(shù)智、融合、創(chuàng)新”為主題，針對儲能產(chǎn)業(yè)面臨的機遇與挑戰(zhàn)等重點、熱點、難點問題展開充分探討，分享可持續(xù)發(fā)展政策機制、資本市場、國際市場、成本疏導、智能化系統(tǒng)集成技術(shù)、供應鏈體系、商業(yè)模式、技術(shù)標準、示范項目應用案例、新產(chǎn)品以及解決方案的普及和規(guī)?；こ虘?。
在3月23日下午進行的工業(yè)綠色微電網(wǎng)專場中，浙江大學電氣工程學院第一類“百人計劃”研究員章謙之做了題為《適用于配電網(wǎng)和微電網(wǎng)的基于數(shù)據(jù)輔助的優(yōu)化方法和數(shù)據(jù)驅(qū)動的強化學習方法》的主題報告演講。
以下內(nèi)容根據(jù)大會發(fā)言整理提煉，僅供參考。
各位專家、各位老師好！我叫章謙之，因為我是去年剛剛從美國回到浙大，我先自我介紹一下。我之前是在美國愛荷華州立大學拿了博士，之后在康奈爾大學做了博士后，在阿拉巴馬大學做助理教授，去年以海外優(yōu)青身份回到浙大。
我的研究方向主要是基于多智能體安全強化學習的新型電力系統(tǒng)計算架構(gòu)與計算方法在電力系統(tǒng)，主要是人工智能在電力系統(tǒng)里的一些應用；新能源高滲透率下微電網(wǎng)群和主動配電網(wǎng)的電壓控制及能源管理方法；面向極端事件的新型電力系統(tǒng)彈性提升方法。
我今天講的主要是我之前的一些研究，比如大家要說到人工智能，人工智能跟數(shù)據(jù)相關(guān)，我這里主要是用數(shù)據(jù)輔助我們做優(yōu)化，或者數(shù)據(jù)驅(qū)動的人工智能，像強化學習的應用。
我們現(xiàn)在的電網(wǎng)有以下這些關(guān)鍵組成和益處，比如說有智能電網(wǎng)的技術(shù)、有數(shù)據(jù)的在線監(jiān)控和實時通訊，這樣子也給我們提升了電網(wǎng)的控制的計算效率、提升電網(wǎng)能觀性和監(jiān)測能力、提升電網(wǎng)的可靠性和彈性、提升電網(wǎng)負荷的調(diào)度和靈活性。
同時，我們開發(fā)新型電力系統(tǒng)也帶來了很多挑戰(zhàn)。比如我這里舉了幾個例子，比如傳統(tǒng)電力系統(tǒng)有大型同步發(fā)電機，現(xiàn)在新型電力系統(tǒng)以電力電子元件為主，比如說分布式電源，大量分布式電源帶來更多的不確定性，比如這樣就挑戰(zhàn)了我們之前要解一個優(yōu)化潮流的問題，我們一般是基于確定性的控制方法去做的?；蛘哌€有大量的分布式電源，會帶來靠近負荷側(cè)的系統(tǒng)變化，挑戰(zhàn)了基于模型的控制方法，因為我們的模型在實時變化，我們傳統(tǒng)的方法是要基于一個準確的模型才能給我們一個準確的解。傳統(tǒng)的基于模型的方法，在這種多變的前提下可能也不太適用了。
挑戰(zhàn)1：基于模型的傳統(tǒng)優(yōu)化方法中關(guān)于計算效率，物理模型不準確性和處理隨機性的缺陷
比如基于模型的傳統(tǒng)方法，我們是需要知道電網(wǎng)確切的物理模型，比如拓撲和網(wǎng)絡參數(shù)。我們求解一個大規(guī)模的優(yōu)化問題，比如包括大量線性和非線性的約束條件。第一個不好解，第二個即使能解，可能也要花費很長的時間，如何能夠精確捕捉到當我們有大量的分布式電源和負荷帶來的不確定性？這就是一個問題。
挑戰(zhàn)2：基于無模型的強化學習由黑箱特性引發(fā)的安全疑慮
近些年大家想應用人工智能方法，比如無模型的方法在電力系統(tǒng)中幫忙求解優(yōu)化潮流、能源管理的問題。這種問題好，但是有它自己的缺陷。比如它可以通過馬爾科夫決策過程，把一個傳統(tǒng)的優(yōu)化的問題轉(zhuǎn)化成一個強化學習的問題，比如它這里有包括智能體、環(huán)境，通過它自己的互通，最后可以代替優(yōu)化方法去求解這種問題。但傳統(tǒng)的強化學習方法具有“黑箱”的屬性，比如我們是否可信？有些人工智能方法它就是一個輸入、一個輸出，不管是神經(jīng)網(wǎng)絡或者什么也好你并不確定里面發(fā)生了什么事情，我們把這種叫做黑箱屬性。電力系統(tǒng)是一個對安全性效果非常高的，這種黑箱屬性，我們是否可以可信？所以最近我們做了很多研究，希望在電力系統(tǒng)當中我們要應用人工智能的時候，我們要加上“可信”兩個字，我們是要用可信的人工智能或者是可解釋性的人工智能。所以，我這里也說了你要把電網(wǎng)運行的約束條件考慮當中，使這個黑箱不再黑箱，你可以解釋里面發(fā)生了什么，你知道哪些約束是在這個人工智能里面是受到了滿足。這樣子，我們才能信任它，然后用到電力系統(tǒng)當中。
之后，我會舉幾個例子。比如說電力系統(tǒng)當中這些數(shù)據(jù)，比如說我們用人工智能，我們要用數(shù)據(jù)去訓練我們的人工智能方法。數(shù)據(jù)來源是什么？比如說我們有一些數(shù)據(jù)是來自同步相量測量裝置，叫做PMU，還有一些數(shù)據(jù)是來自智能電表，我們可以去測量和記錄這些居民、商業(yè)、工業(yè)負荷的用電量、電壓電流等數(shù)據(jù)。這些數(shù)據(jù)或者這些設備也是具備在線監(jiān)控和實時通信能力的，這樣子就使得我們訓練人工智能的時候可以用歷史數(shù)據(jù)，也可以利用在線數(shù)據(jù)去校正人工智能的一些決策。
這是第一個應用，就是高滲透率下的主動配電網(wǎng)中分布式電壓無功率優(yōu)化控制方法。我這里舉的第一個例子是非常簡單的例子，用數(shù)據(jù)輔助求解電壓無功優(yōu)化控制。我們是用了一個分布式算法，我們簡單地用高分辨率下的用電量和電壓的測量量，我們作為系統(tǒng)實時的反饋去估算它以前的非線性量，因為我們在優(yōu)化過程當中有很多非線性的。這些非線性，就是我們在求解優(yōu)化問題當中比較難解、比較要花時間解的有些項。這些項，我們就可以用在線反饋，因為我剛剛有說過智能電表這些有在線反饋的能力，用這些數(shù)據(jù)，我們可以把我這里標綠的項，用這些公式可以把它線性化。這個應用是比較簡單地用數(shù)據(jù)加速我們的優(yōu)化過程。
這是我的第二個例子，用數(shù)據(jù)輔助求解電壓無功優(yōu)化控制。但我們是用數(shù)據(jù)去求解它的不確定性。我們這里推了一個基于分布魯棒機會約束優(yōu)化無功電壓控制方法。我們這里是用智能電表的數(shù)據(jù)，建立了一個不確定集。這里有智能電表的數(shù)據(jù)和少量的同步相量測量的裝置數(shù)據(jù)輔助，我們是先要把它數(shù)據(jù)增強。像現(xiàn)實生活當中，我們的數(shù)據(jù)不一定很理想，比如我這里舉的例子就是我們有大量的智能電表數(shù)據(jù)，但智能電表的數(shù)據(jù)的分辨率不一定高，比如它可能是15分鐘、半個小時、一個小時的數(shù)據(jù)點的數(shù)據(jù)。但是我們有少量的質(zhì)量非常高的數(shù)據(jù)，有30秒、1秒鐘，由PMU來采集的。所以遇到這種情況下，我們并不能夠直接把這些質(zhì)量比較差的數(shù)據(jù)應用到我們的優(yōu)化或者是人工智能方法當中。所以我這里先推出了一個數(shù)據(jù)增強的方法，增強之后再應用。用這些數(shù)據(jù)建立了基于概率函數(shù)的矩信息的負荷和分布式的不確定集。
這里大概是一些推導的過程，我們這里講是怎么從一個決定性問題，把它變成一個機會約束規(guī)劃的問題，這里大概是一些基于分布式魯棒機會約束優(yōu)化的無功電壓控制，還有數(shù)據(jù)模糊集的建立方式，還有數(shù)據(jù)增強方法的公式，大概利用了一些概率、機器學習的方法。
這里是一些結(jié)果，因為今天時間有限，我就不展開說。這是我在美國做的一個項目，是一個愛荷華，美國中部的一個州有一個真實的配電網(wǎng)系統(tǒng)，我們也是知道我們的數(shù)據(jù)，就是它大概采集的這些電表的設備位置，因為這些位置也會影響我們的結(jié)果。這個結(jié)果是我們經(jīng)過數(shù)據(jù)增強之后，要提取一些數(shù)據(jù)的平均集和方差，就是整個概率函數(shù)的矩信息，然后再建立這個不確定性。我們也是對比過，我們的效果還是不錯的。我們這里做了一個降壓節(jié)能的應用。
后面舉的例子，就是剛剛上一位專家說過的微電網(wǎng)群，當然我這里比較關(guān)注的是微電網(wǎng)群的能量管理，就是energy management的一個問題。
我們這里有一些挑戰(zhàn)，比如說電源對于它的公共連接點，我們這里叫PCC點，它對于PCC點后的微電網(wǎng)信息并不完全掌握，因為這個可能在美國發(fā)生的比較多一點，因為它的微電網(wǎng)可能是私人有的，比如愛荷華州比較多的是農(nóng)場擁有的微電網(wǎng)群。微電網(wǎng)后面的用戶信息，有些微電網(wǎng)群里的分布式能源的信息，它的配電網(wǎng)公司或者電網(wǎng)公司并不知道的。在這種情況下面，傳統(tǒng)的方法，配電網(wǎng)想對它進行能量控制，但是你不知道它的信息，你不知道后面的物理拓撲，就造成你傳統(tǒng)的優(yōu)化、基于模型的方法不適用。所以這就造成了我們的動機，就是為什么我們想用無模型的方法去應用。這也是我自己的經(jīng)驗，因為現(xiàn)在大家說人工智能在電力系統(tǒng)中應用很多，但好像是為了用而用。但是我這里還是希望要找到足夠強的動機和理由應用人工智能，這樣可以把故事說得更好一點，也可以說服自己。
這里我舉了第一個例子，是雙層強化學習方法。這是一個比較普通的，如果大家有記得前面幾頁我展示過強化學習?；旧夏阃瞥鲆粋€智能體，然后有一個環(huán)境，你是通過智能體和環(huán)境之間的不斷的互聯(lián)去訓練你的智能體，最后達到結(jié)果。這是一個比較基礎的強化學習的應用，也是一個雙層的。上層的模型是利用協(xié)調(diào)的智能體和強化學習的無模型特性，通過采集它的狀態(tài)信息，并訓練、學習、模擬出了一個微電網(wǎng)群在一個電價敏感環(huán)境下的運行行為，然后你最大化的全局收益。我們這里給出電價信號，通過電價信號去控制一個微電網(wǎng)，因為它的微電網(wǎng)是對電價敏感的。
這里的下層模型是接收了上層模型傳來的電價信號后，每個微電網(wǎng)都提供了受約束的優(yōu)化潮流作為它的狀態(tài)解，來模擬強化學習所需的環(huán)境。
在智能體的訓練當中，下層模型是僅向上層模型交互集合過的信息，也保證微電網(wǎng)群里面這些用戶信息不被大范圍傳播，有一定的用戶信息的保護。
這里是一些數(shù)學公式，從上層的智能體怎么用Q函數(shù)訓練它的智能體，下層是每個微電網(wǎng)群求解自己有一個優(yōu)化潮流的問題。就像我剛剛說的，傳統(tǒng)的強化學習是一個黑箱的，我們怎么把安全約束考慮到其中？這就是個問題。大家可以看到我在第二層里面，因為還是把這些約束條件放在了環(huán)境模擬當中，這樣子就用了一種方法，把約束條件在環(huán)境當中，它就會把受約束有一些反饋，再反饋到上層的智能體當中去訓練它。這是一種例子，就是怎么把約束考慮到強化學習過程當中。
這里是一些結(jié)果，不展開講。如果大家比較關(guān)注的話，因為我每一個內(nèi)容下面會把自己的論文放上去了，大家如果感興趣可以去查詢一下，有更多的結(jié)果和討論。
這個例子，像我剛剛說的所有的那些安全約束是把它討論到下層的，有沒有直接可以把這些安全約束，直接完全討論到強化學習過程當中？我這里提了一個多智能體安全強化學習。這里是將微電網(wǎng)群的問題直接轉(zhuǎn)化成了一個基于神經(jīng)網(wǎng)絡參數(shù)的優(yōu)化問題，就是參數(shù)的優(yōu)化問題。我這里利用了梯度信息，如果大家比較熟悉現(xiàn)在有些智能體或者有一些人工智能，就是有一類人工智能的方法現(xiàn)在比較火，它叫做內(nèi)嵌物理信息的人工智能的方法，英文叫做physical informed AI。這樣子的話，它就不再是一個單純的黑箱，因為我們傳統(tǒng)的基于模型的叫“白箱”，完全的數(shù)據(jù)驅(qū)動的人工智能叫“黑箱”，但是我們?nèi)绻紤]到部分物理信息到人工智能，這種叫“灰箱”，我們這里就有利用到一些物理信息，然后把它放到人工智能方法里面去，有利于我們可以去解釋，所以這個是可解釋性的人工智能方法。
我們這里把梯度信息考慮到了人工智能的訓練當中。因為我們這里做的是微電網(wǎng)群，所以我們把每一個微電網(wǎng)群當中的每一個微電網(wǎng)作為一個智能體，所以我們這里又推出了基于共識的分布式模型的訓練方法，相鄰的微電網(wǎng)之間，它們每一個作為智能體，在訓練過程當中它們會交互一些信息、達到共識。當它們達到共識之后，這個智能體就訓練好了，就可以直接用來應用。
這里是一些數(shù)學公式，我們怎么樣從一個傳統(tǒng)的基于模型的，把微電網(wǎng)群的能量管理方法先轉(zhuǎn)變成一個安全的策略學習的方法，再把它稱為一個可解釋性的人工智能方法，用到了置信域策略優(yōu)化，然后再怎么把它分解到每一個微電網(wǎng)，這里也就是每一個智能體上，然后進行分布式的訓練。這里是一些最后的結(jié)果。
這大概就是我今天討論的內(nèi)容，我們這里討論了一些現(xiàn)代智能電網(wǎng)中關(guān)鍵元件和一些挑戰(zhàn)。比如我們說了基于傳統(tǒng)的模型的方法與無模型的方法都有各自的缺陷，我們這里又說了怎么用數(shù)據(jù)去加速我們這些傳統(tǒng)的基于模型的優(yōu)化方法，我們可以去用于線性化，我們也可以用于去建立它的不確定集，去做隨機優(yōu)化方法。我們也可以用這些數(shù)據(jù)去做一些強化學習方法，但是我們要把這些安全約束或者是用內(nèi)嵌物理信息的人工智能方法，來增強強化學習的可解釋性，讓它可以是可信的人工智能，安全地應用在電力系統(tǒng)當中。
這大概就是我今天的內(nèi)容了，謝謝大家！
