中國儲(chǔ)能網(wǎng)訊：3月23日，由中國化學(xué)與物理電源行業(yè)協(xié)會(huì)主辦并聯(lián)合500余家機(jī)構(gòu)共同支持的第十五屆儲(chǔ)能大會(huì)暨展覽會(huì)（簡稱“CIES2025”）在杭州國際博覽中心召開。
CIES大會(huì)以以“綠色、數(shù)智、融合、創(chuàng)新”為主題，針對(duì)儲(chǔ)能產(chǎn)業(yè)面臨的機(jī)遇與挑戰(zhàn)等重點(diǎn)、熱點(diǎn)、難點(diǎn)問題展開充分探討，分享可持續(xù)發(fā)展政策機(jī)制、資本市場、國際市場、成本疏導(dǎo)、智能化系統(tǒng)集成技術(shù)、供應(yīng)鏈體系、商業(yè)模式、技術(shù)標(biāo)準(zhǔn)、示范項(xiàng)目應(yīng)用案例、新產(chǎn)品以及解決方案的普及和規(guī)?；こ虘?yīng)用。
在3月23日下午進(jìn)行的工業(yè)綠色微電網(wǎng)專場中，浙江大學(xué)電氣工程學(xué)院第一類“百人計(jì)劃”研究員章謙之做了題為《適用于配電網(wǎng)和微電網(wǎng)的基于數(shù)據(jù)輔助的優(yōu)化方法和數(shù)據(jù)驅(qū)動(dòng)的強(qiáng)化學(xué)習(xí)方法》的主題報(bào)告演講。
以下內(nèi)容根據(jù)大會(huì)發(fā)言整理提煉，僅供參考。
各位專家、各位老師好！我叫章謙之，因?yàn)槲沂侨ツ陝倓倧拿绹氐秸愦?，我先自我介紹一下。我之前是在美國愛荷華州立大學(xué)拿了博士，之后在康奈爾大學(xué)做了博士后，在阿拉巴馬大學(xué)做助理教授，去年以海外優(yōu)青身份回到浙大。
我的研究方向主要是基于多智能體安全強(qiáng)化學(xué)習(xí)的新型電力系統(tǒng)計(jì)算架構(gòu)與計(jì)算方法在電力系統(tǒng)，主要是人工智能在電力系統(tǒng)里的一些應(yīng)用；新能源高滲透率下微電網(wǎng)群和主動(dòng)配電網(wǎng)的電壓控制及能源管理方法；面向極端事件的新型電力系統(tǒng)彈性提升方法。
我今天講的主要是我之前的一些研究，比如大家要說到人工智能，人工智能跟數(shù)據(jù)相關(guān)，我這里主要是用數(shù)據(jù)輔助我們做優(yōu)化，或者數(shù)據(jù)驅(qū)動(dòng)的人工智能，像強(qiáng)化學(xué)習(xí)的應(yīng)用。
我們現(xiàn)在的電網(wǎng)有以下這些關(guān)鍵組成和益處，比如說有智能電網(wǎng)的技術(shù)、有數(shù)據(jù)的在線監(jiān)控和實(shí)時(shí)通訊，這樣子也給我們提升了電網(wǎng)的控制的計(jì)算效率、提升電網(wǎng)能觀性和監(jiān)測能力、提升電網(wǎng)的可靠性和彈性、提升電網(wǎng)負(fù)荷的調(diào)度和靈活性。
同時(shí)，我們開發(fā)新型電力系統(tǒng)也帶來了很多挑戰(zhàn)。比如我這里舉了幾個(gè)例子，比如傳統(tǒng)電力系統(tǒng)有大型同步發(fā)電機(jī)，現(xiàn)在新型電力系統(tǒng)以電力電子元件為主，比如說分布式電源，大量分布式電源帶來更多的不確定性，比如這樣就挑戰(zhàn)了我們之前要解一個(gè)優(yōu)化潮流的問題，我們一般是基于確定性的控制方法去做的?；蛘哌€有大量的分布式電源，會(huì)帶來靠近負(fù)荷側(cè)的系統(tǒng)變化，挑戰(zhàn)了基于模型的控制方法，因?yàn)槲覀兊哪Ｐ驮趯?shí)時(shí)變化，我們傳統(tǒng)的方法是要基于一個(gè)準(zhǔn)確的模型才能給我們一個(gè)準(zhǔn)確的解。傳統(tǒng)的基于模型的方法，在這種多變的前提下可能也不太適用了。
挑戰(zhàn)1：基于模型的傳統(tǒng)優(yōu)化方法中關(guān)于計(jì)算效率，物理模型不準(zhǔn)確性和處理隨機(jī)性的缺陷
比如基于模型的傳統(tǒng)方法，我們是需要知道電網(wǎng)確切的物理模型，比如拓?fù)浜途W(wǎng)絡(luò)參數(shù)。我們求解一個(gè)大規(guī)模的優(yōu)化問題，比如包括大量線性和非線性的約束條件。第一個(gè)不好解，第二個(gè)即使能解，可能也要花費(fèi)很長的時(shí)間，如何能夠精確捕捉到當(dāng)我們有大量的分布式電源和負(fù)荷帶來的不確定性？這就是一個(gè)問題。
挑戰(zhàn)2：基于無模型的強(qiáng)化學(xué)習(xí)由黑箱特性引發(fā)的安全疑慮
近些年大家想應(yīng)用人工智能方法，比如無模型的方法在電力系統(tǒng)中幫忙求解優(yōu)化潮流、能源管理的問題。這種問題好，但是有它自己的缺陷。比如它可以通過馬爾科夫決策過程，把一個(gè)傳統(tǒng)的優(yōu)化的問題轉(zhuǎn)化成一個(gè)強(qiáng)化學(xué)習(xí)的問題，比如它這里有包括智能體、環(huán)境，通過它自己的互通，最后可以代替優(yōu)化方法去求解這種問題。但傳統(tǒng)的強(qiáng)化學(xué)習(xí)方法具有“黑箱”的屬性，比如我們是否可信？有些人工智能方法它就是一個(gè)輸入、一個(gè)輸出，不管是神經(jīng)網(wǎng)絡(luò)或者什么也好你并不確定里面發(fā)生了什么事情，我們把這種叫做黑箱屬性。電力系統(tǒng)是一個(gè)對(duì)安全性效果非常高的，這種黑箱屬性，我們是否可以可信？所以最近我們做了很多研究，希望在電力系統(tǒng)當(dāng)中我們要應(yīng)用人工智能的時(shí)候，我們要加上“可信”兩個(gè)字，我們是要用可信的人工智能或者是可解釋性的人工智能。所以，我這里也說了你要把電網(wǎng)運(yùn)行的約束條件考慮當(dāng)中，使這個(gè)黑箱不再黑箱，你可以解釋里面發(fā)生了什么，你知道哪些約束是在這個(gè)人工智能里面是受到了滿足。這樣子，我們才能信任它，然后用到電力系統(tǒng)當(dāng)中。
之后，我會(huì)舉幾個(gè)例子。比如說電力系統(tǒng)當(dāng)中這些數(shù)據(jù)，比如說我們用人工智能，我們要用數(shù)據(jù)去訓(xùn)練我們的人工智能方法。數(shù)據(jù)來源是什么？比如說我們有一些數(shù)據(jù)是來自同步相量測量裝置，叫做PMU，還有一些數(shù)據(jù)是來自智能電表，我們可以去測量和記錄這些居民、商業(yè)、工業(yè)負(fù)荷的用電量、電壓電流等數(shù)據(jù)。這些數(shù)據(jù)或者這些設(shè)備也是具備在線監(jiān)控和實(shí)時(shí)通信能力的，這樣子就使得我們訓(xùn)練人工智能的時(shí)候可以用歷史數(shù)據(jù)，也可以利用在線數(shù)據(jù)去校正人工智能的一些決策。
這是第一個(gè)應(yīng)用，就是高滲透率下的主動(dòng)配電網(wǎng)中分布式電壓無功率優(yōu)化控制方法。我這里舉的第一個(gè)例子是非常簡單的例子，用數(shù)據(jù)輔助求解電壓無功優(yōu)化控制。我們是用了一個(gè)分布式算法，我們簡單地用高分辨率下的用電量和電壓的測量量，我們作為系統(tǒng)實(shí)時(shí)的反饋去估算它以前的非線性量，因?yàn)槲覀冊趦?yōu)化過程當(dāng)中有很多非線性的。這些非線性，就是我們在求解優(yōu)化問題當(dāng)中比較難解、比較要花時(shí)間解的有些項(xiàng)。這些項(xiàng)，我們就可以用在線反饋，因?yàn)槲覄倓傆姓f過智能電表這些有在線反饋的能力，用這些數(shù)據(jù)，我們可以把我這里標(biāo)綠的項(xiàng)，用這些公式可以把它線性化。這個(gè)應(yīng)用是比較簡單地用數(shù)據(jù)加速我們的優(yōu)化過程。
這是我的第二個(gè)例子，用數(shù)據(jù)輔助求解電壓無功優(yōu)化控制。但我們是用數(shù)據(jù)去求解它的不確定性。我們這里推了一個(gè)基于分布魯棒機(jī)會(huì)約束優(yōu)化無功電壓控制方法。我們這里是用智能電表的數(shù)據(jù)，建立了一個(gè)不確定集。這里有智能電表的數(shù)據(jù)和少量的同步相量測量的裝置數(shù)據(jù)輔助，我們是先要把它數(shù)據(jù)增強(qiáng)。像現(xiàn)實(shí)生活當(dāng)中，我們的數(shù)據(jù)不一定很理想，比如我這里舉的例子就是我們有大量的智能電表數(shù)據(jù)，但智能電表的數(shù)據(jù)的分辨率不一定高，比如它可能是15分鐘、半個(gè)小時(shí)、一個(gè)小時(shí)的數(shù)據(jù)點(diǎn)的數(shù)據(jù)。但是我們有少量的質(zhì)量非常高的數(shù)據(jù)，有30秒、1秒鐘，由PMU來采集的。所以遇到這種情況下，我們并不能夠直接把這些質(zhì)量比較差的數(shù)據(jù)應(yīng)用到我們的優(yōu)化或者是人工智能方法當(dāng)中。所以我這里先推出了一個(gè)數(shù)據(jù)增強(qiáng)的方法，增強(qiáng)之后再應(yīng)用。用這些數(shù)據(jù)建立了基于概率函數(shù)的矩信息的負(fù)荷和分布式的不確定集。
這里大概是一些推導(dǎo)的過程，我們這里講是怎么從一個(gè)決定性問題，把它變成一個(gè)機(jī)會(huì)約束規(guī)劃的問題，這里大概是一些基于分布式魯棒機(jī)會(huì)約束優(yōu)化的無功電壓控制，還有數(shù)據(jù)模糊集的建立方式，還有數(shù)據(jù)增強(qiáng)方法的公式，大概利用了一些概率、機(jī)器學(xué)習(xí)的方法。
這里是一些結(jié)果，因?yàn)榻裉鞎r(shí)間有限，我就不展開說。這是我在美國做的一個(gè)項(xiàng)目，是一個(gè)愛荷華，美國中部的一個(gè)州有一個(gè)真實(shí)的配電網(wǎng)系統(tǒng)，我們也是知道我們的數(shù)據(jù)，就是它大概采集的這些電表的設(shè)備位置，因?yàn)檫@些位置也會(huì)影響我們的結(jié)果。這個(gè)結(jié)果是我們經(jīng)過數(shù)據(jù)增強(qiáng)之后，要提取一些數(shù)據(jù)的平均集和方差，就是整個(gè)概率函數(shù)的矩信息，然后再建立這個(gè)不確定性。我們也是對(duì)比過，我們的效果還是不錯(cuò)的。我們這里做了一個(gè)降壓節(jié)能的應(yīng)用。
后面舉的例子，就是剛剛上一位專家說過的微電網(wǎng)群，當(dāng)然我這里比較關(guān)注的是微電網(wǎng)群的能量管理，就是energy management的一個(gè)問題。
我們這里有一些挑戰(zhàn)，比如說電源對(duì)于它的公共連接點(diǎn)，我們這里叫PCC點(diǎn)，它對(duì)于PCC點(diǎn)后的微電網(wǎng)信息并不完全掌握，因?yàn)檫@個(gè)可能在美國發(fā)生的比較多一點(diǎn)，因?yàn)樗奈㈦娋W(wǎng)可能是私人有的，比如愛荷華州比較多的是農(nóng)場擁有的微電網(wǎng)群。微電網(wǎng)后面的用戶信息，有些微電網(wǎng)群里的分布式能源的信息，它的配電網(wǎng)公司或者電網(wǎng)公司并不知道的。在這種情況下面，傳統(tǒng)的方法，配電網(wǎng)想對(duì)它進(jìn)行能量控制，但是你不知道它的信息，你不知道后面的物理拓?fù)?，就造成你傳統(tǒng)的優(yōu)化、基于模型的方法不適用。所以這就造成了我們的動(dòng)機(jī)，就是為什么我們想用無模型的方法去應(yīng)用。這也是我自己的經(jīng)驗(yàn)，因?yàn)楝F(xiàn)在大家說人工智能在電力系統(tǒng)中應(yīng)用很多，但好像是為了用而用。但是我這里還是希望要找到足夠強(qiáng)的動(dòng)機(jī)和理由應(yīng)用人工智能，這樣可以把故事說得更好一點(diǎn)，也可以說服自己。
這里我舉了第一個(gè)例子，是雙層強(qiáng)化學(xué)習(xí)方法。這是一個(gè)比較普通的，如果大家有記得前面幾頁我展示過強(qiáng)化學(xué)習(xí)?；旧夏阃瞥鲆粋€(gè)智能體，然后有一個(gè)環(huán)境，你是通過智能體和環(huán)境之間的不斷的互聯(lián)去訓(xùn)練你的智能體，最后達(dá)到結(jié)果。這是一個(gè)比較基礎(chǔ)的強(qiáng)化學(xué)習(xí)的應(yīng)用，也是一個(gè)雙層的。上層的模型是利用協(xié)調(diào)的智能體和強(qiáng)化學(xué)習(xí)的無模型特性，通過采集它的狀態(tài)信息，并訓(xùn)練、學(xué)習(xí)、模擬出了一個(gè)微電網(wǎng)群在一個(gè)電價(jià)敏感環(huán)境下的運(yùn)行行為，然后你最大化的全局收益。我們這里給出電價(jià)信號(hào)，通過電價(jià)信號(hào)去控制一個(gè)微電網(wǎng)，因?yàn)樗奈㈦娋W(wǎng)是對(duì)電價(jià)敏感的。
這里的下層模型是接收了上層模型傳來的電價(jià)信號(hào)后，每個(gè)微電網(wǎng)都提供了受約束的優(yōu)化潮流作為它的狀態(tài)解，來模擬強(qiáng)化學(xué)習(xí)所需的環(huán)境。
在智能體的訓(xùn)練當(dāng)中，下層模型是僅向上層模型交互集合過的信息，也保證微電網(wǎng)群里面這些用戶信息不被大范圍傳播，有一定的用戶信息的保護(hù)。
這里是一些數(shù)學(xué)公式，從上層的智能體怎么用Q函數(shù)訓(xùn)練它的智能體，下層是每個(gè)微電網(wǎng)群求解自己有一個(gè)優(yōu)化潮流的問題。就像我剛剛說的，傳統(tǒng)的強(qiáng)化學(xué)習(xí)是一個(gè)黑箱的，我們怎么把安全約束考慮到其中？這就是個(gè)問題。大家可以看到我在第二層里面，因?yàn)檫€是把這些約束條件放在了環(huán)境模擬當(dāng)中，這樣子就用了一種方法，把約束條件在環(huán)境當(dāng)中，它就會(huì)把受約束有一些反饋，再反饋到上層的智能體當(dāng)中去訓(xùn)練它。這是一種例子，就是怎么把約束考慮到強(qiáng)化學(xué)習(xí)過程當(dāng)中。
這里是一些結(jié)果，不展開講。如果大家比較關(guān)注的話，因?yàn)槲颐恳粋€(gè)內(nèi)容下面會(huì)把自己的論文放上去了，大家如果感興趣可以去查詢一下，有更多的結(jié)果和討論。
這個(gè)例子，像我剛剛說的所有的那些安全約束是把它討論到下層的，有沒有直接可以把這些安全約束，直接完全討論到強(qiáng)化學(xué)習(xí)過程當(dāng)中？我這里提了一個(gè)多智能體安全強(qiáng)化學(xué)習(xí)。這里是將微電網(wǎng)群的問題直接轉(zhuǎn)化成了一個(gè)基于神經(jīng)網(wǎng)絡(luò)參數(shù)的優(yōu)化問題，就是參數(shù)的優(yōu)化問題。我這里利用了梯度信息，如果大家比較熟悉現(xiàn)在有些智能體或者有一些人工智能，就是有一類人工智能的方法現(xiàn)在比較火，它叫做內(nèi)嵌物理信息的人工智能的方法，英文叫做physical informed AI。這樣子的話，它就不再是一個(gè)單純的黑箱，因?yàn)槲覀儌鹘y(tǒng)的基于模型的叫“白箱”，完全的數(shù)據(jù)驅(qū)動(dòng)的人工智能叫“黑箱”，但是我們?nèi)绻紤]到部分物理信息到人工智能，這種叫“灰箱”，我們這里就有利用到一些物理信息，然后把它放到人工智能方法里面去，有利于我們可以去解釋，所以這個(gè)是可解釋性的人工智能方法。
我們這里把梯度信息考慮到了人工智能的訓(xùn)練當(dāng)中。因?yàn)槲覀冞@里做的是微電網(wǎng)群，所以我們把每一個(gè)微電網(wǎng)群當(dāng)中的每一個(gè)微電網(wǎng)作為一個(gè)智能體，所以我們這里又推出了基于共識(shí)的分布式模型的訓(xùn)練方法，相鄰的微電網(wǎng)之間，它們每一個(gè)作為智能體，在訓(xùn)練過程當(dāng)中它們會(huì)交互一些信息、達(dá)到共識(shí)。當(dāng)它們達(dá)到共識(shí)之后，這個(gè)智能體就訓(xùn)練好了，就可以直接用來應(yīng)用。
這里是一些數(shù)學(xué)公式，我們怎么樣從一個(gè)傳統(tǒng)的基于模型的，把微電網(wǎng)群的能量管理方法先轉(zhuǎn)變成一個(gè)安全的策略學(xué)習(xí)的方法，再把它稱為一個(gè)可解釋性的人工智能方法，用到了置信域策略優(yōu)化，然后再怎么把它分解到每一個(gè)微電網(wǎng)，這里也就是每一個(gè)智能體上，然后進(jìn)行分布式的訓(xùn)練。這里是一些最后的結(jié)果。
這大概就是我今天討論的內(nèi)容，我們這里討論了一些現(xiàn)代智能電網(wǎng)中關(guān)鍵元件和一些挑戰(zhàn)。比如我們說了基于傳統(tǒng)的模型的方法與無模型的方法都有各自的缺陷，我們這里又說了怎么用數(shù)據(jù)去加速我們這些傳統(tǒng)的基于模型的優(yōu)化方法，我們可以去用于線性化，我們也可以用于去建立它的不確定集，去做隨機(jī)優(yōu)化方法。我們也可以用這些數(shù)據(jù)去做一些強(qiáng)化學(xué)習(xí)方法，但是我們要把這些安全約束或者是用內(nèi)嵌物理信息的人工智能方法，來增強(qiáng)強(qiáng)化學(xué)習(xí)的可解釋性，讓它可以是可信的人工智能，安全地應(yīng)用在電力系統(tǒng)當(dāng)中。
這大概就是我今天的內(nèi)容了，謝謝大家！
