基于强化学习的含电动汽车虚拟电厂优化调度与应用

安科瑞 宣依依

摘要:大量电动汽车(EV)用户的无序充电可能造成电网负荷剧烈波动,危及电网的安全稳定。随着EV入网(V2C)技术的应用,将EV充电站及其周边的分布式新能源发电聚合为虛拟电厂(VPP)后进行优化调度,有助于改善EV用户充放电的经济性及满意度,同时提高分布式新能源的利用率,平抑电网负荷波动,但EV充电站的整体充放电负荷是大量个体EV用户随机行为的聚合,难以用数学模型精确描述。针对包含EV的VPP,提出一种基于深度强化学习的交互式调度框架,以VPP内EV用户的总效益。VPP控制中心作为智能体决策EV个体的充放电动作,无需掌握个体详细模型,而是通过与区域电网环境的交互,不断学习和更新动作策略,从而克服集中式优化方法的局限性。该优化调度框架采用深度确定性策略梯度(DDPG)算法进行求解。仿真结果表明,与集中式优化方法相比,该优化算法提高了各EV用户的效益,并使EV充放电负荷与分布式新能源发电协调配合实现削峰填谷，改善了VPP的整体运行性能。

关键词:虚拟电厂;电动汽车;V2G;分布式新能源;深度确定性策略梯度算法;优化调度;强化学习

一、引言

大量电动汽车(Electric Vehicle,EV)的无序充电不仅会影响电网的安全稳定运行,而且会给用户造成经济损失。事实上,EV充电负荷不仅具有较大的调节弹性,而且可以基于E人网(Vehicle toGrid,V2G)技术实现发电和用电侧的角色转换,具备很大的优化调度潜力。通过搭建虚拟电厂(Virtual Power Plant,VPP)整合区域配电网中的EV充放电负荷及分布式新能源发电资源,合理引导EV用户的充放电行为,不但可以降低EV车主的充电费用,提高充电需求满足程度,同时可使EV充放电负荷与分布式新能源发电协调配合,提高新能源利用率,平抑 VPP整体负荷的波动。VPP是电力系统中智能配电网运行的重要技术,通过创建一个 VPP控制中心,可以将配电网中的EV充放电负荷与分布式新能源聚合为一个整体参与电网运行,更好地发掘EV充放电负荷与分布式新能源的价值和效益。

然而,在上述包含EV充放电负荷及分布式新能源的VPP中,EV充电站的总负荷特性是大量个体EV用户随机充放电行为的聚合,难以对其进行精确的数学建模和准确预测,这给传统的基于负荷预测进行优化计算的集中式调度模式带来了挑战。解决这一难点的一种有效途径是采用基于强化学习(Reinforcement Leaming,RL)方法的交互式优化调度模式。该模式中,VPP控制中心作为智能体,包含EV个体用户及分布式新能源的区域电网为智能体所在的环境。VPP控制中心在不掌握EV个体用户详细模型的情况下给出EV个体的充放电动作决策,并通过与区域电网的交互评估当前决策的性能,不断学习和更新动作策略,直至得到令人满意的优化决策。基于智能体与环境之间信息交互的RL方法可以在缺乏精确数学模型的情况下模拟顺序决策问题并获得对环境的精准响应。这种基于R的交互式调度模式克服了传统集中式调度的局限性,有望在 VPP 优化调度中得到应用。

二、含 EV的 VPP 优化调度模型

考虑一个VPP,其中包含EV充电站及分布式新能源发电2类对象。对该VPP在T=24h范围内进行优化调度,时间段表示为t=,决策间隔Δt=1 h。

假设 VPP中充电站内有足够多的充电桩,在T时间范围内共有I辆EV随机进入充电站,每辆EV进站后即连接到充电桩变为上线状态;当EV的电池荷电状态(State of Charge,S0C)达到充电上限后即自动断开充电桩连接,变为离线状态。第i辆E在充电站内的在线时段表示为集合Tion=,其中tion和tiout分别为上线和离线时间。VPP控制中心作为智能体,在Tion时段内可以通过对充电桩的智能控制,决策第i辆EV的充放电功率，而在其他时段该EV不进行任何充放电行为。

VPP中的分布式新能源发电资源由若干分布式风机单元和分布式光伏板单元组成,VPP控制中心在分布式发电资源的可发电功率范围内决策其实际出力。

三、基于RL的VPP优化调度方法

传统的集中调度模式难以对EV个体用户充放电负荷做出精确预测,因此,本节基于方法,提出一种交互式的 VPP优化调度框架。VPP控制中心作为一个智能体,不需要事先掌握EV个体用户及分布式新能源的精确模型及负荷预测,而是通过充电桩与EV个体用户交互,即下发充放电动作和获取用户奖励值,经R逐步得到令人满意的调度策略。

RL是一个包含(S,A,P,R,γ)5个元素的马尔可夫决策过程,其中:S为智能体的状态空间;A为智能体的动作空间;P为状态转移概率;R为奖励函数;γ为折扣因子。本文建立的 VPP优化调度模型可描述为图1所示的 RL框架,其中VPP控制中心为智能体(Agent),VPP区域电网为环境(Environment),包括状态(State)、动作(Action)和奖励(Reward)三大要素。

图1 用于VPP优化调度的RL框架

四、解决方案

图2 平台结构图

充电运营管理平台是基于物联网和大数据技术的充电设施管理系统，可以实现对充电桩的监控、调度和管理，提高充电桩的利用率和充电效率，提升用户的充电体验和服务质量。用户可以通过APP或小程序提前预约充电，避免在充电站排队等待的情况，同时也能为充电站提供更准确的充电需求数据，方便后续的调度和管理。通过平台可对充电桩的功率、电压、电流等参数进行实时监控，及时发现和处理充电桩故障和异常情况对充电桩的功率进行控制和管理，确保充电桩在合理的功率范围内充电，避免对电网造成过大的负荷。

五、安科瑞充电桩云平台具体的功能

平台除了对充电桩的监控外，还对充电站的光伏发电系统、储能系统以及供电系统进行集中监控和统一协调管理，提高充电站的运行可靠性，降低运营成本，平台系统架构如图3所示。

图3 充电桩运营管理平台系统架构

大屏显示：展示充电站设备统计、使用率排行、运营统计图表、节碳量统计等数据。

图4 大屏展示界面

站点监控：显示设备实时状态、设备列表、设备日志、设备状态统计等功能。

图5 站点监控界面

设备监控：显示设备实时信息、配套设备状态、设备实时曲线、关联订单信息、充电功率曲线等。

图6 设备监控界面

运营趋势统计：显示运营信息查询、站点对比曲线、日月年报表、站点对比列表等功能。

图7 运营趋势界面

收益查询：提供收益汇总、实际收益报表、收益变化曲线、支付方式占比等功能。

图8 收益查询界面

故障分析：提供故障汇总、故障状态饼图、故障趋势分析、故障类型饼图等功能。

图9 故障分析界面

订单记录：提供实时/历史订单查询、订单终止、订单详情、订单导出、运营商应收信息、充电明细、交易流水查询、充值余额明细等功能。

六、产品选型

 安科瑞为广大用户提供慢充和快充两种充电方式，便携式、壁挂式、落地式等多种类型的充电桩，包含智能7kw/21kw交流充电桩，30kw直流充电桩，60kw/80kw/120kw/180kw直流一体式充电桩来满足新能源汽车行业快速、经济、智能运营管理的市场需求。实现对动力电池快速、高效、安全、合理的电量补给，同时为提高公共充电桩的效率和实用性，具有有智能监测：充电桩智能控制器对充电桩具备测量、控制与保护的功能；智能计量：输出配置智能电能表，进行充电计量，具备完善的通信功能；云平台：具备连接云平台的功能，可以实现实时监控，财务报表分析等等；远程升级：具备完善的通讯功能，可远程对设备软件进行升级；保护功能：具备防雷保护、过载保护、短路保护，漏电保护和接地保护等功能；适配车型：满足国标充电接口，适配所有符合国标的电动汽车，适应不同车型的不同功率。下面是具体产品的型号和技术参数。

七、现场图片

八、结论

本文基于R框架,研究了含EV充放电负荷与分布式新能源发电的 VPP优化调度问题,以VPP 运行总效益为目标。针对上述VPP,提出了基于R的交互式调度框架。交互式调度帮助EV用户实现了较低的充电费用和较高的充电满意度。后续会对电价动态变化机制下含EV充放电负荷的 VPP优化调度问题进行研究,将在 VPP 中加入储能单元,与EV充放电负荷和分布式新能源发电配合,进一步改善 VPP运行性能。