准备工作 分析请求头信息 为了防止限制，打开百度汉语官网并登录，使用浏览器F12复制所有请求头信息，其中cookie是登录信息 分析根据关键字查找

on-policy version off-policy version 算法实现 Value update 需要使用behaviour进采行采样 每一个episode里面会对所有的样本行采样来计算$y_T$，这个是target网络

概念 原先的动作是没有标签的，强化学习可以对每一个动作进行打分，然后学习，不断的迭代完成算法的学习。 按环境分类 Model-Free RL（不理解所处环境） 环境给到

安装插件 前置需要安装NvChad 引入插件 1 2 3 4 5 6 7 8 9 10 11 12 { lazy = false, "rcarriga/nvim-dap-ui", dependencies = { { "mfussenegger/nvim-dap", config = function() return require("custom.configs.dap.init")  Annotations specify that at most 0 return value(s) are required, found 1 to 2 returned here instead. end, }, }, }, 配

Step1 （安装GNOME桌面） 1 2 3 sudo apt-get update sudo apt-get install gnome-session-flashback sudo apt-get install ubuntu-desktop gnome-panel gnome-settings-daemon metacity nautilus gnome-terminal -y Step2 1 sudo apt-get -y install xfonts-100dpi xfonts-100dpi-transcoded xfonts-75dpi xfonts-75dpi-transcoded xfonts-base Step3 1 sudo apt install tigervnc-standalone-server Step4：配置密码 1 vncpasswd Step5：配置X

基本概念 布局的定义 布局问题可以描述为一个超图问题，可以定义为如下： $$G = (V,E,R)$$ 其中$V$表示元器件（顶点）集合，$E$表示网表（超边）集合，$R$