From 17a66b6fcef24c10a2df5decdfb6302d766ea419 Mon Sep 17 00:00:00 2001 From: Xcreate672 <3534270192@qq.com> Date: Wed, 29 Apr 2026 20:19:58 +0800 Subject: [PATCH 01/13] Update test --- .github/workflows/compile_with_latex_2020.yml | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/.github/workflows/compile_with_latex_2020.yml b/.github/workflows/compile_with_latex_2020.yml index edaf4c2..9521c3b 100644 --- a/.github/workflows/compile_with_latex_2020.yml +++ b/.github/workflows/compile_with_latex_2020.yml @@ -1,7 +1,7 @@ # 使用不同的latex版本编译，需要放到不同文件中 # 放到不同-name中编译会报错： # Biber error: [336] Utils.pm:411> ERROR - Error: Found biblatex control file version 3.11, expected version 3.7. - +#test by me name: Compile Latex on: [push, pull_request] From 0bf78f11e3c8b926d27080e2891ef2c7ab9589b5 Mon Sep 17 00:00:00 2001 From: Xcreate672 <3534270192@qq.com> Date: Fri, 1 May 2026 15:48:06 +0800 Subject: [PATCH 02/13] =?UTF-8?q?=E4=BF=AE=E6=AD=A3=20chap12=20=E6=9C=AF?= =?UTF-8?q?=E8=AF=AD=E8=A1=A8=E8=BE=BE?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- chap12/chap12.tex | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/chap12/chap12.tex b/chap12/chap12.tex index e302d87..b1ba270 100644 --- a/chap12/chap12.tex +++ b/chap12/chap12.tex @@ -10,7 +10,7 @@ \chapter{强化学习的神经科学} \label{chap:chap12} 多巴胺似乎会将\textit{时间差分误差}传递给进行学习和决策的大脑结构。 \textit{多巴胺神经元活动的奖赏预测误差假说}表达了这种平行性，该假说是由计算强化学习和神经科学实验结果的汇聚引起的。 在本章中，我们讨论了这一假设，导致这一假设的神经科学发现，以及为什么它对理解大脑奖励系统有重要贡献。 -我们还讨论了强化学习和神经科学之间的相似之处，这些相似之处不如\textit{多巴胺}/\textit{时间差分误差}的相似之处引人注目，但为思考动物基于回报的学习提供了有用的概念工具。 +我们还讨论了强化学习和神经科学之间的相似之处，这些相似之处不如\textit{多巴胺和时序差分误差}的相似之处引人注目，但为思考动物基于回报的学习提供了有用的概念工具。 强化学习的其他元素有可能影响神经系统的研究，但它们与神经科学的联系仍相对未开发。 我们讨论了其中几个不断发展的联系，我们认为这些联系将随着时间的推移而变得越来越重要。 From 745e95ed3946327dcdcc43b1f1fad1ebc7bb4a5b Mon Sep 17 00:00:00 2001 From: Haidong Wang Date: Fri, 1 May 2026 16:07:31 +0800 Subject: [PATCH 03/13] =?UTF-8?q?=E7=A7=BB=E9=99=A4=E4=B8=8D=E9=9C=80?= =?UTF-8?q?=E8=A6=81=E7=9A=84=E4=BF=AE=E6=94=B9?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .github/workflows/compile_with_latex_2020.yml | 1 - 1 file changed, 1 deletion(-) diff --git a/.github/workflows/compile_with_latex_2020.yml b/.github/workflows/compile_with_latex_2020.yml index 9521c3b..73c17d3 100644 --- a/.github/workflows/compile_with_latex_2020.yml +++ b/.github/workflows/compile_with_latex_2020.yml @@ -1,7 +1,6 @@ # 使用不同的latex版本编译，需要放到不同文件中 # 放到不同-name中编译会报错： # Biber error: [336] Utils.pm:411> ERROR - Error: Found biblatex control file version 3.11, expected version 3.7. -#test by me name: Compile Latex on: [push, pull_request] From 602e25c347d0540ca6cd35ace9479830ca402007 Mon Sep 17 00:00:00 2001 From: Xcreate672 <3534270192@qq.com> Date: Fri, 1 May 2026 16:19:30 +0800 Subject: [PATCH 04/13] =?UTF-8?q?=E4=BF=AE=E6=94=B9chap12.tex=E7=94=A8?= =?UTF-8?q?=E8=AF=AD?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 修改了错误用词和标点，让句子更通顺易懂。 --- chap12/chap12.tex | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/chap12/chap12.tex b/chap12/chap12.tex index b1ba270..66fa57d 100644 --- a/chap12/chap12.tex +++ b/chap12/chap12.tex @@ -26,7 +26,7 @@ \chapter{强化学习的神经科学} \label{chap:chap12} 我们也没有公正地对待那些与强化学习非常一致的假设和模型的替代品。 该领域的专家之间存在分歧并不奇怪。 我们只能一窥这个引人入胜、不断发展的故事。 -不过，我们希望本章能让你相信，一个非常富有成效的渠道已经出现，它将强化学习及其理论基础与动物基于奖励的学习的神经科学联系起来。 +不过，我们希望本章能让你相信，一条极具成效的研究路径已经浮现，它将强化学习及其理论基础，与动物基于奖励的学习的神经科学联系起来。 许多优秀的出版物涵盖了强化学习和神经科学之间的联系，其中一些我们在本章的最后一节中引用。 From 1f0ed8a51fee8d0fd7799366885b3fa720a361c5 Mon Sep 17 00:00:00 2001 From: Xcreate672 <3534270192@qq.com> Date: Fri, 1 May 2026 20:44:22 +0800 Subject: [PATCH 05/13] =?UTF-8?q?=E4=BF=AE=E6=94=B9chat12.tex=E8=AF=AD?= =?UTF-8?q?=E7=97=85?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 修改语句语序，让句子更通顺 --- chap12/chap12.tex | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/chap12/chap12.tex b/chap12/chap12.tex index 66fa57d..d4f4a52 100644 --- a/chap12/chap12.tex +++ b/chap12/chap12.tex @@ -9,7 +9,7 @@ \chapter{强化学习的神经科学} \label{chap:chap12} 强化学习和神经科学之间最显著的联系点涉及多巴胺，这是一种深入参与哺乳动物大脑奖励处理的化学物质。 多巴胺似乎会将\textit{时间差分误差}传递给进行学习和决策的大脑结构。 \textit{多巴胺神经元活动的奖赏预测误差假说}表达了这种平行性，该假说是由计算强化学习和神经科学实验结果的汇聚引起的。 -在本章中，我们讨论了这一假设，导致这一假设的神经科学发现，以及为什么它对理解大脑奖励系统有重要贡献。 +在本章中，我们将讨论这一假设、催生该假设的神经科学发现，以及该假设对理解大脑奖励系统的重要意义。 我们还讨论了强化学习和神经科学之间的相似之处，这些相似之处不如\textit{多巴胺和时序差分误差}的相似之处引人注目，但为思考动物基于回报的学习提供了有用的概念工具。 强化学习的其他元素有可能影响神经系统的研究，但它们与神经科学的联系仍相对未开发。 我们讨论了其中几个不断发展的联系，我们认为这些联系将随着时间的推移而变得越来越重要。 From ebabc9aa920651de73c0b6cdf73b21df749d95bc Mon Sep 17 00:00:00 2001 From: Xcreate672 <3534270192@qq.com> Date: Fri, 1 May 2026 20:46:00 +0800 Subject: [PATCH 06/13] =?UTF-8?q?=E4=BF=AE=E6=94=B9chap12.tex=E4=B8=AD18-2?= =?UTF-8?q?0=E8=A1=8C?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 使句子通顺 --- chap12/chap12.tex | 6 +++--- 1 file changed, 3 insertions(+), 3 deletions(-) diff --git a/chap12/chap12.tex b/chap12/chap12.tex index d4f4a52..2f850fe 100644 --- a/chap12/chap12.tex +++ b/chap12/chap12.tex @@ -15,9 +15,9 @@ \chapter{强化学习的神经科学} \label{chap:chap12} 我们讨论了其中几个不断发展的联系，我们认为这些联系将随着时间的推移而变得越来越重要。 -正如强化学习的早期历史所概述的，强化学习的许多方面都受到了神经科学的影响。 -本章的第二个目标是让读者了解对我们贡献的强化学习方法关于大脑功能的想法。 -从大脑功能的理论来看，强化学习的一些元素更容易理解。 +正如强化学习发展历程所示，其许多核心思想都受到了神经科学的启发。 +本章的第二个目标，是向读者介绍我们基于强化学习方法提出的大脑功能相关观点。 +从大脑功能的理论视角出发，强化学习的部分核心机制也能得到更清晰的解释。 \textit{资格迹}是强化学习的基本机制之一，它起源于突触的一种推测性质，突触是神经细胞（神经元）相互交流的结构。 From 0577a298138b3ac27b18a1861a7f75bf692c9fa3 Mon Sep 17 00:00:00 2001 From: Xcreate672 <3534270192@qq.com> Date: Fri, 1 May 2026 20:47:23 +0800 Subject: [PATCH 07/13] =?UTF-8?q?Update=20chap12.tex=2021=E8=A1=8C?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 使语句通顺 --- chap12/chap12.tex | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/chap12/chap12.tex b/chap12/chap12.tex index 2f850fe..da441dc 100644 --- a/chap12/chap12.tex +++ b/chap12/chap12.tex @@ -18,7 +18,7 @@ \chapter{强化学习的神经科学} \label{chap:chap12} 正如强化学习发展历程所示，其许多核心思想都受到了神经科学的启发。 本章的第二个目标，是向读者介绍我们基于强化学习方法提出的大脑功能相关观点。 从大脑功能的理论视角出发，强化学习的部分核心机制也能得到更清晰的解释。 -\textit{资格迹}是强化学习的基本机制之一，它起源于突触的一种推测性质，突触是神经细胞（神经元）相互交流的结构。 +\textit{资格迹}是强化学习的核心机制之一，它源于对突触特性的一种推测——突触正是神经元之间传递信息的关键结构。 在本章中，我们没有深入研究动物基于奖励的学习背后的神经系统的巨大复杂性：本章太短，我们不是神经科学家。 From f92a971c2e92a567f94272557302699cd8c0fe74 Mon Sep 17 00:00:00 2001 From: Xcreate672 <3534270192@qq.com> Date: Fri, 1 May 2026 20:51:14 +0800 Subject: [PATCH 08/13] =?UTF-8?q?Update=20chap12.tex=E7=AC=AC=E5=9B=9B?= =?UTF-8?q?=E8=A1=8C?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 修改语句使通顺 --- chap12/chap12.tex | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/chap12/chap12.tex b/chap12/chap12.tex index da441dc..302c454 100644 --- a/chap12/chap12.tex +++ b/chap12/chap12.tex @@ -1,7 +1,7 @@ \chapter{强化学习的神经科学} \label{chap:chap12} -神经科学是对神经系统的多学科研究：它们如何调节身体功能；控制行为；随着时间的推移，由于发展、学习和衰老而发生的变化；以及细胞和分子机制如何使这些功能成为可能。 +神经科学是研究神经系统的多学科领域，探索其如何调节生理功能、控制行为，以及随发育、学习和衰老发生的变化，并阐明实现这些过程的细胞与分子机制。 强化学习最令人兴奋的方面之一是来自神经科学的越来越多的证据，证明人类和许多其他动物的神经系统实现的算法与强化学习算法惊人地对应。 本章的主要目的是解释这些相似之处，以及它们对动物奖励相关学习的神经基础的建议。 From 8a2cafbcce28d97bd4b64e24c09328a39741e7e7 Mon Sep 17 00:00:00 2001 From: Xcreate672 <3534270192@qq.com> Date: Fri, 1 May 2026 23:11:13 +0800 Subject: [PATCH 09/13] =?UTF-8?q?Update=20chap12.tex5=E8=A1=8C?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 修改语病 --- chap12/chap12.tex | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/chap12/chap12.tex b/chap12/chap12.tex index 302c454..ccd0814 100644 --- a/chap12/chap12.tex +++ b/chap12/chap12.tex @@ -3,7 +3,7 @@ \chapter{强化学习的神经科学} \label{chap:chap12} 神经科学是研究神经系统的多学科领域，探索其如何调节生理功能、控制行为，以及随发育、学习和衰老发生的变化，并阐明实现这些过程的细胞与分子机制。 强化学习最令人兴奋的方面之一是来自神经科学的越来越多的证据，证明人类和许多其他动物的神经系统实现的算法与强化学习算法惊人地对应。 -本章的主要目的是解释这些相似之处，以及它们对动物奖励相关学习的神经基础的建议。 +本章的主要目的是解释这些相似之处，以及给动物奖励相关学习的神经基础提出一些建议。 强化学习和神经科学之间最显著的联系点涉及多巴胺，这是一种深入参与哺乳动物大脑奖励处理的化学物质。 From 8fdbf31275afb83ffe6b4b8b8ee725926d3264b0 Mon Sep 17 00:00:00 2001 From: Xcreate672 <3534270192@qq.com> Date: Mon, 1 Jun 2026 20:31:08 +0800 Subject: [PATCH 10/13] Update compile_with_latex_2020.yml MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 只有一个值 ubuntu-latest，用 matrix 没有意义 --- .github/workflows/compile_with_latex_2020.yml | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/.github/workflows/compile_with_latex_2020.yml b/.github/workflows/compile_with_latex_2020.yml index 73c17d3..1b82639 100644 --- a/.github/workflows/compile_with_latex_2020.yml +++ b/.github/workflows/compile_with_latex_2020.yml @@ -7,7 +7,7 @@ on: [push, pull_request] jobs: build_latex: - runs-on: ${{ matrix.os }} + runs-on: ubuntu-latest strategy: matrix: os: [ubuntu-latest] From 01a6510bf4d02ee6d5d3561ea30920f3f1f60a0c Mon Sep 17 00:00:00 2001 From: Xcreate672 <3534270192@qq.com> Date: Mon, 1 Jun 2026 20:34:30 +0800 Subject: [PATCH 11/13] Update compileandrelease.yml MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 把 Release 步骤的触发条件和 tag 推送配合起来 --- .github/workflows/compileandrelease.yml | 5 ++++- 1 file changed, 4 insertions(+), 1 deletion(-) diff --git a/.github/workflows/compileandrelease.yml b/.github/workflows/compileandrelease.yml index c3dcd66..ef2e59d 100644 --- a/.github/workflows/compileandrelease.yml +++ b/.github/workflows/compileandrelease.yml @@ -1,7 +1,10 @@ name: Compile Latex -on: [push] +on: + push: + branches: ['**'] + tags: ['v*'] jobs: build_latex: From 0ae93145782edbb0ac21a56338e9857f677087f2 Mon Sep 17 00:00:00 2001 From: Xcreate672 <3534270192@qq.com> Date: Mon, 1 Jun 2026 20:39:40 +0800 Subject: [PATCH 12/13] Update preface.tex MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 修改了一些表述错误和单词错误等 --- chap0/preface.tex | 6 +++--- 1 file changed, 3 insertions(+), 3 deletions(-) diff --git a/chap0/preface.tex b/chap0/preface.tex index 740efd2..c3e533d 100644 --- a/chap0/preface.tex +++ b/chap0/preface.tex @@ -15,9 +15,9 @@ Actor-Critic (AC) && 行动者-评论家 \\ \midrule - boold oxygen-level dependent [singal](BOLD) &&血氧水平依赖 \\ + blood oxygen-level dependent [singal](BOLD) &&血氧水平依赖 \\ \midrule - rostral cingulate motor area(CAMr) &&头侧扣带运动区 \\ + rostral cingulate motor area(CMAr) &&头侧扣带运动区 \\ \midrule cinggulate motor areas(CAMs) &&扣带运动区 \\ \midrule @@ -27,7 +27,7 @@ \midrule frontal eye field(FEF) &&额叶视区 \\ \midrule - funtional magnetic resonace imaging(fMRI) &&功能性核磁共振成像 \\ + functional magnetic resonance imaging(fMRI) &&功能性核磁共振成像 \\ \midrule antero-dorsal granular area(GrAD) &&前背颗粒区 \\ \midrule From f2ad82c421453464f77552e09f6b814b079c291c Mon Sep 17 00:00:00 2001 From: Xcreate672 <3534270192@qq.com> Date: Mon, 1 Jun 2026 20:41:30 +0800 Subject: [PATCH 13/13] Update preface.tex MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 修改了缩写错误和单词错误 --- chap0/preface.tex | 6 +++--- 1 file changed, 3 insertions(+), 3 deletions(-) diff --git a/chap0/preface.tex b/chap0/preface.tex index c3e533d..7bd3490 100644 --- a/chap0/preface.tex +++ b/chap0/preface.tex @@ -33,7 +33,7 @@ \midrule antero-lateral granular area(GrAL) &&前外侧颗粒区 \\ \midrule - dorsal granlar area(GrD) &&背侧颗粒区 \\ + dorsal granular area(GrD) &&背侧颗粒区 \\ \midrule medial granular area &&内侧颗粒区 \\ \midrule @@ -43,7 +43,7 @@ \midrule poster-medial granular area(GrPM) &&后内侧颗粒区 \\ \midrule - ventral granular area(CrV) &&腹侧颗粒区 \\ + ventral granular area(GrV) &&腹侧颗粒区 \\ \midrule thousand years ago(Ka) &&千年前 \\ \midrule @@ -61,7 +61,7 @@ \midrule orbital frontal cortex(OFC) &&眶额皮层 \\ \midrule - positron emission tomography(PEF) &&正电子发射断层扫描 \\ + positron emission tomography(PET) &&正电子发射断层扫描 \\ \midrule prefrontal cortex(PF) &&前额叶皮层 \\ \midrule