MIMI的博客 https://shqww.github.io/ Recent content from MIMI的博客 Hugo zh-CN haoruw@outlook.com (MIMI) haoruw@outlook.com (MIMI) 本博客所有文章除特别声明外，均采用 BY-NC-SA 许可协议。转载请注明出处！ Thu, 30 Apr 2026 00:00:00 +0000 LLM后训练(五)--GRPO和DPO https://shqww.github.io/post/llmpost%E4%BA%94/ Thu, 30 Apr 2026 00:00:00 +0000 haoruw@outlook.com (MIMI) https://shqww.github.io/post/llmpost%E4%BA%94/ LLM后训练(五)--GRPO和DPO

作者：MIMI（haoruw@outlook.com）

本文是LLM后训练的第五篇，介绍了两种基于LLM强化学习的后训练方法：GRPO（Generalized Reward Policy Optimization）和DPO（Direct Preference Optimization）。

本文2026-04-30首发于MIMI的博客，最后修改于2026-04-30

]]> LLM Post Training LLM后训练(四)--RLHF-PPO https://shqww.github.io/post/llmpost%E5%9B%9B/ Wed, 29 Apr 2026 00:00:00 +0000 haoruw@outlook.com (MIMI) https://shqww.github.io/post/llmpost%E5%9B%9B/ LLM后训练(四)--RLHF-PPO

作者：MIMI（haoruw@outlook.com）

本文是LLM后训练的第四篇，从这篇开始，会介绍LLM的后训练。而本篇章主要介绍基于人类反馈的强化学习（Reinforcement Learning with Human Feedback, RLHF）以及PPO算法在RLHF中如何应用。

本文2026-04-29首发于MIMI的博客，最后修改于2026-04-29

]]> LLM Post Training LLM后训练(三)--PPO算法 https://shqww.github.io/post/llmpost%E4%B8%89/ Sun, 26 Apr 2026 00:00:00 +0000 haoruw@outlook.com (MIMI) https://shqww.github.io/post/llmpost%E4%B8%89/ LLM后训练(三)--PPO算法

作者：MIMI（haoruw@outlook.com）

本文是LLM后训练的第三篇，主要介绍近端策略优化（Proximal Policy Optimization，简称PPO）算法。PPO算法在LLM后训练中起到举足轻重的作用。PPO算法更像是一个强化学习技巧的集合体，其设计重点在于保证训练的稳定性。因此在介绍PPO算法之前，需要先了解其背后的一些基础背景。

本文2026-04-26首发于MIMI的博客，最后修改于2026-04-26

]]> LLM Post Training LLM后训练(二)--价值函数 https://shqww.github.io/post/llmpost%E4%BA%8C/ Thu, 23 Apr 2026 00:00:00 +0000 haoruw@outlook.com (MIMI) https://shqww.github.io/post/llmpost%E4%BA%8C/ LLM后训练(二)--价值函数

作者：MIMI（haoruw@outlook.com）

本文是LLM后训练的第二篇，主要介绍强化学习中价值函数以及Advantage Actor-Critic模型(A2C)。

奖励信号的构造方式

在LLM后训练（一）中，我们介绍了强化学习的基本概念和一些常用的算法，并介绍了最原始的奖励损失函数：

本文2026-04-23首发于MIMI的博客，最后修改于2026-04-23

]]> LLM Post Training LLM后训练(一)--强化学习 https://shqww.github.io/post/llmpost%E4%B8%80/ Wed, 22 Apr 2026 00:00:00 +0000 haoruw@outlook.com (MIMI) https://shqww.github.io/post/llmpost%E4%B8%80/ LLM后训练(一)--强化学习

作者：MIMI（haoruw@outlook.com）

本为 LLM 强化学习后训练梳理与总结。其脉络沿着强化学习的基本概念、算法原理、改进策略、以及在大语言模型后训练中的应用展开。不会涵盖强化学习的所有内容，而是聚焦于与大语言模型后训练相关的部分。主要是理清大语言模型后训练中强化学习的核心逻辑和思路。

本文2026-04-22首发于MIMI的博客，最后修改于2026-04-22

]]> LLM Post Training 主成分分析和线性回归对比 https://shqww.github.io/post/pca_lr/ Thu, 28 Nov 2024 00:00:00 +0000 haoruw@outlook.com (MIMI) https://shqww.github.io/post/pca_lr/ 主成分分析和线性回归对比

作者：MIMI（haoruw@outlook.com）

对比二维空间下主成分分析和线性回归的优化目标和结果。

本文2024-11-28首发于MIMI的博客，最后修改于2024-11-28

]]> Machine Learning 扩散模型中的随机微分方程 https://shqww.github.io/post/diffusion_model_sde/ Thu, 28 Nov 2024 00:00:00 +0000 haoruw@outlook.com (MIMI) https://shqww.github.io/post/diffusion_model_sde/ 扩散模型中的随机微分方程

作者：MIMI（haoruw@outlook.com）

对扩散模型中涉及的随机微分方程进行详细的数学分析和证明。

本文2024-11-28首发于MIMI的博客，最后修改于2024-11-28

]]> Machine Learning Linux下配置zsh和oh my zsh https://shqww.github.io/post/zsh_oh-my-zsh/ Thu, 28 Nov 2024 00:00:00 +0000 haoruw@outlook.com (MIMI) https://shqww.github.io/post/zsh_oh-my-zsh/ Linux下配置zsh和oh my zsh

作者：MIMI（haoruw@outlook.com）

Linux下配置zsh和oh my zsh方法。

本文2024-11-28首发于MIMI的博客，最后修改于2024-11-28

]]> Linux linux服务器使用ssh秘钥登录以及禁用ssh密码登录 https://shqww.github.io/post/linux%E6%9C%8D%E5%8A%A1%E5%99%A8%E4%BD%BF%E7%94%A8ssh%E7%A7%98%E9%92%A5%E7%99%BB%E5%BD%95%E4%BB%A5%E5%8F%8A%E7%A6%81%E7%94%A8ssh%E5%AF%86%E7%A0%81%E7%99%BB%E5%BD%95/ Thu, 28 Nov 2024 00:00:00 +0000 haoruw@outlook.com (MIMI) https://shqww.github.io/post/linux%E6%9C%8D%E5%8A%A1%E5%99%A8%E4%BD%BF%E7%94%A8ssh%E7%A7%98%E9%92%A5%E7%99%BB%E5%BD%95%E4%BB%A5%E5%8F%8A%E7%A6%81%E7%94%A8ssh%E5%AF%86%E7%A0%81%E7%99%BB%E5%BD%95/ linux服务器使用ssh秘钥登录以及禁用ssh密码登录

作者：MIMI（haoruw@outlook.com）

linux服务器使用ssh秘钥登录以及禁用ssh密码登录。

本文2024-11-28首发于MIMI的博客，最后修改于2024-11-28

]]> Linux Docker 之代理配置 https://shqww.github.io/post/docker_proxy/ Thu, 28 Nov 2024 00:00:00 +0000 haoruw@outlook.com (MIMI) https://shqww.github.io/post/docker_proxy/ Docker 之代理配置

作者：MIMI（haoruw@outlook.com）

本文介绍docker使用过程中的各种代理配置。

本文2024-11-28首发于MIMI的博客，最后修改于2024-11-28

]]> Linux