安装软件

安装git

• 官网下载git，确定好安装位置，无脑下一步即可。
• 完成后右键菜单将出现 Git GUI 和 Git Bash 两个新选项

本文简要记录Stable Diffusion为主的视觉生成大模型的原理和实现。

🔥Stable Diffusion

使用C++完成leetcode算法题hot100（有选择地记录），并记录算法思路和心路历程。

使用C++完成leetcode算法题hot100（有选择地记录），并记录算法思路和心路历程。

本次借助LangChain框架，实现一个基于LLM的Agent，Agent的核心逻辑是让LLM根据动态变化的环境信息，选择执行具体的行动，并反过来影响环境，通过多轮迭代重复执行上述步骤，直到完成目标。总结就是：感知(P) — 规划(P) — 行动(A)。

本文作为笔记，通过阅读论文，记录市面上主流的大模型的技术内容。

本文记录了解大模型技术前可以先学习的细小知识点。

🔥注意力机制

• 微调按参数对象分为高效参数微调PEFT和全参量微调FFT，按策略分为监督微调SFT和基于人类反馈的强化学习RLHF。
• 本次借助huggingface平台下载大模型和数据集，并在本地尝试进行微调，目的是跑通并体验微调过程。将依次进行三个，分别是SFT方法（PEFT的LoRA、Prefix），以及RLHF方法（PEFT或FFT）。

本次在本地电脑部署离线的大模型和RAG架构，并进行初步的功能测试，以简单地入门大模型及RAG架构。

🔥大模型部署

• 这次部署大模型使用的是Ollama，它一个开源的LLM提供商，部署简便很适合入门使用。

github仓库
需要先阅读本文所基于的上一个工作：基于DQN的机器人自动走迷宫

• 上次使用已有的库完成走迷宫任务的方案，需要通过获取全图视野来生成完美轨迹样本来进行训练，但是效果也是立竿见影。
• 但是很多时候没有办法把获取这样的完美样本，需要智能体从起点开始完全自主摸索获取轨迹样本，然后训练，所以本文尝试不使用全图视野获取来训练。