简单说说对RAG的理解,以及你们项目中是怎么应用到RAG的
说说什么是LoRA
反向传播的时候我们修改模型的参数矩阵W0,这个矩阵的参数量特别大,我们可以通过奇异值分解(SVD)的方式将它分解成两个小矩阵AxB,其中A是dxr,B是rxd,这样我们就将训练的参数量从dxd降到dxr+rxd。
% 我的Linux初始化环境配置
% Onlyblacktea
% 2022-07-02 17:27:12
从2019年起我就逐渐开始尝试使用Linux系统了,回想起我最早装ubuntu的日子,由于驱动问题导致在安装过程中死机、以及各种装输入法不成功、还有sudo apt remove python导致系统崩溃等等。后来我在腾讯云租了一台学生机,通过没有桌面环境的系统(不怎么容易崩)配了现在的这个网站,以及当时需要Linux环境做的一些开发。再到后来就是经过推荐后使用了KDE桌面环境,在工位上装了Kubuntu 21.10,一直是根据需求在做配置,用到今天。大三结束以后,我在家心血来潮安装了数个不同的Linux发行版,便觉Linux世界之广阔,而后开始思考:我如何做一套流程,以便为我下次安装新系统时配一套初始的开发环境。
| |