理解LoRA: Low-Rank Adaptation
注：以下的理解只是我自己的理解，如果要看权威的解释，你可以看看论文。当然，权威的解释有时候也不好理解。如有什么问题，欢迎到评论区指正🥰 LoRA是什么 简单来说，LoRA是一种技术，可以微调模型（神经网络）里的参数。可以将模型看成是一个具有很多参数的函数，你输入一个东西，这个模型就会输出一个数字，文本或者图像。拿ChatGPT举例来说，你输入的文本会先转换成一个个数字（Word Embedding），然后这些数字放到模型这个函数里面，这个模型会给出一系列输出的数字，每个数字都在$[0,1]$之间，而这个每一个数字会对应一个单词，这个数字就代表这个单词出现在这句话后面的概率，ChatGPT就像这样将单词一个一个“吐出来”。