1.布置了作业,部署大模型以及看一下有哪些问题。(我试一下下一个模型吧)
2.模型和求解是两个方法。NLP,仅仅有深度学习不够。
统计学习:解决概率建模之后的求解。(包括随机过程,比如从马尔可夫链收敛的稳态分布进行抽样)
最优化:解决优化建模之后的求解。(不同收敛速度下,怎么办)
强化学习:解决动态交互过程建模&求解。(本质上是概率模型,马尔可夫决策过程,要计算期望)
3.真正的算法工程师还是比较值钱的。因为技术栈构建是比较慢的。
比如说补一下最优化基础。这是需要学习时间的。包括得每周做题。
在公司年薪很高的人都是很大的技术栈,很久培养出来的。
4.语言模型,最本质的是建模联合分布。
怎么建模?
多项式分布.....其他经验分布。
神经网络,训练出一个满足概率定义的函数。
演示一个统计建模过程:
换成条件概率,本质是样本空间的压缩。
通过独立性假设,减少需要的参数。减少建模的难度。
在气温的条件下,冰淇淋销售和犯罪率其实是无关的。(【验证】气温等于某个值的时候,冰淇淋销售和犯罪率是否无关)
但要是没有气温这个条件,你会【假设】当冰淇淋销售增加,犯罪率也在增加。然后你试图控制冰淇淋销售来达到犯罪率的控制!!
优化的时候,加入气温变量,把冰淇淋销售和犯罪率之间的关联就可以删掉了。
【做假设】【验证】【修改】
(为啥有些paper你赶紧没用,因为假设太强了)
有解析解,不需要数值近似解(神经网络最小二梯度下降逼近)
一个带约束的优化问题。迭代或者求解析解。等式约束拉格朗日乘子法。