当前位置: 首页>后端>正文

03.06日记

1.布置了作业,部署大模型以及看一下有哪些问题。(我试一下下一个模型吧)

2.模型和求解是两个方法。NLP,仅仅有深度学习不够。

统计学习:解决概率建模之后的求解。(包括随机过程,比如从马尔可夫链收敛的稳态分布进行抽样)

最优化:解决优化建模之后的求解。(不同收敛速度下,怎么办)

强化学习:解决动态交互过程建模&求解。(本质上是概率模型,马尔可夫决策过程,要计算期望)

3.真正的算法工程师还是比较值钱的。因为技术栈构建是比较慢的。

比如说补一下最优化基础。这是需要学习时间的。包括得每周做题。

在公司年薪很高的人都是很大的技术栈,很久培养出来的。

4.语言模型,最本质的是建模联合分布。

怎么建模?

多项式分布.....其他经验分布。

神经网络,训练出一个满足概率定义的函数

演示一个统计建模过程:

换成条件概率,本质是样本空间的压缩。

03.06日记,第1张
本质是计算什么
03.06日记,第2张
分类问题的建模

通过独立性假设,减少需要的参数。减少建模的难度。

03.06日记,第3张
因果推断

在气温的条件下,冰淇淋销售和犯罪率其实是无关的。(【验证】气温等于某个值的时候,冰淇淋销售和犯罪率是否无关)

但要是没有气温这个条件,你会【假设】当冰淇淋销售增加,犯罪率也在增加。然后你试图控制冰淇淋销售来达到犯罪率的控制!!

优化的时候,加入气温变量,把冰淇淋销售和犯罪率之间的关联就可以删掉了。

【做假设】【验证】【修改】

(为啥有些paper你赶紧没用,因为假设太强了)

03.06日记,第4张
建模
03.06日记,第5张
全是随机变量
03.06日记,第6张
解析解

有解析解,不需要数值近似解(神经网络最小二梯度下降逼近)

03.06日记,第7张
求解似然函数是最优化

一个带约束的优化问题。迭代或者求解析解。等式约束拉格朗日乘子法。


https://www.xamrdz.com/backend/3l31938984.html

相关文章: