概率图、HMM与CRF

概率图、HMM与CRF的区别如下：概率图： 定义：概率图模型是用图来表示变量概率依赖关系的模型。图中的节点表示变量，边表示变量间的依赖关系。 分类：概率图模型可以分为有向图模型和无向图模型。HMM： 模型结构：HMM是基于有向图的模型，每个节点代表一个状态，边表示状态之间的转移。 假设：HMM受限于齐次马尔可夫假设和观测独立假设。

首先，从模型结构上看，HMM是基于有向图的，每个节点代表一个状态，边表示状态之间的转移；而CRF则是无向图模型，状态间的依赖关系更为复杂，可以自定义特征模板。

CRF和HMM的阅读笔记条件随机场 定义：CRF是一种无向图模型，用于定义观测变量集和目标集合之间的条件概率分布。其核心是求解给定观测变量的条件概率P。 对数线性模型：CRF通过定义对数线性模型，将因子表示为能量函数w和特征函数的乘积。这种模型结构有助于清晰地分解权重值，并在人工智能学习中进行参数学习。

模型结构：HMM是一种生成模型，其基本假设是隐含状态（隐变量）影响着可观察到的输出。HMM包括隐含状态序列和观察序列，并且假设当前的观察只与当前的隐含状态有关。CRF是一种判别模型，其基本假设是给定输入序列条件下，输出序列的概率最大。CRF直接对输出序列进行建模，不涉及隐含状态。

CRF的核心思想：将有向图模型（MEMM）转为无向图模型，通过全局归一化解决标签偏差问题。建模对象为条件概率 $ P（Y|X） = frac{1}{Z} exp left（ sum_{t=1}^{T-1} F_t（y_{t-1}，y_t，x_{..T}） right） $，其中 $ Z $ 为归一化因子。

【深度学习与NLP】如何理解LSTM+CRF做命名实体识别?

1、LSTM层的作用LSTM（长短期记忆网络）是一种特殊的循环神经网络（RNN），能够有效处理序列数据中的长期依赖关系。在NER任务中，LSTM层的主要作用包括：特征提取：LSTM逐个处理输入序列中的token（如单词或字符），捕捉上下文信息，生成包含语义和语法信息的隐藏状态表示。

2、深度学习在命名实体识别中的经典结构包括LSTM-CRF和Stack-LSTM。LSTM-CRF结构利用LSTM学习上下文特征，CRF则学习标签特征，如状态转移矩阵。在Tensorflow中，训练时会获得转移矩阵。字符级别的结构以字符作为基本输入，结合char embedding，使用LSTM为每个字符分配标签。

3、命名实体识别（NER），作为NLP领域的基础任务，其核心目标是识别文本中出现的各类实体，如人名和组织机构名等。本文将深入探讨常用于该任务的BiLSTM+CRF模型。

4、BERT作为一种强大的预训练模型，能够捕捉到丰富的语义信息，通过与BiLSTM和CRF的结合，实现对命名实体的高效识别。BERT-BILSTM-CRF模型首先使用BERT进行词向量的预训练，然后通过BiLSTM进行特征提取，最后利用CRF层进行序列标注。这种模型能够自适应学习，无需大量特征工程，且在实验结果上表现优秀。

5、BERT模型直接对字符序列进行分类，结合LSTM和CRF进行改进，尽管BERT已具备强大的上下文特征学习能力，LSTM的作用仍有待深入理解。ERNIE模型尝试但效果不佳，可能需进一步调整。总结而言，命名实体识别的深度学习架构通常包括embedding作为输入、LSTM提取上下文特征、CRF获得label转移矩阵的步骤。

6、LSTM-CRF是一种结合了LSTM（长短期记忆网络）和CRF（条件随机场）的序列标注模型，主要用于处理序列标注任务，如命名实体识别（NER）、词性标注等。以下是对LSTM-CRF模型的详细解析：模型结构LSTM层：LSTM是一种特殊的循环神经网络（RNN），能够有效地处理长序列依赖问题。

强化学习+时序预测

方法核心：动态模型选择（DMS）框架该方法针对智能电网中短期负荷预测（STLF）的场景，提出强化学习驱动的动态模型选择机制，解决传统方法在不同条件下模型适配性差的问题。其核心逻辑为：预测模型池构建：整合10个基于机器学习的先进时序预测模型（如LSTM、XGBoost等），形成多样化模型集合。

实际应用 本节课以简化版21点游戏为背景，展示了如何使用MC方法进行无模型情况下的价值评估。虽然代码实现可能较为复杂，但通过不断学习和实践，我们可以逐渐掌握这种方法并应用于实际问题中。总结 本节课主要介绍了无模型预测中的蒙特卡洛学习和时序差分学习方法。

时序差分学习（TD学习）是强化学习中一种从不完整状态序列中学习的方法。TD学习通过合理的bootstrapping，先估计当前状态在完整序列可能获得的回报，利用累进更新平均值的方法得出该状态的价值。随后，通过不断采样持续更新此价值。

蒙特卡罗方法适用于对所有状态和动作的奖励有充分了解的情况，而时序差分方法则适用于状态空间大、计算成本高的场景。在某些情况下，将两者结合，通过参数调优找到一个合适的预测范围，可以达到更好的预测效果。通过权衡不同步数的预测结果，我们能够构建出更准确、更高效的强化学习模型。

进化强化学习对评估网络使用时序差分预测方法TD和反向传播BP算法进行学习，而对行动网络进行遗传操作，使用内部强化信号作为行动网络的适应度函数。网络运算分成两个部分，即前向信号计算和遗传强化计算。

环境：LLM训练时面对的文本、问题或query，模型通过处理这些输入并生成反馈与环境交互。交互（行为）：LLM的“动作”是时序预测的下一个token。例如，输入“Today is”，输出“Monday”，则“Monday”即为动作。长期累积奖励：奖励设计需综合考虑句子正确性、语法合理性等，强调长期回报以避免局部最优。