Recently, the author thinks that artificial intelligence itself represents the new productive forces, which is the development direction of human beings. The combination of artificial intelligence and artificial intelligence will make it a new type of production relations in the new era and a salvation road for organizing the future human society to avoid the monopoly of giants. As a long-term fighter in the first-level investment line and a former researcher, I think I am duty-bound. The goal of this paper is to fully understand some basic concepts we need to know, such as what is machine. Why does machine learning need the steps of developing large language models, such as data acquisition model, pre-training model, what are the models doing, some emerging directions, such as external knowledge base, federal learning ability neurons, what are the corresponding projects in the whole chain that are of great value to the whole chain or easy to produce big projects? When describing these concepts, the author will try not to use formula definitions but use metaphors to describe them. This paper covers as many new terms as possible. I hope to leave an impression on readers. If they meet in the future, they can come back and check where they are in the knowledge structure. Second, the basic concepts are familiar to us today. Their technology belongs to the idea of neural network in machine learning in artificial intelligence. The following paragraph mainly defines some basic concepts: artificial intelligence, machine learning, neural network training loss function gradient decline, reinforcement learning expert system, artificial intelligence definition, artificial intelligence research and development, which can simulate and extend human intelligence. The theory, method, technology and application system of energy is a new technical science. The purpose of artificial intelligence research is to make intelligent machines listen, talk, think, learn and act. My definition is that the results given by machines are as difficult to distinguish between true and false as those given by people. Turing test expert system is a knowledge expert system that needs to be used if there are clear steps in one thing. 比特币今日价格行情网_okx交易所app_永续合约_比特币怎么买卖交易_虚拟币交易所平台

最新数据科技研究表明，难以描述的事情也能通过机器学习来实现，具体分为两种情况：

Part 4

如果一件事情难以描述怎么做到：

1. 有标注数据：比如分析文本中的情感，这就是机器学习的一种应用，我们可以举例说明：

配钥匙师傅问我："你配吗"，这属于neutral(中性)情感

隔壁很壮的小王问我："你配吗"，这属于negative(消极)情感

2. 几乎无标注数据：比如下棋这样的强化学习，让机器学习从零开始。

Part 5

了解了上述两种情况，那接下来我们来看看神经网络是如何教会机器一个知识的。

机器学习现在涉及的知识和范围广泛，不过我们在这里重点讨论机器学习中最经典的套路——神经网络。

神经网络是怎么教会机器一个知识的呢？可以通过以下类比：

举例来说，我们要教会一只小狗如何在垫子上小便：

方法1：如果狗狗在垫子上小便则奖励块肉，如果不在则打屁股。

方法2：如果狗狗在垫子上小便则奖励块肉，如果不在则打屁股；而且距离垫子越远，打得越狠（这就是计算损失函数）。

方法3：狗狗每走一步，就进行一次判定，如果是朝向垫子走，则奖励块肉，如果不是朝向垫子走，则打屁股（每进行一次训练，计算一次损失函数）。

方法4：狗狗每走一步，就进行一次判定，如果是朝向垫子走，则奖励块肉，如果不是朝向垫子走，则打屁股；并且给狗狗在指向垫子的方向摆一块肉，吸引狗狗往垫子走（每进行一次训练，计算一次损失函数，之后向着能最好降低损失函数的方向，进行梯度下降）。

Part 6

近十年来，神经网络取得了突飞猛进的发展，这是因为人类在算力、数据和算法方面都有了巨大的进步。

首先是算力方面：神经网络在上个世纪就被提出了，但当时的硬件运算速度过慢。而随着本世纪芯片技术的发展，计算机芯片的计算能力每18个月就会翻一番。特别是出现了擅长并行运算的GPU芯片，使得神经网络的计算时间变得“可接受”。

其次是数据方面：社交媒体和互联网上积累了大量的训练数据，大型企业也有相应的自动化需求。

最后是算法方面：在有足够算力和数据的情况下，研究者们研发出了一系列更高效、更准确的模型。

这三个要素——“算力”、“数据”、“模型”也被称为人工智能的三要素。

Part 7

大语言模型(LLM)的重要性

为什么要关注大语言模型呢？因为大家对Al+ web3很好奇，而A火是因为ChatGPT，而ChatGPT属于大语言模型。

为什么需要大语言模型呢？我们前面说过，机器学习需要训练数据，但大规模数据的标注成本太高。而大语言模型以一种巧妙的方式解决了这个问题。

Part 8

Bert——第一个大语言模型

如果没有训练数据怎么办呢？一句人话本身就是一段已标注的数据。我们可以使用完型填空的方法创造数据。

我们可以在一段话中挖空，挖掉一些词语，然后让transformer架构的模型预测应该填什么词，如果模型预测错误，就进行损失函数和梯度下降的计算。这个过程让大语言模型可以利用互联网上的文段作为训练数据，这个过程被称为“预训练”，因此大语言模型也被称为预训练模型。这样的模型可以根据给定的一句话逐词预测下一个词。这种体验与我们目前使用的ChatGPT是相似的。

我对预训练的理解是，预训练让机器从语料中学习了人类的通用知识，并培养了“语感”。

Part 9

大语言模型的后续发展

自从Bert提出以后，人们发现这东西真好用！只要模型变得更大，训练数据变得更多，效果就会越来越好。但是这并不意味着盲目增加。

训练数据的爆炸式增长：Bert使用的是全部维基百科和书籍数据进行训练，之后训练数据扩展到全网的英文数据，再扩展到全网的所有语言。

模型参数量的飞速增加。

```html

AI开发的步骤

一、 数据准备

1. 数据收集

（1）从全网各类网页进行爬取，积累以 TB 为单位的数据

（2）数据预处理

二、 模型训练

1. 模型预训练

（1）调集大量算力，数百张 A100/TPU 级别算力进行预训练

2. 模型二次预训练

（option）利用特定领域的语料进行二次预训练，让模型了解更多领域知识

例如，美团使用美团点评业务语料进行二次预训练，开发出MT-Bert。

三、AI开发的步骤

Part 1

预训练数据获取

(本步骤一般仅大厂/大研究所会做)预训练一般会需要巨量数据，需要对全网各类网页进行爬取，积累以 TB为单位的数据，然后进行预处理

模型预训练(本步骤一般仅大厂/大研究所会做)在完成数据收集之后，需要调集大量算力，数百张 A100/TPU 级别算力进行预训练

Part 2

模型二次预训练

(option)预训练让机器从语料中学到了人类通用的知识，并培养了“语感”，但如果我们想要让模型有某个领域的更多知识，可以拿这个领域的语料，灌入模型进行二次预训练。

比如美团，作为一个餐饮外卖平台，需要的大模型就应该了解更多的餐饮外卖知识。所以美团拿美团点评业务语料进行二次预训练，开发出MT-Bert.

``````html

二次预训练：让模型成为特定领域的专家。

Part 3

模型微调训练

(选项)如果预训练模型希望在某项任务上成为专家，比如情感分类、主题抽取、阅读理解等，可以使用该任务的数据对模型进行微调。

然而，这需要标记数据，比如情感分类数据如下：

• 配钥匙师傅问我：“你配吗” - 中性
• 隔壁很壮的小王问我：“你配吗” - 消极

我对二次预训练的理解：微调让模型成为某项任务的专家。

需要注意，模型训练需要大量数据传输。目前，我们的 AI+Web3 有一类项目是分布式算力，即全球各地的人将闲置机器用于某些任务。然而，想要完成分布式预训练非常困难；进行分布式微调训练也需要巧妙设计，因为数据传输时间可能超过计算时间。

Part 4

需要注意，模型训练需要大量数据传输。目前，我们的 AI+Web3 有一类项目是分布式算力，即全球各地的人将闲置机器用于某些任务。然而，想要完成分布式预训练非常困难；进行分布式微调训练也需要巧妙设计，因为数据传输时间可能超过计算时间。

Part 5

模型应用

模型应用，也称为模型推理。这是指模型在完成训练后进行的一次使用。

与训练相比，模型推理不需要大量数据传输，因此分布式推理相对容易。

四、大模型的最新应用

Part 1

外部知识库

出现原因：我们希望模型了解领域内的一些知识，但又不希望重新训练模型。

方法：将大量PDF数据打包到向量数据库中，作为输入的背景信息。

案例：百度云一朵、Myshell

提示学习

出现原因：我们觉得外部知识库无法满足对模型的定制需求，但又不想调整整个模型的参数进行重新训练。

方法：不训练模型，仅使用训练数据，学习应该如何编写提示。

案例：广泛应用于当今

Part 2

联邦学习（FL）

出现原因：在模型训练中，我们需要提供自己的数据，这可能泄露我们的隐私，对于一些金融和医疗机构来说是不可接受的。

```

AI技术在去中心化应用中的发展趋势

目前，越来越多的人们开始意识到，AI技术不仅仅局限于中心化应用的领域，在去中心化应用的发展中也有着重要的作用。本文将就AI技术在去中心化应用中的发展趋势进行简要探讨。

一、AI技术在去中心化应用中的应用

随着去中心化应用领域的不断扩大，越来越多的AI技术开始应用其中，这些应用可以概括为以下几类：

1. 针对用户数据的去中心化训练

目前，许多机构都在本地使用数据训练模型，并将模型集中到一个地方进行模型融合。而为了解决每个参与方门槛过高的问题，现在使用FHE的手段进行全同态加密，让模型可以用加密后的数据直接训练。但是使用FHE加密训练模型过程极慢而且极贵。这种情况下，一些新型的技术和方法应运而生，例如Flock和FHEML等。

2. 确认他人模型服务的可靠性

在使用别人提供的模型服务时，我们希望确认其确实在按我们的要求提供模型服务。因此，现在让其用ZK的手段生成个证明来证明其确实在做他号称他做了的运算。但这种方法很慢、很贵，目前只有如Modulus等少数公司在使用。

3. 对模型进行精细控制

在使用模型时，我们希望能够精细控制模型，比如具有更强的情感感知能力，具有更高的道德水平。因此，许多人开始研究如何让模型在某个特定方向优化，例如能力神经元等。

二、AI技术在去中心化应用中的发展趋势

从现在的使用情况来看，AI技术在去中心化应用领域还存在一些问题。例如，训练速度和训练代价都比较高，很难实现大规模应用。因此，未来需要加强这方面的技术研究，使其更加智能和高效，以满足应用领域的需求。

三、A链条上对应Web3项目分类方式

在去中心化应用领域中，我们可以将其分为三大类：Infra、中间件和应用层。而AI技术在去中心化应用中的发挥作用，主要集中在Infra层，也就是去中心化A的基础设施上。

Infra 层主要包含三类：数据、算力和算法（模型）。同时，为了更

注册有任何问题请添加 微信：MVIP619 拉你进入群

文章转载注明 网址：https://netpsp.com/?id=63806