Prompt 2 多领域应用介绍

一、iOS 平台上的强大 SSH 客户端 – Prompt 2

在 iOS 设备管理服务器的场景中，Prompt 2 堪称一款卓越的工具。自其前身 Prompt 发布并深受管理员喜爱的三年间，Prompt 2 不断推陈出新，融合了众多实用新功能。

（一）特色功能

1. Panic Sync：该功能实现了在用户所有 iOS 设备的 Prompt 之间，快速、安全且免费地同步用户最喜爱的服务器信息、密码、私钥以及常用命令片段（clips）。这意味着用户无论使用哪台 iOS 设备，都能便捷地获取到一致的服务器连接配置，大大提升了管理效率。
2. Clips：用户可将最常用的命令和文本片段整理到 clips 中，通过 Prompt 的键盘栏，只需轻轻一点即可调用。这些 clips 既能全局存储，适用于所有服务器连接场景，也能针对特定服务器单独存储，满足用户多样化的使用需求。
3. Face ID 锁：为保障服务器的安全访问，Prompt 2 支持通过 Face ID 对应用进行锁定。只有通过 Face ID 识别的用户，才能打开 Prompt 访问服务器，有效防止他人未经授权访问服务器连接信息。
4. 私钥生成与管理：用户无需离开 Prompt 应用，即可直接生成私钥，并方便地将其部署到服务器上。同时，Prompt 2 对私钥管理功能进行了优化，使得与私钥相关的操作比以往更加简便，例如在不同服务器间切换使用私钥时，流程更加顺畅。
5. 连接切换与服务器分组：在 iPad 上，用户可借助 tab 栏轻松在多个打开的连接之间进行切换；在 iPhone 上，通过边缘滑动操作就能实现同样的效果。此外，用户还能创建服务器文件夹，将相关服务器进行分组，便于更高效地对众多服务器进行分类管理和查找。
6. 全新设计与设备适配：Prompt 2 采用了全新的设计风格，界面更加时尚、简洁、美观，无论是在 iPhone 还是 iPad Pro 等不同屏幕尺寸的设备上，都能呈现出出色的视觉效果。同时，它还支持自定义键盘栏，提供自动补全功能，并全面兼容蓝牙键盘，为用户提供了高度个性化且便捷的操作体验。

二、图像编辑领域的 Prompt – to – Prompt（prompt2prompt）技术

随着文本控制图像生成模型（如 Stable Diffusion）的广泛应用，图像编辑领域迎来了新的变革。Prompt – to – Prompt（prompt2prompt）技术作为其中的佼佼者，为用户提供了一种创新的图像编辑方式。

（一）技术原理

1. 交叉注意力机制：在基于扩散模型的文本到图像生成过程中，交叉注意力层起着关键作用。查询矩阵（Q）由带噪图像通过线性映射得到，键矩阵（K）和值矩阵（V）则由文本 prompt 的嵌入向量经过不同的线性映射产生。通过计算 Q 和 K 的点积，并经过 softmax 函数归一化后，得到注意力图（M），它表示每个图像块与文本中各个单词的相关性。交叉注意力层的输出则是通过注意力图 M 对值矩阵 V 进行加权平均，生成图像生成过程中的中间表示。
2. 交叉注意力图替换：prompt2prompt 方法的核心在于，认识到图像的空间布局主要由交叉注意力图决定。具体操作时，首先使用原始提示和随机种子生成图像，并保存生成过程中的交叉注意力图。当需要修改文本提示进行图像编辑时，在生成编辑图像的过程中，将原始生成过程中的交叉注意力图替换为新的交叉注意力图。这样，新生成的图像既能在语义上符合修改后的提示，又能在空间布局上保持与原始图像一致。

（二）应用方式

1. 物体或属性修改：通过替换提示中的特定单词，prompt2prompt 能够实现对图像中特定物体或属性的精准修改。例如，将提示中的 “红色汽车” 改为 “蓝色汽车”，模型会在保持图像整体布局不变的情况下，将汽车的颜色从红色调整为蓝色。
2. 风格或元素添加：在原始提示中添加新单词，可实现对图像整体风格或部分元素的修改。比如，在描述一幅风景图像的提示中添加 “梦幻风格”，模型会相应地调整图像，使其呈现出梦幻般的风格特点，如改变色调、添加奇幻元素等。
3. 注意力权重调整：通过调整特定单词的注意力权重，能够增强或减弱其在生成图像中的表现。例如，对于提示 “一个有花朵的花园”，若想突出花朵，可适当增加 “花朵” 一词的注意力权重，生成的图像中花朵将更加醒目，细节更加丰富。

（三）真实图像编辑处理

当处理真实图像时，由于真实图像并非由扩散模型直接生成，无法直接获取其生成过程中的交叉注意力图。为此，需要借助反演（Inversion）技术，如 DDIM Inversion，将真实图像反推为扩散模型的起始噪声。具体步骤为：首先使用反演技术将真实图像转换为扩散模型的起始噪声，然后应用 prompt2prompt 方法，利用修改后的提示和替换后的注意力图，生成编辑后的图像。不过，当前反推技术存在一定局限性，反推过程的准确性会直接影响编辑结果的质量，且反推过程通常需要大量计算资源，建议在配备强大 GPU 的环境下进行。

三、模型生成领域的 Prompt2Model 框架

在自然语言处理（NLP）模型构建领域，Prompt2Model 框架为开发者带来了全新的思路和方法。

（一）框架概述

Prompt2Model 旨在通过用户提供的自然语言任务描述（类似提供给大型语言模型的提示），训练出适用于特定任务且易于部署的专用模型。它是一个自动化的机器学习管道平台，涵盖了数据收集、模型训练、评估和部署等多个环节，其核心是自动数据收集系统，通过数据集检索和基于大型语言模型（LLM）的数据集生成，获取与用户需求相关的标注数据。

（二）组件设计

1. 提示解析器（Prompt Parser）：作为系统的主要输入接口，用户需提供类似 LLM 使用的提示词，包括指令及预期回复的演示样例。提示解析器将提示分割成指令和演示，对于非英语指令，会利用具有上下文学习能力的大型语言模型（如 OpenAI gpt – 3.5 – turbo – 0613）进行分割，并通过 DeepL API 将其翻译成英语，以便后续组件更好地处理。
2. 数据集检索器（Dataset Retriever）：系统接收到用户提示后，首先在 Huggingface 上提取所有数据集的用户描述，然后利用 DataFinder 的双编码检索器对数据集进行相关度排序。接着，系统会向用户展示排名靠前的 k（默认值为 25）个数据集，用户可从中选择与目标任务相关的数据集，若没有合适的数据集，用户也可声明。若存在可用数据，用户还需指定数据集中的输入和输出列。
3. 数据集生成器（Dataset Generator）：为支持更广泛的任务，当没有完全匹配的数据集时，数据集生成器可根据提示解析器得到的用户要求生成 “合成训练集”。为此，研究人员设计了一系列策略，如自动化提示工程，通过扩充用户提供的演示示例，生成多样化的数据集，减少重复样本；采用温度退火策略，根据已生成示例数量调整采样温度，平衡输出质量和数据多样性；运用自洽解码策略，通过选择最频繁答案及在平局时选择最短答案，提高生成数据集的准确性和样本唯一性；使用异步批处理，通过 zeno – build 并行化 API 请求，并引入动态批大小和节流机制优化 API 用量。
4. 模型检索器（Model Retriever）：确定合适的预训练模型进行微调也是一个检索问题。每个模型可由 “用户生成的描述” 和 “元数据”（如受欢迎度、支持的任务等）表示。为支持海量任务并确保模型易于部署，系统将范围限制在 Huggingface 上的编码器解码器架构。首先使用用户指令作为查询，基于 Huggingface 上模型的文本描述进行搜索。由于模型描述通常较少且模式化，研究人员遵照 HyDE 框架，利用 gpt – 3.5 – turbo 根据用户指示创建假设模型描述作为扩展查询，再用 BM25 算法计算查询模型的相似度分数。用户还可设定模型尺寸阈值（默认 3GB），过滤掉超过阈值的模型，并可根据下载量对模型进行排序。
5. 模型训练器（Model Trainer）：在获取数据集和预训练模型后，将所有任务当作是文本到文本的生成任务进行训练和微调。在处理数据集时，会用到生成的数据集和检索到的数据集，将数据列文本化后与用户指令合并添加到模型输入中。将两个数据集组合并随机打乱后，使用 AdamW 优化器，以学习率 5e – 5 训练 3 个 epoch，每个任务大约耗时一小时。
6. 模型评估器（Model Evaluator）：使用除去训练数据后的其余数据来评估模型训练效果。研究人员选择精确匹配、ChrF++ 和 BERTScore 这三个通用指标对所有任务进行自动化评估。精确匹配衡量模型输出与参考答案的完美匹配程度；ChrF++ 平衡精确度和召回率评估文本生成质量；BERTScore 通过比较嵌入空间中的模型输出和参考，捕获语义相似性。使用 XLM – R 作为 BERTScore 的编码器，以支持多语言评估。
7. Web 应用创建：Prompt2Model 还提供了一个可选步骤，即自动创建图形用户界面（Web UI），允许下游用户与训练好的模型进行交互。该 Web 应用基于 Gradio 构建，可轻松部署在服务器上，方便用户使用。

（三）实验结果

在涵盖传统 NLP 基准和新应用的三个任务实验中，在给定相同的少样本提示作为输入的情况下，Prompt2Model 训练出的模型性能比强大的 LLM（如 gpt – 3.5 – turbo）平均高出 20%，且生成的最终模型参数量最多可缩小至 gpt – 3.5 – turbo 的 1/700，充分展示了 Prompt2Model 在构建高效、可部署的 NLP 模型方面的巨大潜力。