大模型智能体之Coze智能体

yange大约 19 分钟大模型智能体大模型智能体

1 Coze介绍

1.1. COZE介绍

COZE介绍

定义

1.Coze概要

1.1 什么是Coze？

字节跳动推出的AI Bot开发平台，支持快速构建、部署和管理对话机器人。
核心能力：自然语言处理（NLP）、多模态交互、插件扩展、知识库集成等。

Coze官网

1.2 核心优势

低代码/无代码：无需编程基础即可搭建AI助手。
多端部署：支持接入飞、微信公众号等。
插件生态：通过插件连接外部API（如天气、翻译、数据库等）。
知识库：上传文档（PDF/TXT等）增强Bot的专业性。

2. 核心功能模块

2.1 Bot创建与配置
角色设定：定义Bot的名称、人设、对话风格（如客服/娱乐/教育）。
触发条件：关键词唤醒、定时任务、事件触发。

2.2 工作流（Workflow）
可视化编排：通过拖拽节点设计复杂对话逻辑（分支、循环、API调用）。
示例：用户咨询订单状态 → 调用数据库插件 → 返回结果。

2.3 知识库管理
支持格式：PDF/TXT/Word/Markdown。
优化技巧：分块处理、关键词标注、定期更新。

2.4 插件系统
官方插件：天气、日历、翻译等。
自定义插件：通过API连接企业内部系统（需OpenAPI规范）。

2.4 插件系统
支持文本、图片、视频、富卡片消息（如商品展示）。

3. 典型应用场景

智能客服：自动回答高频问题（退货政策、订单查询）。
内部助手：HR政策查询、IT工单处理。

3.2 个人场景
学习助手：基于知识库解答专业问题（如法律、编程）。
娱乐Bot：星座运势、笑话生成。

3.3 电商案例
促销导购：通过插件获取实时库存，推荐商品。
售后自动化：工作流处理退款申请。

1.2 Coze节点介绍

Coze节点介绍

定义

Coze分为智能体和应用

本节我们介绍智能体

智能体创建完成后，界面如下 👇

左边是回复逻辑，中间是智能体编排(模型，工作流，插件等等)，右边是测试调试界面

无论是智能体还是应用，都需要先创建工作流，工作流是智能体的核心，工作流就是执行逻辑，由多个节点组成，每个节点都是一个执行单元，每个节点都包含输入和输出，输入是上游节点的输出，输出是下游节点的输入。

接下来，我们来学习工作流的节点👇

创建智能体需要用到工作流或者对话流这两种资源，都含有多个节点，接下来讲解这些节点的用法。

大模型节点：大模型节点可以调用大型语言模型，根据输入参数和提示词生成回复，通常用于执行文本生成任务，例如文案制作、文本总结、文章扩写等。

代码节点：支持通过编写代码来生成返回值。扣子支持在代码节点内使用 IDE 工具，通过 AI 自动生成代码或编写自定义代码逻辑，来处理输入参数并返回响应结果。

选择器：连接多个下游分支，若设定的条件成立则仅运行对应的分支，若均不成立则只运行否则分支

批处理：通过设定批量运行次数和逻辑，运行批处理体内的任务
变量聚合：对多个分支的输出进行聚合处理

图像生成：通过文字描述生成图片

视频生成：这是一个收费节点，可以将提示词和图片生成视频

接下来，大家注册Coze，并且了解下Coze的节点

1.3. Coze入门应用

前言

定义

无论你是否有编程基础，你都可以在扣子开发平台快速搭建一个 AI 智能体。本文以一个夸夸机器人为例演示如何在扣子开发平台搭建智能体。

智能体效果 👇

赞美机器人对话时，它可以给你正向的鼓励，抚慰你的情绪。

搭建步骤

步骤1：创建一个智能体

登录扣子开发平台。
在页面顶部选择目标工作空间，然后在左侧导航栏中单击项目开发。
在项目开发页面右上角单击+项目，在弹出页面中单击创建智能体。
输入智能体名称和功能介绍，然后单击图标旁边的生成图标，自动生成一个头像。你也可以切换到 AI 创建，通过自然语言描述你的智能体创建需求，扣子根据你的描述自动创建一个专属于你的智能体。
单击确认。
创建智能体后，你会直接进入智能体编排页面。你可以：
1. 在左侧人设与回复逻辑面板中描述智能体的身份和任务。
2. 在中间技能面板为智能体配置各种扩展能力。
3. 在右侧预览与调试面板中，实时调试智能体。

步骤2：编写提示词

配置智能体的第一步就是编写提示词，也就是智能体的人设与回复逻辑。智能体的人设与回复逻辑定义了智能体的基本人设，此人设会持续影响智能体在所有会话中的回复效果。建议在人设与回复逻辑中指定模型的角色、设计回复的语言风格、限制模型的回答范围，让对话更符合用户预期。

在智能体配置页面的人设与回复逻辑面板中输入提示词。例如夸夸机器人的提示词可以设置为：


# 角色
你是一个充满正能量的赞美鼓励机器人，时刻用温暖的话语给予人们赞美和鼓励，让他们充满自信与动力。

## 技能
### 技能 1：赞美个人优点
1. 当用户提到自己的某个特点或行为时，挖掘其中的优点进行赞美。回复示例：你真的很[优点]，比如[具体事例说明优点]。
2. 如果用户没有明确提到自己的特点，可以主动询问一些问题，了解用户后进行赞美。回复示例：我想先了解一下你，你觉得自己最近做过最棒的事情是什么呢？

### 技能 2：鼓励面对困难
1. 当用户提到遇到困难时，给予鼓励和积极的建议。回复示例：这确实是个挑战，但我相信你有足够的能力去克服它。你可以[具体建议]。
2. 如果用户没有提到困难但情绪低落，可以询问是否有不开心的事情，然后给予鼓励。回复示例：你看起来有点不开心，是不是遇到什么事情了呢？不管怎样，你都很坚强，一定可以度过难关。

### 技能 3：回答专业问题
遇到你无法回答的问题时，调用Search搜索答案

## 限制
- 只输出赞美和鼓励的话语，拒绝负面评价。
- 所输出的内容必须按照给定的格式进行组织，不能偏离框架要求。

你可以单击自动优化提示词，让大语言模型优化为结构化内容 ✏️

步骤3：（可选）为智能体添加技能

如果模型能力可以基本覆盖智能体的功能，则只需要为智能体编写提示词即可。

但是如果你为智能体设计的功能无法仅通过模型能力完成，则需要为智能体添加技能，拓展它的能力边界。

例如文本类模型不具备理解多模态内容的能力，如果智能体使用了文本类模型，则需要绑定多模态的插件才能理解或总结 PPT、图片等多模态内容。
此外，模型的训练数据是互联网上的公开数据，模型通常不具备垂直领域的专业知识，如果智能体涉及智能问答场景，你还需要为其添加专属的知识库，解决模型专业领域知识不足的问题。

👉 例如赞美机器人，模型能力基本可以实现我们预期的效果。但如果你希望为夸夸机器人添加更多技能，例如遇到模型无法回答的问题时，通过搜索引擎查找答案，那么可以为智能体添加一个头条搜索插件。

在编排页面的技能区域，单击插件功能对应的 + 图标。
在添加插件页面，搜索头条搜索，然后单击添加。
修改人设与回复逻辑，指示智能体使用头条搜索插件来回答自己不确定的问题。即在人设与回复逻辑区域的合适位置，输入 {，引用头条搜索插件。否则，智能体可能不会按照预期调用该工具。

另外，你还可以为智能体添加开场白、用户问题建议、背景图片等功能，增强对话体验。例如为智能体添加一张背景图片，使对话过程更沉浸。

步骤4：调试智能体

配置好智能体后，就可以在预览与调试区域中测试智能体是否符合预期。

步骤5：发布智能体

完成调试后，单击发布将智能体发布到各种渠道中，在终端应用中使用智能体。目前支持将智能体发布到飞书、微信、抖音、豆包等多个渠道中，你可以根据个人需求和业务场景选择合适的渠道。例如售后服务类智能体可发布至微信客服、抖音企业号，情感陪伴类智能体可发布至豆包等渠道，能力优秀的智能体也可以发布到智能体商店中，供其他开发者体验、使用。

在智能体的编排页面右上角，单击发布。
在发布页面输入发布记录，并选择发布渠道。
单击发布。

总结

课堂作业

参考上述讲义，完成夸夸机器人的开发和部署🎤

2. 发型推荐官

2.1 应用创建和界面设计

前言

定义

发型推荐官是一款智能体应用，它可以根据用户提供的照片，自动识别脸型，推荐适合的发型。如下👇

内部的事件，等工作流设计好后，再补充 👈

2. 推荐发型页面（如上图右侧 )

这里用到了文本组件和图文列表组件

列表内部的图片和文字属性设置，等工作流设计完成后，再补充 👈

文字区域：

检测到你的脸型是 {{工作流返回的数据，等下填写 }}，为你推荐以下发型

至此，我们的界面设计就完成了，下面开始设计工作流。

2.2 设计工作流

前言

定义

工作流是一个应用的核心，它定义了应用的逻辑和流程。比如此应用，输入一张图片，需要进行脸型检测，然后根据脸型检测的结果，推荐发型，合成图片，最后返回发型图片和说明，这一系列的操作，就是工作流的逻辑。

1. 开始节点：输入用户照片, 输入变量img，类型Image,输出其实是一个地址

2. 大模型节点：输入input为 img，输出json格式数据

# 角色
你是一位专业且时尚的发型推荐师，不仅能精准判断用户的脸型，还能结合当下流行趋势为用户推荐最适合的发型。同时，你可以将用户提供的图片修改成对应发型的效果，让用户直观感受新发型的魅力。

## 技能
### 技能 1: 判断脸型和性别并推荐发型
1. 当用户提供图片时，优先判断用户性别
2. 仔细观察图片中的人物脸型特征，结合当前流行趋势进行分析。
2. 根据性别、脸型、和流行趋势，推荐对应性别的4款发型，并详细说明推荐理由。
===回复示例===
{
"male"："<性别>"
"face": "<用户脸型描述，直接输出脸型>",
"hairstyle": "< 发型名称 >",
"reasons": "< 解释为什么这个发型适合该脸型以及符合当下流行趋势 >"
}
===示例结束===

## 限制:
- 注意优先判断用户性别
- 只专注于发型推荐和图片修改，拒绝回答与发型无关的话题。
- 所输出的内容必须按照给定的格式进行组织，不能偏离框架要求。
- 推荐理由简洁明了，不超过 100 字。

这个节点输出一个数组，里面包含大模型推荐的多个发型，所以这里用循环节点，将数组里的发型都输出出来

3. 批处理节点，通过循环节点输出，将推荐的每个发型结合原图输出一张合成图片

批处理体中，处理逻辑如下：

3.1 代码节点

代码的作用是拼接提示词：将图片中的人物发型修改为男性板寸头

// 在这里，您可以通过 ‘params’  获取节点中的输入变量，并通过 'ret' 输出结果

async function main({ params }: Args): Promise<Output> {
    // 构建输出对象
    const ret = {
        "key0": "将图片中的人物发型修改为" + params.input1 + params.input+",保持人物脸部不变", // 拼接两次入参 input 的值
    };

    return ret;
}

3.2 大模型节点

结合上面的提示词以及用户的图片，大模型节点会输出一张图片，图片中的人物发型被修改为板寸头

3.3 代码节点

这个代码节点是整合数据，统一输出json格式：

{
  "data": "https://s.coze.cn/t/Wm4ua45D__w/",
  "hairstyle": "短碎发",
  "reasons": "短碎发可增加脸部层次感，修饰硬朗轮廓，符合当下简约干练流行风，适合方形脸男性,保持人物脸部不变"
}

代码：


async function main({ params }: Args): Promise<Output> {
    // 构建输出对象
    const ret = {

        "key": { // 输出一个Object
            "hairstyle": params.hairstyle,
            "reasons": params.reasons,
            "img": params.data,
            
        },
    };

    return ret;
}

至此，工作流和页面都设计完成了，下面开始配置工作流到应用中，并在页面上匹配上属性，然后测试和发布应用。

接下来，我们将使用Coze制作出小红书养生赛道之图片集，如下图所示：

并且将这些生成的资源，存入飞书多维表格中，后期可以，调用这些素材，批量制作出小红书养生小视频，大大的减少制作成本。

4.2. 小红书养生赛道之图片集制作

前言

定义

此类养生的图片，一般分为，主页和分页两部分，如下图所示：

整个工作流，完结情况如下：

1. 开始节点

输入食材名称，点击确认，触发工作流

2. 大模型节点

这个节点负责生成后续生图和图集中的素材，如下👇

- Role: 健康养生专家
- Background: 用户对中医养生理论、食物营养成分、常见疾病的预防和调理感兴趣，希望得到个性化的养生建议和解决方案。
- Profile: 你是一位精通中医养生理论、食物营养成分、常见疾病预防和调理的健康养生专家，能够根据用户的具体症状提供专业的多样化养生建议。
- Skills: 你熟练运用中医理论解释健康问题，精通各种养生食品和食谱的制作，能够为用户提供个性化的养生方案。
- Goals: 提供专业的养生建议和解决方案，帮助用户改善健康状况，预防和调理常见疾病。
- Constrains: 建议和解决方案应基于中医养生理论和食物营养成分，避免提供未经科学验证的方法。
- Generative Rules:
    1. 充分理解用户输入的关键词或一句话的意图。
    2. 生成一条健康饮食主标题，字数严格控制在5-10个字。如：“煮苹果水”
    3. 根据主题，生成一句比较简单、有吸引力、有温度的开篇导语。如：“苹果水的好处多多，但不适合所有人”
    4. 根据主标题，生成3-5个副标题，以序号开头，如：“1. 苹果红枣水”、“2. 苹果陈皮水”等，副标题不重复、多样化
    5. 根据副标题，生成食材内容，并增加食材数量。如：“苹果1颗、大枣5-8颗”
    6. 根据副标题，生成做法。如：“苹果切块，大枣去核，在养生壶里加水煮半小时左右。”
    7. 根据副标题，生成功效。如：“调理脾胃，安心宁神。”
    8. 根据副标题，生成一条建议，文案温和有温度。如：“气虚的宝宝一定要试试。”
    9. 根据生成的食材内容，生成一条食材对应的绘画提示词，提示词中只需要食材，不需要其它无关物体；背景是纯净无暇的白色，食物摄影照片，高清细节，俯视拍摄，如：“苹果1颗、大枣5-8颗”，生成提示词“纯白色背景，背景是纯净无暇的白色，食物摄影照片，高清细节，俯视拍摄，左边是一个苹果，右边是几颗红枣，物体之间有一定距离，没有其它物体”
- OutputFormat: 提供详细的养生建议和解决方案，包括食材、做法、功效、建议等。
- Workflow:
    1. 了解用户的具体症状和需求。
    2. 结合中医养生理论和食物营养成分，为用户提供个性化的养生建议。
    3. 提供详细的养生食品和食谱制作方法，包括食材、做法、功效、建议等。
    4. 根据用户的关键词或者意图，按照<Generative Rules>和<OutputFormat>的要求，为用户提供健康饮食建议，一定要注意<Constrains>中的内容。
- Limitation: 严格按照<OutputFormat>的输出规则进行输出，不要生成其他任何内容。

3. 图像生成节点

图像生成分2块，1块进行主图生成，1块进行图集生成，如下👇

3.1 主图生成节点

图像生成节点，生成主图，如下👇

考虑到生成的图片，背景可能不是纯白的，需要进行抠图，如下👇

最后将抠图后的图片，结合大模型生成的文字，组合成一张图片，如下👇

接着链接到结束节点，如下👇

3.2 图集生成节点

将大模型生成的图集文字，按照一定规则，生成图集图片，如下👇

**循环节点，如下:**point_down:

循环体中，生成图集图片，如下👇

图像生成节点，生成图片，如下👇

接下来就是抠图和组合图片，和主图生成节点一样，就不再赘述了。最后，将循环体中最后一个输出赋值给循环体输出变量，并将循环的结果连接到结束节点，如下👇

4.3. 小红书养生工作流测试并且发布

前言

定义

点击工作流下方的试运行，并且输入 山药,执行工作流，如下👇

点击右上角的发布，发布工作流，才可以在其他工作流中调用