定义大型语言模型中的体验质量

Adobe Acrobat 最新生成式 AI 功能背后的设计策略一探究竟

作者：Mei Av，Document Cloud 高级设计经理Rachana Rele，设计、生成式 AI、新兴产品和 Adob​​e Ventures 副总裁

阅读是获取知识和分享思想的基础。 Adobe 通过其可读性计划以及与教育工作者、非营利组织和技术专家的合作伙伴关系，致力于知识的民主化并帮助人们阅读和理解。

甚至在大型语言模型 (LLM)流行之前，文档云设计团队就一直在探索一些概念，例如允许用户简化文档的词汇表，从而使人们更容易阅读，从而实现知识获取的民主化。去年，随着法学硕士人数的增加，我们对阅读和理解的愿景和承诺得到了加速和增强。生成式 AI 为Adob​​e Acrobat 和 Adob​​e Acrobat Reader 中的两项新功能提供了技术，用于解锁 PDF 中的信息：AI 助手，回答有关文档的问题，帮助人们理解信息、快速获得见解并立即生成可交付内容的内容。它得到生成摘要（AI Assistant 的一项功能）的支持，可构建文档关键部分的一键摘要。

当我们开始制定这些功能体验的设计策略时，需要考虑很多因素，特别是 Acrobat 中处理的信息量——到 2023 年，该应用程序中将打开超过 4000 亿份文档。我们专注于一个问题：生成式人工智能功能如何使人们更容易理解文档并对其采取行动？回答这个问题将帮助我们定义（然后评估）质量对于法学硕士经历意味着什么。

建立论文、参与研究并确认用户需求

当我们开始设计和定义体验质量时，我们还关注如何帮助用户发现功能、与它们进行有意义的交互，并希望再次使用它们。当我们的设计师开始考虑如何在现实世界中使用这些体验时，我们提出了一组论点：

• AI Assistant是一个对话式侧面板，包含问题、关键要点和自然语言见解，可帮助人们轻松理解文档 – 将通过与文档相关的属性建立信任。它最终可能超越单个文档，成为整个应用程序中无所不在的功能。
• 生成摘要，单一功能，单一选择结构将帮助人们轻松获取文档的要点并深入了解各个部分。设计有通往人工智能助手的现成途径，它可以让人们轻松获得其他问题的答案。
• 预先生成的提示（无论是通用的还是特定于文档的）都将减少人们的认知负担，并且可以随着人工智能理解人们想知道的内容而不断发展。

Adobe 设计研究与战略开始进行外部概念测试，以收集有关人们如何使用这些功能及其价值的早期反馈，并收集对关键设计元素的见解。

然后，通过内部测试，我们求助于使用 AI Assistant 的员工来阅读和导航长 PDF 中的信息，并从文档中综合和生成见解，以用于报告和电子邮件等其他类型的通信。生成摘要用于快速理解文档并决定是否需要进一步阅读。在内部受众帮助我们测试理论的同时，他们还帮助我们为 Acrobat 的数亿月度活跃用户打造功能。

作为内部测试流程的一部分，研究人员还成立了一个由近 80 名员工组成的员工顾问委员会，代表了不同的角色，包括财务、法律、人力资源、营销、战略、研究和销售。由于每项工作都有一组独特的用例、需求和行为，这些用例、需求和行为会影响他们如何使用测试版，因此特定的工作职能帮助我们发现了尝试使用这些功能来满足特定需求的人们可能会出现的可用性问题。

通过构建框架来定义质量

通过 Adob​​e Design Research & Strategy，我们开始通过全面评估人们如何看待他们的整体体验、功能如何满足他们的需求以及功能如何与他们的期望保持一致来衡量功能的质量。我们还向 Adob​​e Firefly 团队学习，了解他们如何衡量质量并密切关注市场格局，以便我们能够更好地了解生成式 AI 满足的需求，并了解哪些工具对人们最有价值。

这些信息和定性研究形成了一个质量框架，使我们能够诚实地判断我们是否满足了人们的需求。它基于三个参数：

• 有用吗？这些功能在帮助人们实现目标方面是否有效且有价值？
• 可以用吗？界面是否易于理解和使用，功能是否有助于理解和参与？
• 有责任吗？人们是否受到保护，免受刻板印象、偏见、亵渎、暴力或性内容以及有害引用的影响？他们可以信任这些功能吗？这些功能的限制和功能是否清楚？人们报告反馈是否容易？

使用质量框架来推动决策并满足用户需求

根据研究和景观分析，当试图在我们目标的质量维度上协调跨职能团队时，该框架非常有帮助。

Adobe Design Research & Strategy 使用它来基准测试和衡量访谈和调查中的体验质量。我们的设计师用它来通过内部测试（通过实际使用来测试功能）和端到端审核来评估体验，作为一个框架来优先考虑工程团队发现的设计错误，并作为一个景观分析的框架，这样我们就可以更好地了解 Acrobat 与其他产品相比如何。所有这些活动最终促成了星级评定，用于告知我们的发布准备情况。它还创建了一系列简化决策的启发式方法，因为它使每个人都可以轻松理解并协调我们想要进行体验改进背后的原因。我们可以简单地说“需要 XYZ 功能来提高可用性”，它将有助于推动功能的积压和路线图。这如何改变部分体验的示例：

• 前期概述：最初，一旦处理完文档，AI 助手就会提供建议的问题。但我们从研究中了解到，人们需要一些东西来引导自己阅读文档，以帮助理解所建议的问题。立即提供简短的摘要（文档概述）有助于提供该背景信息。
• 建议的问题结构：最初建议的问题对于文档来说非常具体，这是一件好事，但复合问题也很复杂。第一次加载文档时，感觉很不舒服。我们与即时工程人员合作，重组和简化了最初建议的问题，并对打开文档时似乎更常见的问题进行了硬编码，例如“提供前五个关键要点”。

Acrobat 和 Acrobat Reader 中生成式 AI 的未来之路

此次公开测试版是 Acrobat 首次尝试使用生成式 AI 来履行 Adob​​e 对知识民主化的承诺。由于设计团队始终专注于设计优质体验，我们的内部客户提供了他们对这些功能应如何工作的见解、偏好和需求。我们前面有一个深入而丰富的功能路线图，但随着我们的发展，我们将继续专注于使体验成为一种高质量的体验。

翻译：yrucd

原文：medium