2026-01-27 12:10:47
17
这篇文章由Slack的产品副总裁Jackie Rocca联合撰写，重点强调Slack与Amazon SageMaker JumpStart的合作，以增强其生成式AI的安全性和性能。Slack依托此合作，推出了新功能，帮助用户快速找到重要信息，并在Slack平台上高效工作。
最近，Slack推出了其官方的Slack AI。这是一种直接在Slack内提供的可信任的、原生的生成式人工智能体验。用户可以更轻松地筛选和优先处理信息，从而提升工作效率。
Slack开发团队与Amazon SageMaker JumpStart紧密合作，利用行业领先的第三方大型语言模型LLM，并确保这些数据不会与第三方模型提供商的基础设施共享。这一策略有效保护了客户数据的安全，符合Slack一直以来的安全性和合规性标准。Slack还利用了Amazon SageMaker的推理能力，为客户提供最佳的性能、延迟和吞吐量。
“借助Amazon SageMaker JumpStart，Slack可以访问最先进的基础模型来增强Slack AI，同时优先考虑安全和隐私。Slack客户现在可以更智能地搜索、即时总结对话，并保持高效。” Jackie Rocca Slack产品副总裁
SageMaker JumpStart是一个机器学习ML中心，旨在加速你的机器学习旅程。借助SageMaker JumpStart，用户可以快速评估、比较并选择基础模型FMs，并基于预定义的质量和责任标准执行任务，如文章摘要和图像生成。预训练模型可以根据具体案例自定义，并且可以轻松地通过用户界面或SDK部署到生产环境中。此外，用户还可以访问预建解决方案，以解决常见用例，并在组织内部分享ML工件，包括ML模型和笔记本，以加速模型构建和部署。所有数据都经过加密，并且绝不会与第三方供应商共享，确保用户数据的私密和机密性。
查看可用模型的SageMaker JumpStart模型页面。
Slack AI的推出旨在提供原生的生成式AI功能，使客户能够快速查找和消费大量信息，从而更好地利用彼此的共享知识。例如，用户可以用自然语言提问，系统会立即提供清晰简洁的答案，并通过对话摘要快速了解频道和主题。同时，用户还可以通过新的每日摘要了解特定频道的动态。
因为信任是Slack最重要的价值观，所以Slack AI运行在其构建于AWS上的企业级基础设施之上，遵循客户期待的安全实践和合规标准。Slack AI以安全为设计理念，客户数据始终保留在内部，不用于LLM的培训目的，即使在处理生成式AI工作负载时，也始终保持数据隔离。
SageMaker JumpStart提供多种LLM，Slack选择适合其用例的基础模型。由于这些模型托管在Slack自有的AWS基础设施中，模型调用期间发送的数据不会离开Slack的AWS基础设施。此外，为了提供安全解决方案，调用SageMaker模型的数据在传输过程中加密。发送到SageMaker JumpStart端点以调用模型的数据不会用于训练基础模型。SageMaker JumpStart使Slack能够支持高标准的数据隐私和安全性，同时利用最先进的模型助力Slack AI的高效运行。
用于Slack业务应用程序的SageMaker JumpStart端点由AWS实例供电。SageMaker支持多种实例类型进行模型部署，这样Slack就可以挑选最适合其延迟和可扩展性需求的实例。Slack AI能够使用多GPU的实例来托管其SageMaker JumpStart模型。这种多GPU实例允许每个支持Slack AI端点的实例托管多个模型拷贝，从而提高资源利用率，降低模型部署成本。有关更多信息，请参考Amazon SageMaker新增推理能力以降低基础模型部署成本和延迟。
以下图示说明了解决方案架构。
为了有效使用实例并支持并发和延迟需求，Slack使用SageMaker提供的路由策略与其SageMaker端点配合使用。默认情况下，SageMaker端点使用一种称为RANDOM的轮询算法策略均匀地分配传入请求到机器学习实例。然而，对于生成式AI工作负载，请求和响应可能会高度变动，因此，利用实例的容量和利用率进行负载平衡是更理想的选择。为了有效分配请求，Slack使用LEASTOUTSTANDINGREQUESTSLAR路由策略。这一策略将请求路由到具有更高处理请求能力的特定实例，而不是随机选择任何可用实例。LAR策略提供了更均匀的负载平衡和资源利用。结果，Slack AI在启用LEASTOUTSTANDINGREQUESTS时，其p95延迟指标下降超过39，相比使用RANDOM时更具优势。
quickq下载加速器有关SageMaker路由策略的更多详细信息，请参见通过使用Amazon SageMaker路由策略最小化实时推理延迟。
Slack正在提供原生的生成式AI功能，帮助客户更高效地利用在Slack对话中积累的集体知识。通过快速访问大量基础模型以及在SageMaker JumpStart上托管的先进负载平衡能力，Slack AI能够以更强大和快速的方式提供丰富的生成式AI功能，同时保持Slack的信任和安全标准。
了解更多关于SageMaker JumpStart、Slack AI以及Slack团队如何构建安全和私密的Slack AI。欢迎在评论区留下你的观点和问题！
Jackie Rocca是Slack的产品副总裁，负责Slack AI的愿景与执行，致力于将生成式AI安全地引入Slack用户体验。她希望通过生成式AI帮助客户提高生产力，并从对话、数据和共享知识中获取更多价值。在加入Slack之前，Jackie曾在Google担任产品经理超过六年，帮助推出和发展Youtube TV。她目前居住在旧金山湾区。
Rachna Chadha是AWS战略客户的AI/ML首席解决方案架构师。Rachna相信伦理和负责任的AI使用能够改善未来社会，实现经济和社会繁荣。业余时间，她喜欢与家人共度时光、徒步旅行和听音乐。
Marc Karp是Amazon SageMaker服务团队的ML架构师，专注于帮助客户设计、部署和管理大规模的ML工作负载。他喜欢旅行和探索新地方。
Maninder (Mani) Kaur是AWS战略独立软件供应商的AI/ML专家主管。她以客户为中心，协助战略客户制定AI/ML战略，推动创新，加速其AI/ML旅程。Mani深信伦理和负责任的AI，并努力确保客户的AI解决方案符合这一原则。
Gene Ting是AWS的首席解决方案架构师，专注于帮助企业客户在AWS上安全构建和操作工作负载。在空闲时间，Gene喜欢教孩子们技术和体育，并关注最新的网络安全动态。
Alan Tan是SageMaker的高级产品经理，负责大型模型推理。他热衷于将机器学习应用于分析领域。工作之余，他喜欢户外活动。