开发者新闻 | 如何使用 Streamlit 和 FastAPI 构建即时机器学习 Web 应用程序...

如何使用 Streamlit 和 FastAPI

构建即时机器学习 Web 应用程序

假设您正在进行一个机器学习 (ML) 项目，并且您已经找到了您的冠军模型。接下来会发生什么? 对许多人来说，这个项目就结束了，他们的模型被孤立地放在 Jupyter 笔记本上。其他人则会主动地将他们的笔记本转换为某种生产级代码的脚本。

这两个端点都限制了项目的可访问性，需要了解 GitHub 和 Bitbucket 等托管站点的源代码。一个更好的解决方案是将您的项目转换为一个可以部署在内部服务器上的前端原型。

虽然原型可能不是生产标准，但它是公司用来为利益相关者提供对拟议解决方案的洞察力的有效技术。这使得公司能够收集反馈，并在未来开发更好的迭代。

要开发原型，您需要:

1. 用户交互的前端

2. 可以处理请求的后端

然而，这两个需求的构建都需要花费大量的时间。在本教程中，您将学习如何使用 Streamlit 作为前端和 FastAPI 作为微服务快速构建您自己的机器学习 web 应用程序，从而简化流程。在 Building a Machine Learning Microservice with FastAPI 中了解更多有关微服务的信息。

您可以使用 kurtispykes/car-evaluation-project GitHub 存储库中的代码尝试本教程中的应用程序。

  为 NVIDIA Jetson 用户简化 CUDA 升级  

NVIDIA JetPack 为 Jetson 平台上的硬件加速 AI 提供了一个完整的开发环境。以前，NVIDIA JetPack 的独立版本支持单一版本的 CUDA，您无法在给定的 NVIDIA JetPack 版本上升级 CUDA。

NVIDIA JetPack以一个 CUDA 版本的滚动节奏发布，通常在每个主要的发布周期中都得到支持 ( 例如，NVIDIA JetPack 4.x 或 NVIDIA JetPack 5.x ) 。

从 CUDA Toolkit 11.8 开始，使用 NVIDIA JetPack 5.0 及更高版本的 Jetson 用户可以升级到最新的 CUDA 版本，而无需更新 NVIDIA JetPack 版本或 Jetson Linux BSP (Board Support Package)。您可以与 CUDA Desktop 版本保持一致。

Jetson 上的 CUDA 与台式机上的 CUDA 比较

为了理解为什么离散 GPU (dGPU) 的桌面和使用集成 GPU (iGPU) 的 Jetson 的 CUDA 支持模型有所不同，需要了解以下内容:

CUDA 如何在 Jetson 上打包

CUDA 如何在桌面上打包

它们之间的区别