LLM 的新兴时代：开发人员在 10 美元的微控制器上以每秒 10 个代币的速度实现小型 LLM 的本地处理

大型语言模型的下一个时代：预算上的突破

在人工智能领域的一项重大发展中，开发人员成功地在预算微控制器上运行了小型大型语言模型 (LLM)。这一成就不仅展示了边缘计算的潜力，还暗示我们在不久的将来如何利用法学硕士的方式发生变革。

理解含义

大型语言模型已经彻底改变了从客户服务到创意写作的各个行业。然而，传统的法学硕士通常依赖于强大的数据中心，这使得它们成本昂贵，并且对于较小的应用程序或本地化操作来说不太容易访问。最近的创新展示了能够以每秒 10 个令牌的速度处理的微控制器，可以使这种变革性技术的使用变得民主化。

技术洞察

实现这一突破的微控制器成本仅为 10 美元，这意味着通常与部署 AI 模型相关的硬件投资大幅减少。通过有效优化模型以在此类受限硬件上运行，开发人员正在为法学硕士集成到从家庭自动化系统到小型移动设备等各种技术中铺平道路。

性能指标

以下是该项目相关技术成果的总结：

参数 值 令牌处理速度 每秒 10 个令牌 硬件成本 $10 运行环境 本地（边缘计算） 模型类型 小型法学硕士

潜在应用

在经济型硬件上运行法学硕士的能力开启了跨不同领域的无数应用。可以实施该技术的一些潜在领域包括：

• 智能设备：集成到 IoT 设备中，以实现更好的自然语言理解和响应生成。
• 教育：可以离线操作的个人人工智能导师，为偏远地区的个人提供服务。
• 医疗保健：在医疗设备内提供本地化支持和信息系统。
• 客户服务：部署本地化聊天机器人，无需大量云基础设施即可为用户提供帮助。

未来的考虑因素

虽然这一成就值得称赞，但它确实提出了有关法学硕士规模、效率和相关道德考虑的重要问题。当我们面向法学硕士可以通过普通设备进行操作的未来时，必须考虑：

• 数据隐私：确保用户数据在本地处理时保持安全。
• 模型偏差：解决训练数据集固有的偏差，以避免在较小规模的应用中传播。
• 资源管理：了解在此类硬件上运行法学硕士的能源效率和资源需求。

结论

最近开发的小型法学硕士在 10 美元的微控制器上以令人印象深刻的速度运行，这是一项里程碑式的成就，体现了更易于访问和更高效的人工智能技术的潜力。随着我们不断前进，将这些模型集成到日常应用中可以重塑我们与数字系统的交互，使复杂的人工智能工具以前所未有的规模可用。

法学硕士的下一个时代？ Dev 在 10 美元的微控制器上以每秒 10 个代币的速度在本地运行小型 LLM https://www.techradar.com/pro/the-next-age-of-llms-dev-gets-a-small-llm-running-at-10-tokens-a-second-locally-on-a-usd10-microcontroller 法学硕士的下一个时代？ Dev 在 10 美元的微控制器上以每秒 10 个代币的速度在本地运行小型 LLM https://www.techradar.com/pro/the-next-age-of-llms-dev-gets-a-small-llm-running-at-10-tokens-a-second-locally-on-a-usd10-microcontroller