Hello-AI

Appearance

☁️ 基础设施与部署 ​

Hardware integration, cloud infra, and model serving.

当前分类已收录 1213 个相关项目。

Cloud & Hosting ​

netdata ​

AI驱动的全栈可观测性平台，提供实时监控和智能告警功能。支持容器、Kubernetes等多种环境的自动化运维。

  • Stars: ⭐️ 80.6k
  • Tags: Observability Monitoring Machine Learning
  • 最后活动时间: 2026-09-17

daytona ​

专为AI智能体设计的安全沙箱基础设施，提供代码执行能力和隔离环境，保障AI生成代码的安全运行。

  • Stars: ⭐️ 71.7k
  • Tags: AI沙箱 代码执行 基础设施
  • 最后活动时间: 2026-07-24

coolify ​

一个开源且可自托管的 PaaS 平台，可作为 Vercel 和 Heroku 等的替代方案。它支持轻松部署静态网站、数据库、全栈应用及 280 多种一键部署服务。

  • Stars: ⭐️ 61.9k
  • Tags: self-hosted paas deployment docker open-source
  • 最后活动时间: 2026-09-17

minio ​

高性能、S3兼容的开源对象存储系统，适用于AI模型和数据集的云原生存储解决方案。

  • Stars: ⭐️ 61.4k
  • Tags: object-storage s3 kubernetes cloud-native
  • 最后活动时间: 2026-04-24

appwrite ​

完整的云端基础设施平台，支持Web、移动和AI应用开发，包含认证、数据库、存储等服务。

  • Stars: ⭐️ 57.4k
  • Tags: backend-as-a-service cloud serverless ai-infrastructure
  • 最后活动时间: 2026-09-17

dockur/windows ​

在Docker容器中一键运行完整Windows系统，支持KVM加速与浏览器访问，部署虚拟机从未如此简单。

  • Stars: ⭐️ 53.3k
  • Tags: docker windows virtualization kvm container
  • 最后活动时间: 2026-09-16

kong ​

云原生API和AI网关，支持LLM请求路由、MCP协议和OpenAI代理，统一管理AI应用流量。

  • Stars: ⭐️ 44.1k
  • Tags: API Gateway AI Gateway LLM
  • 最后活动时间: 2026-09-07

data-engineer-handbook ​

数据工程师学习资源大全，涵盖Spark、大数据处理、SQL等核心技术。为AI/ML数据管道构建提供重要基础设施知识。

  • Stars: ⭐️ 44.1k
  • Tags: data-engineering bigdata apachespark sql
  • 最后活动时间: 2026-08-03

spark ​

Apache Spark统一大数据分析引擎，内置MLlib机器学习库，支持大规模数据处理和AI模型训练。

  • Stars: ⭐️ 44.0k
  • Tags: big-data machine-learning data-processing distributed-computing
  • 最后活动时间: 2026-09-16

sub2api ​

一站式 AI API 中转服务，统一接入 Claude、OpenAI、Gemini 等订阅，支持拼车共享分摊成本。

  • Stars: ⭐️ 41.8k
  • Tags: api-proxy claude openai gemini subscription
  • 最后活动时间: 2026-09-17

dokploy ​

开源的Vercel、Netlify和Heroku替代方案，支持自托管部署应用和数据库。为AI应用及全栈项目提供灵活的基础设施部署环境。

  • Stars: ⭐️ 37.3k
  • Tags: deployment self-hosted devops docker nextjs
  • 最后活动时间: 2026-09-14

1Panel ​

现代化Linux服务器运维面板，支持一键部署Ollama等AI应用，简化VPS管理流程。

  • Stars: ⭐️ 37.0k
  • Tags: Docker 服务器管理 Ollama
  • 最后活动时间: 2026-09-17

nacos ​

阿里巴巴开源的服务发现与配置管理平台，支持MCP注册和AI Agent注册，助力AI云原生应用构建。

  • Stars: ⭐️ 33.4k
  • Tags: 服务发现 MCP注册 AI云原生
  • 最后活动时间: 2026-09-16

rustfs ​

高性能AI原生对象存储系统，兼容S3协议，比MinIO快2.3倍，专为AI工作负载设计。

  • Stars: ⭐️ 32.5k
  • Tags: AI存储 S3兼容 高性能
  • 最后活动时间: 2026-09-17

anubis ​

HTTP 请求分析工具，用于识别和阻止 AI 爬虫，保护网站资源免受滥用。

  • Stars: ⭐️ 22.5k
  • Tags: ai-crawler security defense http
  • 最后活动时间: 2026-09-17

airbyte ​

领先的数据集成平台，支持从API、数据库和文件到数据仓库的ETL/ELT数据管道构建，为AI/ML系统提供可靠的数据基础设施。

  • Stars: ⭐️ 22.1k
  • Tags: data-integration data-pipeline etl elt data-engineering
  • 最后活动时间: 2026-09-17

gun ​

一个开源的网络安全协议，专为同步去中心化图数据而设计。支持离线优先和端到端加密，适用于Web3和AI大数据的去中心化存储。

  • Stars: ⭐️ 19.1k
  • Tags: decentralized graph p2p database web3
  • 最后活动时间: 2026-09-16

sealos ​

基于Kubernetes的AI原生云操作系统，支持从云端IDE开发到生产部署的完整应用生命周期管理，非常适合构建和扩展现代AI应用。

  • Stars: ⭐️ 18.3k
  • Tags: Kubernetes Cloud OS AI Infrastructure
  • 最后活动时间: 2026-09-17

questdb ​

高性能开源时序数据库，专为金融分析和物联网监控等高频数据处理场景设计。

  • Stars: ⭐️ 17.3k
  • Tags: time-series-database sql high-performance financial-analysis
  • 最后活动时间: 2026-09-17

apisix ​

云原生API网关和AI网关，支持流量管理、负载均衡和服务网格，为AI应用提供高性能的流量编排能力。

  • Stars: ⭐️ 17.1k
  • Tags: api-gateway ai-gateway kubernetes cloud-native
  • 最后活动时间: 2026-09-17

kubesphere ​

面向Kubernetes多云、数据中心和边缘管理的容器平台，支持LLM工作负载部署与云原生AI基础设施。

  • Stars: ⭐️ 17.1k
  • Tags: Kubernetes Cloud Native DevOps LLM
  • 最后活动时间: 2026-07-15

argo-workflows ​

Kubernetes原生工作流引擎，专为机器学习流水线和MLOps场景设计，支持DAG编排和GitOps自动化部署。

  • Stars: ⭐️ 17.0k
  • Tags: MLOps Kubernetes Workflow
  • 最后活动时间: 2026-09-17

dagger ​

强大的自动化引擎，支持本地、CI和云端运行，可用于构建、测试和部署AI项目工作流。

  • Stars: ⭐️ 16.3k
  • Tags: CI/CD Automation DevOps AI Agents
  • 最后活动时间: 2026-09-17

OpenSandbox ​

专为AI智能体打造的安全、快速且可扩展的沙箱运行时环境。它基于Kubernetes，为AI代码执行与测试提供可靠的隔离基础设施。

  • Stars: ⭐️ 15.4k
  • Tags: ai ai-infra sandbox kubernetes ai-agent
  • 最后活动时间: 2026-09-17

self-hosted-ai-starter-kit ​

n8n打造的开源自托管AI入门套件，提供完整工具链，帮助快速搭建安全、自主可控的本地AI环境。

  • Stars: ⭐️ 15.3k
  • Tags: Self-hosted AI Agents Low-code
  • 最后活动时间: 2026-07-23

OpenMetadata ​

统一元数据管理平台，支持数据发现与治理，内置MCP服务器可与AI助手无缝集成。

  • Stars: ⭐️ 15.2k
  • Tags: Metadata Data Governance MCP Server
  • 最后活动时间: 2026-09-17

pyodide ​

基于WebAssembly的浏览器端Python运行环境，支持在浏览器中运行NumPy、pandas、scikit-learn等科学计算和机器学习库。

  • Stars: ⭐️ 14.8k
  • Tags: webassembly python browser machine-learning
  • 最后活动时间: 2026-09-16

logto ​

专为SaaS和AI应用构建的身份认证与授权基础设施，支持多租户、SSO和RBAC。

  • Stars: ⭐️ 14.6k
  • Tags: authentication authorization infrastructure sso rbac
  • 最后活动时间: 2026-09-17

trino ​

分布式SQL查询引擎，专为大数据分析设计，支持多种数据源的高性能查询。

  • Stars: ⭐️ 13.2k
  • Tags: big-data sql query-engine distributed-systems data-lake
  • 最后活动时间: 2026-09-17

CubeSandbox ​

为AI智能体设计的即时、并发、安全、轻量级沙箱环境。

  • Stars: ⭐️ 12.7k
  • Tags: sandbox ai-agents container security
  • 最后活动时间: 2026-09-17

encore ​

面向智能时代的基础设施平台，帮助开发者快速构建和部署云原生后端与 AI 应用。通过基础设施即代码和自动化 DevOps 大幅简化云端开发流程。

  • Stars: ⭐️ 12.4k
  • Tags: cloud infrastructure-as-code backend serverless microservices devops
  • 最后活动时间: 2026-09-17

keep ​

开源的AIOps和告警管理平台，利用AI技术实现智能运维、告警去重、根因分析和自动化工作流编排。

  • Stars: ⭐️ 12.3k
  • Tags: AIOps Alert Management DevOps Workflow Automation
  • 最后活动时间: 2026-09-13

openship ​

一个支持AI代理的自托管部署平台，帮助开发者快速自动化部署应用。

  • Stars: ⭐️ 12.3k
  • Tags: ai agents deployments self-hosted
  • 最后活动时间: 2026-09-16

ubicloud ​

开源的AWS替代方案，提供弹性计算、块存储、K8s、AI推理服务等完整的云基础设施服务。

  • Stars: ⭐️ 12.3k
  • Tags: cloud kubernetes ai-inference open-source
  • 最后活动时间: 2026-09-17

kubeshark ​

Kubernetes集群网络可观测性工具，使用eBPF捕获流量，支持AI代理通过MCP协议访问。

  • Stars: ⭐️ 12.1k
  • Tags: kubernetes network-observability ebpf mcp devops
  • 最后活动时间: 2026-09-09

umbrel ​

优雅的家庭服务器操作系统，支持一键部署 OpenClaw、比特币节点等 300+ 应用，实现真正的自托管 AI 和去中心化服务。

  • Stars: ⭐️ 12.0k
  • Tags: self-hosted home-server docker raspberry-pi bitcoin openclaw
  • 最后活动时间: 2026-09-02

spug ​

面向中小企业的轻量级无 Agent 自动化运维平台，集成主机管理、批量执行、在线终端、应用发布部署、监控告警等一站式能力。

  • Stars: ⭐️ 11.1k
  • Tags: DevOps Ops-Platform WebSSH CI-CD
  • 最后活动时间: 2026-09-16

OpenSandbox ​

通用AI应用沙箱平台，提供多语言SDK和Docker/K8s运行时，支持Coding Agent、代码执行和RL训练场景。

  • Stars: ⭐️ 10.9k
  • Tags: Sandbox AI Infrastructure Kubernetes
  • 最后活动时间: 2026-05-29

skypilot ​

统一AI基础设施管理平台，支持跨云GPU/TPU调度、成本优化和分布式训练推理。

  • Stars: ⭐️ 10.6k
  • Tags: GPU Management Cloud Infrastructure Distributed Training
  • 最后活动时间: 2026-09-17

3FS ​

专为AI训练和推理工作负载设计的高性能分布式文件系统，解决大规模AI计算中的存储挑战。

  • Stars: ⭐️ 10.2k
  • Tags: Distributed Storage AI Infrastructure High Performance
  • 最后活动时间: 2026-05-07

moltworker ​

在Cloudflare Workers无服务器平台上运行OpenClaw AI Agent的轻量级云端部署方案。

  • Stars: ⭐️ 10.0k
  • Tags: Serverless Cloudflare AI Agents
  • 最后活动时间: 2026-05-09

risingwave ​

面向智能体AI的事件流平台，支持实时数据摄取、转换和服务，可大规模运行。

  • Stars: ⭐️ 9.3k
  • Tags: event-streaming kafka rust stream-processing ai-infrastructure
  • 最后活动时间: 2026-09-17

delta ​

开源存储框架，支持构建Lakehouse架构，广泛应用于AI/ML数据管道和大规模数据分析场景。

  • Stars: ⭐️ 9.0k
  • Tags: delta-lake big-data analytics data-lakehouse spark
  • 最后活动时间: 2026-09-17

mage-ai ​

现代化的数据管道构建与管理平台，支持ETL/ELT与机器学习数据准备。

  • Stars: ⭐️ 8.8k
  • Tags: data-pipelines etl data-engineering orchestration
  • 最后活动时间: 2026-09-11

beam ​

Apache Beam是统一的批处理和流式数据处理编程模型，广泛用于机器学习数据管道和大规模数据处理。

  • Stars: ⭐️ 8.7k
  • Tags: apache-beam data-processing ml-pipelines streaming
  • 最后活动时间: 2026-09-17

docker-stacks ​

开箱即用的Jupyter Docker镜像集合，为AI/ML开发和数据科学提供完整的容器化开发环境。

  • Stars: ⭐️ 8.5k
  • Tags: jupyter docker python machine-learning data-science
  • 最后活动时间: 2026-09-13

jupyterhub ​

Jupyter笔记本多用户服务器，为团队提供共享的AI/ML开发环境。

  • Stars: ⭐️ 8.3k
  • Tags: jupyter jupyterhub multi-user notebook
  • 最后活动时间: 2026-09-14

higress ​

AI原生API网关，专为AI应用设计的云原生网关解决方案，支持AI流量管理与路由。

  • Stars: ⭐️ 8.2k
  • Tags: ai-gateway api-gateway cloud-native envoy
  • 最后活动时间: 2026-04-21

coroot ​

开源APM可观测性工具，集成AI驱动的根因分析能力，结合指标、日志、链路追踪和持续性能分析。

  • Stars: ⭐️ 7.9k
  • Tags: APM Root Cause Analysis Observability eBPF
  • 最后活动时间: 2026-09-16

datahaven ​

Datahaven 是一个兼容 EVM 的 Substrate 区块链，利用 EigenLayer 安全机制为 AI agents 提供去中心化存储基础设施。

  • Stars: ⭐️ 7.9k
  • Tags: blockchain storage ai-agents privacy
  • 最后活动时间: 2026-04-17

hertzbeat ​

AI驱动的新一代开源实时可观测性系统，支持监控、告警和LLM增强分析。

  • Stars: ⭐️ 7.4k
  • Tags: Observability Monitoring LLM Alerting
  • 最后活动时间: 2026-09-17

Calico ​

知名的云原生网络与安全解决方案，为Kubernetes提供高性能CNI、网络策略与eBPF加速能力。

  • Stars: ⭐️ 7.4k
  • Tags: kubernetes cni networking ebpf security
  • 最后活动时间: 2026-09-17

feast ​

开源AI/ML特征存储平台，管理机器学习特征的生命周期，支持实时和批处理特征服务。

  • Stars: ⭐️ 7.3k
  • Tags: Feature Store MLOps Machine Learning
  • 最后活动时间: 2026-09-17

alluxio ​

面向云分析和机器学习的数据编排平台，提供内存级速度的数据访问能力，支持Spark、Presto、TensorFlow等主流计算框架。

  • Stars: ⭐️ 7.2k
  • Tags: data-orchestration machine-learning tensorflow spark
  • 最后活动时间: 2026-09-01

flower ​

友好的联邦学习框架，支持跨设备分布式 AI 模型训练，兼容 PyTorch、TensorFlow 等多种深度学习框架。

  • Stars: ⭐️ 7.1k
  • Tags: Federated Learning Distributed Training Privacy Framework
  • 最后活动时间: 2026-09-17

Agent Starter Pack ​

生产级 AI 智能体部署模板，几分钟内部署到 Google Cloud，内置 CI/CD、评估和可观测性。

  • Stars: ⭐️ 6.6k
  • Tags: AI Agents GCP CI/CD Observability
  • 最后活动时间: 2026-07-21

pixie ​

Kubernetes原生应用可观测性平台，使用eBPF技术实现零侵入监控，内置机器学习分析能力。

  • Stars: ⭐️ 6.5k
  • Tags: kubernetes observability ebpf machine-learning monitoring
  • 最后活动时间: 2026-07-30

materialize ​

面向AI代理的实时数据层，支持SQL创建即时业务视图和流数据处理

  • Stars: ⭐️ 6.4k
  • Tags: database streaming sql real-time data-stream
  • 最后活动时间: 2026-09-17

deepo ​

一键部署深度学习开发环境，Docker镜像支持主流框架如TensorFlow、PyTorch等。

  • Stars: ⭐️ 6.3k
  • Tags: Docker Deep Learning Environment
  • 最后活动时间: 2026-03-25

rainbond ​

面向 AI 编码时代的开源应用运行时，可在自有服务器或 Kubernetes 上部署、运维和交付 AI 生成或传统应用。云原生 PaaS 平台，助力私有化部署 AI 应用。

  • Stars: ⭐️ 6.3k
  • Tags: Kubernetes Cloud-Native PaaS AI-Applications Self-Hosted DevOps
  • 最后活动时间: 2026-09-16

actors ​

面向 AI Agent、协作应用与持久化执行的有状态工作负载运行时原语，基于 Cloudflare Durable Objects。

  • Stars: ⭐️ 6.1k
  • Tags: actors ai-agents durable-execution rust serverless
  • 最后活动时间: 2026-09-17

rivet ​

专为AI智能体和协作应用设计的有状态Actor运行时基础设施。

  • Stars: ⭐️ 6.0k
  • Tags: actor-model ai-infrastructure stateful
  • 最后活动时间: 2026-08-10

volcano ​

CNCF云原生批处理系统，专为AI/ML工作负载设计，支持Kubernetes上的大规模训练和推理任务调度。

  • Stars: ⭐️ 6.0k
  • Tags: kubernetes machine-learning batch-systems ai-training
  • 最后活动时间: 2026-09-17

cubefs ​

云原生分布式存储系统，专为AI场景优化的存储解决方案，支持对象存储和Kubernetes集成。

  • Stars: ⭐️ 5.7k
  • Tags: cloud-native-storage ai-native-storage kubernetes distributed-storage
  • 最后活动时间: 2026-09-10

trailbase ​

基于Rust和SQLite构建的亚毫秒级单执行后端服务，可作为Firebase的轻量级替代方案。内置WebAssembly运行时和MCP支持，适合AI应用快速部署。

  • Stars: ⭐️ 5.6k
  • Tags: rust backend wasm mcp database
  • 最后活动时间: 2026-09-17

Olares ​

开源个人云平台，帮助用户重新掌控自己的数据。支持本地AI模型部署和智能家居集成，提供完整的私有云解决方案。

  • Stars: ⭐️ 5.3k
  • Tags: ai-agents local-ai self-hosted home-cloud
  • 最后活动时间: 2026-09-16

firebase-js-sdk ​

Firebase官方JavaScript SDK，提供实时数据库、身份验证、云存储等后端服务，适合构建AI应用的云端基础设施。

  • Stars: ⭐️ 5.1k
  • Tags: firebase real-time cloud sdk backend
  • 最后活动时间: 2026-09-16

tau ​

面向人类与机器的全栈工作空间平台，支持云原生、分布式系统和AI工作负载。

  • Stars: ⭐️ 5.1k
  • Tags: ai cloud-native distributed-systems serverless webassembly
  • 最后活动时间: 2026-08-16

spack ​

支持多版本、多平台、多编译器的灵活包管理器，广泛应用于HPC和科学计算环境，适合管理AI/ML依赖。

  • Stars: ⭐️ 5.1k
  • Tags: package-manager hpc scientific-computing python
  • 最后活动时间: 2026-09-17

cube-studio ​

开源云原生一站式机器学习平台，支持 MLOps 全流程、大模型微调训练、多机推理部署及国产算力生态。

  • Stars: ⭐️ 5.1k
  • Tags: MLOps Kubernetes 大模型训练 分布式推理
  • 最后活动时间: 2026-07-11

nvidia-container-toolkit ​

NVIDIA容器工具包，支持在容器环境中高效利用GPU资源进行AI训练和推理。

  • Stars: ⭐️ 4.6k
  • Tags: docker gpu container nvidia
  • 最后活动时间: 2026-09-16

kubero ​

一个免费且可自托管的 PaaS 平台，类似于 Heroku 和 Netlify，基于 Kubernetes 运行。它为开发者提供了便捷的 GitOps 驱动的应用部署体验。

  • Stars: ⭐️ 4.4k
  • Tags: kubernetes paas self-hosted gitops ci-cd
  • 最后活动时间: 2026-09-09

oracle-ai-developer-hub ​

Oracle AI开发者技术资源中心，提供构建AI应用、智能体和RAG系统的完整指南，涵盖Oracle AI数据库与OCI云服务的实战示例。

  • Stars: ⭐️ 4.4k
  • Tags: oracle ai agents rag kubernetes cloud
  • 最后活动时间: 2026-09-15

deepflow ​

基于eBPF的零侵入式可观测性平台，支持分布式追踪和性能分析，可监控Kubernetes环境下的LLM应用和GPU工作负载。

  • Stars: ⭐️ 4.3k
  • Tags: eBPF Observability Kubernetes LLM Monitoring
  • 最后活动时间: 2026-09-17

higgsfield ​

容错、高可扩展的 GPU 编排框架，专为训练数十亿到万亿参数的大模型设计。

  • Stars: ⭐️ 4.2k
  • Tags: Distributed Training GPU Orchestration LLM MLOps
  • 最后活动时间: 2026-09-14

pipelines ​

Kubernetes 原生的机器学习工作流编排平台，提供可视化界面和 SDK，大幅简化 MLOps 实践和 ML 流水线管理。

  • Stars: ⭐️ 4.2k
  • Tags: Kubeflow MLOps Kubernetes Pipeline
  • 最后活动时间: 2026-09-16

crun ​

快速轻量的 OCI 容器运行时及 C 库，兼容 runc，性能更优、资源占用更低。

  • Stars: ⭐️ 4.1k
  • Tags: containers oci runtime linux cloud
  • 最后活动时间: 2026-09-14

aws-sdk-pandas ​

AWS官方pandas集成库，轻松连接Athena、Redshift、S3等AWS数据服务，简化云端数据处理。

  • Stars: ⭐️ 4.1k
  • Tags: aws pandas data-engineering etl python
  • 最后活动时间: 2026-09-15

octelium ​

新一代开源零信任安全访问平台，支持AI/MCP网关、VPN、PaaS等多种部署模式。

  • Stars: ⭐️ 4.1k
  • Tags: Zero Trust AI Gateway VPN
  • 最后活动时间: 2026-09-16

criu ​

检查点/恢复工具，可冻结容器或进程并将其状态保存到磁盘，实现零停机迁移与快速恢复。

  • Stars: ⭐️ 4.0k
  • Tags: checkpoint restore containers migration linux
  • 最后活动时间: 2026-09-13

terraform-hcloud-kube-hetzner ​

一键在Hetzner Cloud上部署优化且免维护的Kubernetes集群。基于Terraform和K3s，提供高效的云原生基础设施管理。

  • Stars: ⭐️ 3.9k
  • Tags: terraform kubernetes hcloud k3s hetzner-cloud
  • 最后活动时间: 2026-09-14

ChatGPT-Telegram-Workers ​

轻松部署Telegram ChatGPT机器人，支持Cloudflare Workers、Vercel和Docker多平台无服务器部署。

  • Stars: ⭐️ 3.8k
  • Tags: ChatGPT Telegram Serverless
  • 最后活动时间: 2026-09-15

pinme ​

一键部署前端应用工具，支持Claude Code Skills集成，零配置静态站点托管。

  • Stars: ⭐️ 3.7k
  • Tags: deployment frontend claude-code-skill serverless hosting
  • 最后活动时间: 2026-09-12

polyaxon ​

MLOps平台，提供机器学习全生命周期的管理与编排工具，支持Kubernetes部署。

  • Stars: ⭐️ 3.7k
  • Tags: MLOps Kubernetes Machine-Learning
  • 最后活动时间: 2026-09-16

butterbase ​

开源的后端即服务平台，提供Postgres、身份验证、存储及AI网关等功能。

  • Stars: ⭐️ 3.5k
  • Tags: baas ai-gateway postgres open-source
  • 最后活动时间: 2026-09-14

swarmpit ​

轻量级 Docker Swarm 管理平台，支持 AI 友好部署和 MCP 协议集成，提供移动端适配的 PWA 界面。

  • Stars: ⭐️ 3.5k
  • Tags: docker docker-swarm mcp container-management
  • 最后活动时间: 2026-08-21

CPA-Manager-Plus ​

自托管AI网关监控工具，用于跟踪请求、成本、失败率、配额及账户健康状态。支持OpenAI兼容网关及多种AI代理API。

  • Stars: ⭐️ 3.5k
  • Tags: ai-gateway cost-analysis observability openai usage-tracking
  • 最后活动时间: 2026-09-17

radar ​

开源Kubernetes可视化UI工具，支持拓扑视图、事件时间线和服务流量监控，集成MCP服务器便于AI助手管理集群。

  • Stars: ⭐️ 3.4k
  • Tags: kubernetes k8s mcp-server gitops dashboard
  • 最后活动时间: 2026-09-17

dagu ​

本地优先的工作流引擎，支持声明式、基于文件的配置，可从单机扩展到分布式集群，适用于AI工作流编排。

  • Stars: ⭐️ 3.3k
  • Tags: workflow-engine dag job-scheduler ai-workflow
  • 最后活动时间: 2026-04-24

peerdb ​

高效的数据复制工具，支持从 Postgres 实时同步数据到数据仓库、消息队列和存储系统，为 AI/ML 数据管道提供可靠的基础设施。

  • Stars: ⭐️ 3.3k
  • Tags: postgres cdc etl data-pipeline realtime
  • 最后活动时间: 2026-09-16

Zadig ​

Zadig 是面向开发者的 AI 驱动云原生分布式 DevOps 平台，提供高效的一站式 CI/CD 与环境管理能力。

  • Stars: ⭐️ 3.2k
  • Tags: DevOps CI-CD cloud-native AI-powered
  • 最后活动时间: 2026-09-17

harbor ​

一键部署完整LLM技术栈，集成数百个AI服务，支持Docker容器化本地自托管。

  • Stars: ⭐️ 3.2k
  • Tags: Docker LLM Self-hosted
  • 最后活动时间: 2026-09-13

EFAK ​

一款 AI 驱动的分布式 Kafka 集群监控系统，提供全面的监控与管理功能。帮助开发者高效维护和优化消息队列基础设施。

  • Stars: ⭐️ 3.2k
  • Tags: kafka monitoring ai distributed-systems
  • 最后活动时间: 2026-09-12

spark-operator ​

undefined

  • Stars: ⭐️ 3.2k
  • Tags: apache-spark kubernetes kubernetes-operator machine-learning
  • 最后活动时间: 2026-09-14

kite ​

轻量级Kubernetes仪表板，整合多集群管理、企业级用户治理和AI智能体于一体的平台级解决方案。

  • Stars: ⭐️ 3.1k
  • Tags: kubernetes ai-agent dashboard multi-cluster
  • 最后活动时间: 2026-09-16

robusta ​

Kubernetes智能告警平台，提供AI增强的告警分组、自动修复和故障诊断能力。

  • Stars: ⭐️ 3.1k
  • Tags: Kubernetes Prometheus AIOps Monitoring
  • 最后活动时间: 2026-09-16

gravitino ​

强大的开源数据目录系统，支持构建高性能、地理分布式的联邦元数据湖和AI模型目录管理。

  • Stars: ⭐️ 3.1k
  • Tags: Data Catalog Lakehouse Metadata AI Catalog
  • 最后活动时间: 2026-07-20

heavydb ​

GPU加速的SQL数据库，支持实时分析和机器学习工作负载。

  • Stars: ⭐️ 3.1k
  • Tags: cuda gpu-database sql analytics machine-learning
  • 最后活动时间: 2026-09-04

cloudpods ​

开源云原生融合云平台，支持多云、私有云和裸金属统一管理，提供完整的IaaS基础设施解决方案。

  • Stars: ⭐️ 2.9k
  • Tags: multi-cloud kubernetes hybridcloud infrastructure
  • 最后活动时间: 2026-09-17

chdb ​

基于ClickHouse的进程内OLAP SQL引擎，支持高性能数据分析。

  • Stars: ⭐️ 2.9k
  • Tags: clickhouse olap sql data-science
  • 最后活动时间: 2026-09-15

forkd ​

专为AI智能体设计的微VM沙箱隔离方案，可在101毫秒内从预热父进程快速分叉创建安全隔离环境。

  • Stars: ⭐️ 2.9k
  • Tags: ai-agents sandbox microvm kvm
  • 最后活动时间: 2026-09-14

gpu-operator ​

NVIDIA官方Kubernetes GPU运算符，自动化管理集群中的GPU资源配置与调度。

  • Stars: ⭐️ 2.9k
  • Tags: kubernetes gpu nvidia cuda
  • 最后活动时间: 2026-09-17

pg_durable ​

基于PostgreSQL的数据库内持久化执行引擎，专为AI工作流和管道设计。提供高可靠的函数级执行保障。

  • Stars: ⭐️ 2.8k
  • Tags: ai-pipelines ai-workflows durable-execution postgresql
  • 最后活动时间: 2026-09-16

docker-python ​

Kaggle官方Python Docker镜像，预装常用机器学习与数据科学库。

  • Stars: ⭐️ 2.7k
  • Tags: docker kaggle ml-environment data-science
  • 最后活动时间: 2026-09-05

pai ​

AI资源调度和集群管理平台，支持GPU集群的机器学习模型训练，提供Kubernetes上的完整AI基础设施解决方案。

  • Stars: ⭐️ 2.7k
  • Tags: Cluster Management GPU Kubernetes AI Infrastructure
  • 最后活动时间: 2026-09-17

kuberay ​

在Kubernetes上运行Ray应用的工具包，支持分布式机器学习与深度学习工作负载。

  • Stars: ⭐️ 2.7k
  • Tags: kubernetes ray deep-learning machine-learning
  • 最后活动时间: 2026-09-17

amazon-bedrock-agentcore-samples ​

帮助开发者将AI智能体快速部署到生产环境，提供企业级扩展性、可靠性和安全性支持。

  • Stars: ⭐️ 2.7k
  • Tags: AI Agents Production Deployment AWS Bedrock
  • 最后活动时间: 2026-04-23

binderhub ​

BinderHub 可在云端自动构建并运行代码仓库的交互式计算环境，一键复现 AI 与数据科学项目。分享可运行 Notebook 的最佳方案。

  • Stars: ⭐️ 2.7k
  • Tags: Jupyter Binder Cloud Reproducibility
  • 最后活动时间: 2026-09-07

nono ​

内核级AI智能体沙箱安全工具，提供能力隔离、安全密钥管理和不可变审计链，防范提示注入等安全威胁。

  • Stars: ⭐️ 2.7k
  • Tags: Agent Security Sandbox Zero-Trust
  • 最后活动时间: 2026-06-11

cube-studio ​

开源云原生一站式机器学习平台，支持大模型训练推理、MLOps全流程、多机分布式训练及国产算力调度。

  • Stars: ⭐️ 2.5k
  • Tags: mlops machine-learning-platform kubernetes llm-training
  • 最后活动时间: 2026-08-17

awesome-argo ​

Argo生态系统精选资源列表，涵盖Argo Workflows、ArgoCD等云原生工具，支持MLOps和机器学习工作流编排。

  • Stars: ⭐️ 2.5k
  • Tags: argo argocd kubernetes mlops gitops workflow-orchestration
  • 最后活动时间: 2026-09-03

boinc ​

开源分布式计算平台，支持志愿计算和网格计算，可用于AI模型训练和科学计算任务的大规模分布式处理。

  • Stars: ⭐️ 2.5k
  • Tags: distributed-computing volunteer-computing grid-computing high-performance-computing
  • 最后活动时间: 2026-09-16

parseable ​

基于Rust构建的开源统一基础设施可观测性平台，采用数据湖架构以降低存储成本。支持追踪日志、指标、事件，并特别针对AI智能体提供可观测性支持。

  • Stars: ⭐️ 2.5k
  • Tags: observability rust log-storage opentelemetry agent-observability
  • 最后活动时间: 2026-09-15

sedona ​

大规模地理空间数据处理集群计算框架，支持空间SQL查询和分析，适用于AI地理空间应用的数据预处理管道。

  • Stars: ⭐️ 2.4k
  • Tags: geospatial cluster-computing spatial-analysis spatial-query
  • 最后活动时间: 2026-09-17

static-web-server ​

基于Rust打造的高性能跨平台静态文件Web服务器，支持HTTP/2、TLS等特性。单一二进制文件，部署极为轻量。

  • Stars: ⭐️ 2.4k
  • Tags: rust http-server static-files web-server
  • 最后活动时间: 2026-09-11

terraform-skill ​

Claude Agent 的 Terraform 和 OpenTofu 技能扩展，支持测试、模块管理和生产级最佳实践。

  • Stars: ⭐️ 2.3k
  • Tags: Claude Terraform Infrastructure DevOps
  • 最后活动时间: 2026-07-03

1backend ​

企业级微服务平台，支持快速构建和部署 AI 应用，提供私有化部署能力。

  • Stars: ⭐️ 2.3k
  • Tags: ai-platform microservices backend self-hosted
  • 最后活动时间: 2026-05-27

openmeter ​

专为 AI 和 API 设计的实时用量计量与计费平台，支持百万级事件的实时聚合与基于用量的计费。

  • Stars: ⭐️ 2.3k
  • Tags: metering billing ai-usage usage-based-billing
  • 最后活动时间: 2026-09-16

proton ​

高性能单二进制SQL ETL管道，专为流处理、可观测性分析和AI/ML数据管道设计。

  • Stars: ⭐️ 2.3k
  • Tags: etl stream-processing sql real-time data-pipeline
  • 最后活动时间: 2026-09-16

sagemaker-python-sdk ​

AWS SageMaker官方Python SDK，支持在云端训练和部署机器学习模型。

  • Stars: ⭐️ 2.3k
  • Tags: aws sagemaker model-deployment
  • 最后活动时间: 2026-09-17

agent-vault ​

专为AI代理设计的HTTP凭证代理与密钥保险库，安全管理代理认证凭据。

  • Stars: ⭐️ 2.2k
  • Tags: ai-agents secrets-management agents
  • 最后活动时间: 2026-09-13

AutomatedLab ​

用简单 PowerShell 脚本在 Hyper-V 和 Azure 上自动部署复杂实验环境的框架。支持 AD、Exchange、PKI、IIS 等多种产品的一键化部署。

  • Stars: ⭐️ 2.2k
  • Tags: powershell automation azure hyperv deployment
  • 最后活动时间: 2026-07-06

cloudflare-ai-web ​

Cloudflare AI平台一键部署方案，快速搭建AI应用服务。

  • Stars: ⭐️ 2.2k
  • Tags: cloudflare ai-deployment serverless workers-ai nextjs
  • 最后活动时间: 2026-09-06

fugue ​

分布式计算统一接口，支持在Spark、Dask和Ray上无缝执行SQL、Python、Pandas和Polars代码，无需重写。

  • Stars: ⭐️ 2.2k
  • Tags: distributed-computing spark dask ray machine-learning
  • 最后活动时间: 2026-05-19

gondolin ​

基于Linux microvm的实验性AI智能体沙箱环境，使用TypeScript控制平面。

  • Stars: ⭐️ 2.2k
  • Tags: sandbox microvm agent-security
  • 最后活动时间: 2026-07-06

datafusion-ballista ​

Apache DataFusion分布式查询引擎，支持大规模数据处理。适用于AI数据预处理和分析场景。

  • Stars: ⭐️ 2.1k
  • Tags: arrow distributed query-engine dataframe
  • 最后活动时间: 2026-09-16

fusio ​

面向开发者的自托管 API 管理平台，支持 MCP 服务器和 AI Agent 集成。

  • Stars: ⭐️ 2.1k
  • Tags: api-gateway api-management mcp-server self-hosted
  • 最后活动时间: 2026-09-06

feldera ​

增量计算引擎，支持SQL查询和实时数据管道，适用于AI数据预处理和流式计算场景。

  • Stars: ⭐️ 2.1k
  • Tags: data-pipelines streaming sql incremental-computation rust
  • 最后活动时间: 2026-09-17

TileDB ​

通用存储引擎，支持密集和稀疏数组数据，适用于科学计算和AI数据管理。

  • Stars: ⭐️ 2.1k
  • Tags: storage-engine arrays data-science scientific-computing database
  • 最后活动时间: 2026-09-16

agent-safehouse ​

为本地AI代理提供沙箱安全隔离环境，限制其仅能读写必要的文件和资源，保护系统安全。

  • Stars: ⭐️ 2.1k
  • Tags: AI代理 沙箱安全 安全隔离
  • 最后活动时间: 2026-09-14

bytewax ​

基于Python的流式数据处理框架，专为机器学习数据管道设计，支持实时数据处理。

  • Stars: ⭐️ 2.0k
  • Tags: Stream Processing Python ML Pipeline
  • 最后活动时间: 2026-06-20

fluid ​

CNCF项目，为云原生大数据/AI应用提供数据抽象与加速，支持Kubernetes环境下的分布式缓存。

  • Stars: ⭐️ 2.0k
  • Tags: kubernetes data-abstraction distributed-cache cncf ai-infrastructure
  • 最后活动时间: 2026-09-16

kubewall ​

单二进制 Kubernetes 仪表板，支持多集群管理与 AI 集成，为 Kubernetes 运维提供智能辅助。

  • Stars: ⭐️ 1.9k
  • Tags: Kubernetes AI Dashboard
  • 最后活动时间: 2026-09-13

aistore ​

专为AI应用设计的可扩展分布式存储系统，支持Kubernetes部署和ML训练工作负载，提供高性能对象存储和ETL卸载能力。

  • Stars: ⭐️ 1.9k
  • Tags: AI Storage Kubernetes Distributed
  • 最后活动时间: 2026-09-16

valqore ​

为AI驱动的云和Kubernetes操作提供安全优先的护栏工具。确保AI在基础设施运维中的安全性与合规性。

  • Stars: ⭐️ 1.9k
  • Tags: ai-safety cloud-governance kubernetes mlops devops
  • 最后活动时间: 2026-09-05

plik ​

轻量级临时文件上传系统，支持端到端加密，可自托管，已集成MCP协议支持AI助手直接操作文件。

  • Stars: ⭐️ 1.8k
  • Tags: file-sharing self-hosted mcp e2ee
  • 最后活动时间: 2026-09-09

robustmq ​

下一代统一通信基础设施，专为AI、物联网和大数据场景设计的高性能消息队列系统，支持MQTT、AMQP等多种协议。

  • Stars: ⭐️ 1.8k
  • Tags: 消息队列 MQTT Rust AI基础设施
  • 最后活动时间: 2026-09-17

koordinator ​

基于QoS的Kubernetes调度系统，为微服务、大数据和AI作业提供最优的资源分配和调度策略。

  • Stars: ⭐️ 1.8k
  • Tags: kubernetes scheduling AI-workloads resource-management
  • 最后活动时间: 2026-09-15

n8n-hosting ​

n8n 自托管部署示例合集，提供 Docker、Kubernetes 等多种环境的配置模板。n8n 是流行的 AI 工作流编排平台，此仓库助你快速搭建可运行 AI 智能体自动化流程的私有化环境。

  • Stars: ⭐️ 1.7k
  • Tags: n8n docker kubernetes self-hosted workflow-automation ai-agents
  • 最后活动时间: 2026-09-15

repo2docker ​

将Git仓库自动转换为Jupyter就绪的Docker镜像，简化数据科学和机器学习环境的部署流程。

  • Stars: ⭐️ 1.7k
  • Tags: docker jupyter data-science reproducibility
  • 最后活动时间: 2026-09-15

zero-to-jupyterhub-k8s ​

在Kubernetes上部署JupyterHub的官方Helm Chart，为AI/ML开发提供云端笔记本环境。

  • Stars: ⭐️ 1.7k
  • Tags: jupyterhub kubernetes data-science
  • 最后活动时间: 2026-09-15

distributed ​

Dask分布式任务调度器，为大规模机器学习和数据处理提供强大的分布式计算能力。

  • Stars: ⭐️ 1.7k
  • Tags: distributed-computing dask pydata python
  • 最后活动时间: 2026-09-16

hash ​

开源多租户平台，支持自建知识图谱与仿真模拟。

  • Stars: ⭐️ 1.7k
  • Tags: knowledge-graph simulation rust multi-tenant
  • 最后活动时间: 2026-09-17

runtime ​

E2B 核心运行时，为 AI 智能体提供安全的代码解释器与微虚拟机沙箱，可在云端或本地部署。

  • Stars: ⭐️ 1.6k
  • Tags: ai-agents code-interpreter sandbox llm microvm
  • 最后活动时间: 2026-09-17

semaphore ​

专为AI驱动开发打造的一体化持续交付平台，支持构建、测试和部署AI应用。

  • Stars: ⭐️ 1.6k
  • Tags: ci-cd continuous-delivery ai-development devops
  • 最后活动时间: 2026-09-16

quix-streams ​

基于Kafka的Python流式DataFrame库，适用于实时机器学习数据处理管道。

  • Stars: ⭐️ 1.6k
  • Tags: kafka stream-processing python real-time-data
  • 最后活动时间: 2026-09-16

AI-Horde ​

众包分布式AI计算集群，支持AI图像和文本生成的志愿者计算网络。

  • Stars: ⭐️ 1.6k
  • Tags: distributed-computing stable-diffusion gpt volunteer-computing
  • 最后活动时间: 2026-09-04

terraform-mcp-server ​

Terraform MCP服务器，为AI智能体提供与Terraform生态系统的无缝集成，支持基础设施即代码开发自动化。

  • Stars: ⭐️ 1.5k
  • Tags: mcp terraform infrastructure-as-code ai-agents
  • 最后活动时间: 2026-09-16

KAI-Scheduler ​

开源的 Kubernetes 原生调度器，专为大规模 AI 工作负载设计，支持 GPU 资源优化和分布式训练任务调度。

  • Stars: ⭐️ 1.5k
  • Tags: kubernetes ai-scheduler gpu-scheduling machine-learning
  • 最后活动时间: 2026-09-15

azure-skills ​

微软官方Azure代理插件，提供Azure场景的技能和MCP服务器配置。

  • Stars: ⭐️ 1.5k
  • Tags: azure mcp agent-skills cloud
  • 最后活动时间: 2026-09-16

bittensor ​

一个去中心化的区块链网络，旨在构建互联网规模的神经网络。通过点对点网络和加密货币激励机制，促进全球机器学习模型的协作与训练。

  • Stars: ⭐️ 1.5k
  • Tags: ai blockchain deep-learning machine-learning neural-networks p2p
  • 最后活动时间: 2026-07-10

nixopus ​

完全代理式的生产应用部署平台，让你无需考虑基础设施即可在自有或共享服务器上运行应用。

  • Stars: ⭐️ 1.5k
  • Tags: ai-agents deployment infrastructure mcp self-hosted
  • 最后活动时间: 2026-09-13

app-platform ​

大模型应用工程平台，集成声明式编程和低代码配置工具。

  • Stars: ⭐️ 1.5k
  • Tags: ai agent agentic-ai java low-code
  • 最后活动时间: 2026-08-26

gloo ​

PyTorch官方的分布式训练集合通信库，支持多机多卡训练。

  • Stars: ⭐️ 1.5k
  • Tags: distributed-training collectives pytorch multi-machine
  • 最后活动时间: 2026-09-16

oracle-db-examples ​

Oracle AI 数据库代码示例集合，展示如何在 Oracle 数据库中使用 AI 功能，包括向量存储、机器学习等特性。

  • Stars: ⭐️ 1.4k
  • Tags: oracle ai-database vector-database machine-learning
  • 最后活动时间: 2026-09-11

bittensor ​

去中心化AI网络协议，结合区块链技术实现互联网规模的神经网络协作训练与推理。

  • Stars: ⭐️ 1.4k
  • Tags: decentralized-ai blockchain p2p
  • 最后活动时间: 2026-04-23

aws-genai-llm-chatbot ​

AWS上的多LLM多RAG聊天机器人部署方案，支持Amazon Bedrock、OpenAI、Anthropic等多种模型，模块化架构易于扩展。

  • Stars: ⭐️ 1.4k
  • Tags: AWS LLM RAG Chatbot CDK
  • 最后活动时间: 2026-06-30

generative-ai-use-cases ​

AWS官方生成式AI业务用例实现方案，涵盖Claude、Llama等模型和RAG技术，帮助企业安全部署AI应用。

  • Stars: ⭐️ 1.4k
  • Tags: AWS Generative AI LLM RAG
  • 最后活动时间: 2026-09-13

atmos ​

开源的基础设施运行时工具，支持在本地、CI和AI代理中统一构建和部署Terraform、Kubernetes等。为云原生基础设施提供强大的自动化编排能力。

  • Stars: ⭐️ 1.4k
  • Tags: terraform kubernetes devops ai-agents infrastructure
  • 最后活动时间: 2026-09-17

E2B Infra ​

E2B云平台底层基础设施，为AI智能体提供安全的代码执行沙箱环境。

  • Stars: ⭐️ 1.4k
  • Tags: Sandbox Cloud MicroVM
  • 最后活动时间: 2026-09-07

kusion ​

声明式意图驱动的内部开发者平台编排器，支持LLMOps和多云部署的现代化基础设施解决方案。

  • Stars: ⭐️ 1.3k
  • Tags: platform-engineering kubernetes llmops cloud-native
  • 最后活动时间: 2026-09-10

arkflow ​

高性能Rust流处理引擎，无缝集成AI能力，支持实时数据处理和智能分析。适用于机器学习数据管道和实时AI推理场景。

  • Stars: ⭐️ 1.3k
  • Tags: Rust Stream Processing AI Real-time
  • 最后活动时间: 2026-09-17

aipexbase ​

AI 原生后端即服务平台，专注前端开发，后端由 AI 自动处理。

  • Stars: ⭐️ 1.3k
  • Tags: baas ai-native backend cloud-platform
  • 最后活动时间: 2026-08-13

Modal云平台的示例代码集合，展示无服务器GPU计算和ML部署。

  • Stars: ⭐️ 1.3k
  • Tags: modal serverless gpu cloud pytorch
  • 最后活动时间: 2026-09-14

grafbase ​

Grafbase GraphQL联邦网关，支持MCP协议，为AI应用提供高性能的GraphQL数据联邦能力。

  • Stars: ⭐️ 1.2k
  • Tags: graphql federation mcp rust
  • 最后活动时间: 2026-07-01

google-colab-cli ​

通过命令行远程管理 Google Colab 笔记本的工具，方便开发者在本地终端操控 Colab 的免费 GPU 算力来运行机器学习任务。是连接本地工作流与云端 AI 训练环境的实用桥梁。

  • Stars: ⭐️ 1.2k
  • Tags: google-colab cli machine-learning gpu cloud
  • 最后活动时间: 2026-09-14

deep-learning-containers ​

AWS官方深度学习容器，一站式AI/ML云端部署解决方案。

  • Stars: ⭐️ 1.2k
  • Tags: aws deep-learning containers deployment
  • 最后活动时间: 2026-09-17

openGemini ​

CNCF沙箱项目，一款开源的分布式时间序列数据库。具备高并发、高性能和高可扩展性，适用于物联网和云原生可观测性场景。

  • Stars: ⭐️ 1.2k
  • Tags: time-series-database cloudnative distributed iot observability
  • 最后活动时间: 2026-09-09

Dormice ​

自托管的 AI 智能体沙盒环境，兼容 E2B。支持单机持久化运行，闲置成本为零，非常适合 AI 代码执行场景。

  • Stars: ⭐️ 1.2k
  • Tags: ai-agents sandbox self-hosted docker code-execution
  • 最后活动时间: 2026-09-16

wuying-agentbay-sdk ​

专为AI智能体打造的云端沙箱环境SDK，提供安全隔离的运行环境用于AI代理测试和部署。

  • Stars: ⭐️ 1.1k
  • Tags: sandbox ai-agents cloud sdk
  • 最后活动时间: 2026-06-08

cluster-api-provider-hetzner ​

Hetzner的Cluster API提供者，以完全声明式和Kubernetes原生的方式管理集群。具备自愈能力和高可用性，优化云上K8s生命周期管理。

  • Stars: ⭐️ 1.1k
  • Tags: cluster-api kubernetes hetzner hcloud high-availability
  • 最后活动时间: 2026-09-16

sandbox-sdk ​

基于Cloudflare边缘网络的沙盒代码执行环境，为AI智能体提供安全隔离的代码解释器。

  • Stars: ⭐️ 1.1k
  • Tags: sandbox code-interpreter edge-computing containers
  • 最后活动时间: 2026-09-16

dockerfiles-windows ​

面向 Windows 容器的各类 Dockerfile 精选集合，覆盖常用开发与运行环境镜像。是 Windows 容器化实践的优质参考。

  • Stars: ⭐️ 1.1k
  • Tags: docker windows-containers dockerfile
  • 最后活动时间: 2026-09-08

CloudBase-AI-Toolkit ​

为AI编程智能体提供CloudBase后端支持的工具包，包含数据库、认证及函数功能。通过插件、技能和MCP协议无缝集成Cursor与Claude Code。

  • Stars: ⭐️ 1.1k
  • Tags: ai-coding mcp-server cloudbase cursor claude-code
  • 最后活动时间: 2026-09-17

Network-Reinstall-System-Modify ​

通过网络一键重装 CentOS、Debian、Ubuntu、Windows 等多种操作系统的实用脚本。还支持挂载远程网络 ISO 安装任意系统。

  • Stars: ⭐️ 1.1k
  • Tags: network-reinstall linux windows vps automation
  • 最后活动时间: 2026-08-10

targets ​

R语言函数式声明式工作流管道工具，类似Makefile，支持高性能计算和可重复研究。

  • Stars: ⭐️ 1.1k
  • Tags: pipeline workflow r reproducibility data-science
  • 最后活动时间: 2026-05-13

codex-universal ​

用于 Codex 环境的基础 Docker 镜像，为 AI 开发提供标准化的容器化部署支持。

  • Stars: ⭐️ 1.1k
  • Tags: docker codex infrastructure
  • 最后活动时间: 2026-05-02

kernel-images ​

面向自动化和Web智能体的浏览器即服务基础设施。

  • Stars: ⭐️ 1.1k
  • Tags: browser-automation infrastructure docker unikernel
  • 最后活动时间: 2026-09-17

security-pcc ​

苹果 Private Cloud Compute（PCC）官方仓库，提供为 Apple Intelligence 打造的隐私优先 AI 云端推理架构的研究环境与验证工具。适合关注安全 AI 基础设施与隐私计算的开发者深入研究。

  • Stars: ⭐️ 1.0k
  • Tags: Apple PrivateCloudCompute AI-Infrastructure Privacy Security
  • 最后活动时间: 2026-05-15

manifests ​

Kubeflow AI参考平台的部署清单，支持企业级多租户和安全配置，简化机器学习平台在Kubernetes上的部署。

  • Stars: ⭐️ 1.0k
  • Tags: kubeflow kubernetes deployment mlops
  • 最后活动时间: 2026-05-27

kaito ​

Kubernetes AI工具链操作器，简化AI模型在Kubernetes集群上的部署和管理，支持GPU资源调度。

  • Stars: ⭐️ 1.0k
  • Tags: kubernetes ai gpu operator mlops
  • 最后活动时间: 2026-09-17

aws-ai-stack ​

AWS AI 全栈脚手架项目，用于快速构建无服务器 AI 应用，支持 AWS Bedrock、Claude AI 和 Llama3。

  • Stars: ⭐️ 1.0k
  • Tags: aws serverless ai aws-bedrock claude-ai llama3
  • 最后活动时间: 2026-05-12

mariadb-operator ​

云原生方式运行和管理 MariaDB 的 Kubernetes Operator，支持高可用和自动化运维。

  • Stars: ⭐️ 1.0k
  • Tags: kubernetes mariadb database cloud-native operator
  • 最后活动时间: 2026-09-16

dante-cloud ​

支持阻塞式和响应式并行的微服务云原生基座，集成Spring AI支持AI Agent开发，满足企业级安全合规要求。

  • Stars: ⭐️ 961
  • Tags: microservices spring-ai ai-agent cloud-native
  • 最后活动时间: 2026-09-10

kubectl-mcp-server ​

Kubernetes MCP服务器，让AI助手能够管理和操作K8s集群。

  • Stars: ⭐️ 958
  • Tags: kubernetes mcp mcp-server devops
  • 最后活动时间: 2026-04-08

vibe ​

macOS上的轻量级Linux虚拟机工具，用于安全沙箱化运行LLM智能体。

  • Stars: ⭐️ 954
  • Tags: Sandbox LLM Agents Virtualization
  • 最后活动时间: 2026-08-31

openai-proxy ​

OpenAI/ChatGPT免翻墙代理服务，方便国内用户访问AI接口。

  • Stars: ⭐️ 951
  • Tags: openai-proxy chatgpt proxy api-gateway
  • 最后活动时间: 2026-06-29

curvine ​

基于 Rust 构建的高性能分布式多层缓存系统，专为 AI 基础设施优化。

  • Stars: ⭐️ 945
  • Tags: ai-infrastructure cache rust distributed-systems
  • 最后活动时间: 2026-09-16

sandboxd ​

自托管的开发沙箱环境，提供预览URL和一键部署功能。专为AI编程代理和SaaS工厂设计，无需Kubernetes即可实现安全隔离。

  • Stars: ⭐️ 944
  • Tags: ai-agent dev-environment sandbox self-hosted
  • 最后活动时间: 2026-09-09

hera ​

Python原生集成库，让Python代码轻松编排到Argo Workflows上运行，支持纯Python构建和提交工作流。

  • Stars: ⭐️ 939
  • Tags: Argo Workflows Python Kubernetes MLOps
  • 最后活动时间: 2026-09-08

selfhost-ai ​

开源自托管AI自动化平台，一键部署n8n、Ollama、Flowise等30+工具。提供免费的Zapier/Make替代方案，支持自动HTTPS。

  • Stars: ⭐️ 933
  • Tags: ai self-hosted ollama n8n docker llm rag
  • 最后活动时间: 2026-09-11

hcloud-cloud-controller-manager ​

专为Hetzner Cloud设计的Kubernetes云控制器管理器。实现Kubernetes与Hetzner云基础设施的无缝集成与网络管理。

  • Stars: ⭐️ 929
  • Tags: kubernetes hcloud hetzner-cloud cloud-controller-manager
  • 最后活动时间: 2026-09-15

console ​

面向团队和AI智能体的开源密钥管理工具，提供端到端加密。支持自托管，安全地管理环境变量与机密信息。

  • Stars: ⭐️ 923
  • Tags: secret-management ai-agents devops self-hosted django
  • 最后活动时间: 2026-09-16

openeverest ​

开源平台，可在任意 Kubernetes 上自动化配置与管理数据库、存储及大语言模型服务。

  • Stars: ⭐️ 921
  • Tags: LLM Kubernetes Provisioning Database
  • 最后活动时间: 2026-09-17

gcloud-mcp ​

Google Cloud MCP 服务器，让 AI 智能体能够与 Google Cloud 服务进行交互操作。

  • Stars: ⭐️ 907
  • Tags: gcloud mcp google-cloud ai-integration
  • 最后活动时间: 2026-09-13

n8n-install ​

一键部署自托管AI自动化平台，集成n8n、Ollama、Flowise、RAG等30+工具。

  • Stars: ⭐️ 894
  • Tags: Self-hosted Docker Ollama RAG
  • 最后活动时间: 2026-07-01

k8m ​

轻量级跨平台 Kubernetes AI 管理面板，集成大模型、智能体和MCP支持，提供多集群管理、智能分析和实时异常检测功能。

  • Stars: ⭐️ 884
  • Tags: ai kubernetes dashboard mcp llm chatgpt
  • 最后活动时间: 2026-09-12

onyxia ​

Kubernetes 原生的数据科学开发环境，为 AI/ML 工作负载提供完整的容器化开发平台。

  • Stars: ⭐️ 872
  • Tags: kubernetes data-science datalab helm
  • 最后活动时间: 2026-09-16

bacalhau ​

分布式计算框架，支持AI数据管道、批处理和去中心化计算任务的高效执行平台。

  • Stars: ⭐️ 871
  • Tags: distributed-computing ai-pipeline data-processing
  • 最后活动时间: 2026-09-13

covalent ​

Python工作流编排工具，支持机器学习、高性能计算和量子计算任务的异构环境调度。

  • Stars: ⭐️ 868
  • Tags: workflow orchestration machine-learning quantum-computing
  • 最后活动时间: 2026-08-31

data-on-eks ​

在Amazon EKS上构建、部署和扩展数据与ML平台的工具集，支持Kubeflow、Ray、Spark等框架。

  • Stars: ⭐️ 857
  • Tags: kubernetes eks mlflow kubeflow
  • 最后活动时间: 2026-09-10

prime-diloco ​

一个用于在互联网上高效、分布式训练AI模型的框架。支持全球范围内的模型协同训练。

  • Stars: ⭐️ 854
  • Tags: distributed-training ai-infrastructure deep-learning
  • 最后活动时间: 2026-07-17

mlops-on-gcp ​

在 Google Cloud 上构建端到端 MLOps 流水线的实践示例，覆盖 Vertex AI 模型训练、部署与监控全流程。

  • Stars: ⭐️ 840
  • Tags: mlops gcp vertex-ai machine-learning cloud
  • 最后活动时间: 2026-07-01

flake ​

Nix Flake配置集合，为众多AI项目提供便捷的包管理和开发环境。

  • Stars: ⭐️ 838
  • Tags: nix nixos ai flake dev-environment
  • 最后活动时间: 2026-09-16

helix ​

专为AI智能体支付设计的自愈基础设施，实现90.3%自动恢复能力。

  • Stars: ⭐️ 831
  • Tags: ai-agents payments infrastructure self-healing
  • 最后活动时间: 2026-06-09

arena ​

Kubeflow命令行工具，简化Kubernetes上的机器学习任务管理，支持一键部署训练任务和模型服务。

  • Stars: ⭐️ 819
  • Tags: Kubeflow Kubernetes 深度学习
  • 最后活动时间: 2026-09-10

groundx-on-prem ​

可Kubernetes部署的文档解析、存储和搜索服务，支持本地化部署。

  • Stars: ⭐️ 817
  • Tags: Kubernetes 文档解析 本地部署
  • 最后活动时间: 2026-09-15

k7 ​

轻量级虚拟机沙箱基础设施，用于安全执行不可信代码，支持CLI、API和Python SDK，是AI智能体代码执行的安全底座。

  • Stars: ⭐️ 808
  • Tags: sandbox agents security virtual-machine
  • 最后活动时间: 2026-09-14

hf-mount ​

将 Hugging Face 的存储桶和仓库挂载为本地文件系统，实现无需下载或复制即可直接访问。极大地简化了 AI 模型和数据集的云端管理与部署流程。

  • Stars: ⭐️ 789
  • Tags: huggingface filesystem cloud-storage model-serving
  • 最后活动时间: 2026-08-16

vertex-ai-samples ​

Google Cloud Vertex AI官方示例代码库，包含Jupyter notebooks和代码示例，全面演示机器学习和生成式AI工作流开发。

  • Stars: ⭐️ 787
  • Tags: vertex-ai gemini generative-ai mlops
  • 最后活动时间: 2026-09-04

Flawless ​

面向 Kubernetes 和云基础设施的 AI SRE 智能运维平台。利用大语言模型实现云原生环境的自动化监控与故障排查。

  • Stars: ⭐️ 782
  • Tags: aiops sre kubernetes llm cloud-native
  • 最后活动时间: 2026-08-14

jupyterhub-deploy-docker ​

JupyterHub 的 Docker 参考部署方案，为数据科学和机器学习团队提供多用户的 Notebook 协作环境。

  • Stars: ⭐️ 769
  • Tags: jupyterhub docker data-science machine-learning
  • 最后活动时间: 2026-08-03

temps ​

AI原生的开源一体化部署与监控平台，提供部署、分析、错误追踪等400+ CLI操作。

  • Stars: ⭐️ 757
  • Tags: ai-agents deployment-platform self-hosted rust devops
  • 最后活动时间: 2026-09-17

oio-sds ​

高性能软件定义对象存储系统，支持 S3 和 Swift 协议，专为大数据和 AI 工作负载设计。

  • Stars: ⭐️ 752
  • Tags: object-storage s3 storage big-data
  • 最后活动时间: 2026-05-07

flux-operator ​

自动化GitOps运维工具，集成MCP服务器支持AI助手进行集群管理和持续交付。

  • Stars: ⭐️ 752
  • Tags: gitops fluxcd mcp-server continuous-delivery kubernetes
  • 最后活动时间: 2026-09-16

mcp-server-docker ​

Docker容器管理MCP服务器，让AI助手能够管理和操作Docker容器。

  • Stars: ⭐️ 743
  • Tags: mcp docker containers devops
  • 最后活动时间: 2026-08-07

worker-comfyui ​

将ComfyUI部署为RunPod无服务器API，支持SDXL和Stable Diffusion工作流的云端托管与弹性扩展。

  • Stars: ⭐️ 741
  • Tags: ComfyUI Serverless Stable Diffusion
  • 最后活动时间: 2026-09-01

heir ​

基于MLIR的同态加密编译器，支持在加密数据上直接进行计算，为隐私保护的AI推理提供基础设施支持。

  • Stars: ⭐️ 740
  • Tags: Homomorphic Encryption MLIR Privacy-Preserving AI
  • 最后活动时间: 2026-06-24

terraform-provider-hcloud ​

Terraform官方的Hetzner Cloud提供者插件。支持通过基础设施即代码的方式高效管理Hetzner云资源。

  • Stars: ⭐️ 728
  • Tags: terraform terraform-provider hetzner-cloud infrastructure-as-code
  • 最后活动时间: 2026-08-05

mlops-stacks ​

Databricks ML 项目启动模板，开箱即用的生产级最佳实践配置。

  • Stars: ⭐️ 717
  • Tags: databricks mlops machine-learning
  • 最后活动时间: 2026-09-08

vertex-ai-mlops ​

Google Cloud Vertex AI 端到端 MLOps 工作流模板，涵盖机器学习模型训练、部署和运维全流程。

  • Stars: ⭐️ 716
  • Tags: MLOps Vertex AI GCP Deep Learning
  • 最后活动时间: 2026-09-16

code-on-incus ​

为AI Agent提供隔离的沙箱环境，支持root权限、Docker和systemd，内置主动防御机制自动检测并阻止威胁。

  • Stars: ⭐️ 711
  • Tags: ai-sandbox llm-security container-security agentic-ai code-sandbox
  • 最后活动时间: 2026-09-15

BharatMLStack ​

开源端到端机器学习基础设施栈，支持实时和批量ML工作负载的大规模部署。

  • Stars: ⭐️ 709
  • Tags: ml-infrastructure feature-store mlops machine-learning
  • 最后活动时间: 2026-09-15

terraform-hcloud-kubernetes ​

用于在Hetzner Cloud上部署高可用、生产级Talos Kubernetes集群的Terraform模块。提供安全且自动化的云原生基础设施部署方案。

  • Stars: ⭐️ 707
  • Tags: terraform kubernetes talos hcloud high-availability
  • 最后活动时间: 2026-09-16

n8n-helm-chart ​

在 Kubernetes 上一键自托管 n8n 的 Helm Chart。n8n 是当下最流行的 AI 工作流自动化平台之一，可原生编排数百种服务与 LLM/Agent 节点。

  • Stars: ⭐️ 704
  • Tags: n8n kubernetes helm-chart workflow-automation self-hosted ai-agents
  • 最后活动时间: 2026-09-15

vibe ​

MacOS上的轻量级Linux虚拟机，专为LLM Agent沙箱隔离设计，保障安全运行环境。

  • Stars: ⭐️ 679
  • Tags: Sandbox VM Agent Security
  • 最后活动时间: 2026-09-10

arc ​

高性能分析型数据库，基于 DuckDB SQL 引擎和 Parquet 存储，支持 AI、IoT、日志分析等场景，单二进制部署无厂商锁定。

  • Stars: ⭐️ 677
  • Tags: DuckDB Parquet OLAP Analytics
  • 最后活动时间: 2026-09-16

dify-helm ​

Dify平台的Kubernetes Helm部署方案，支持在K8s集群中快速部署LLM应用。

  • Stars: ⭐️ 671
  • Tags: Kubernetes Helm Dify 部署
  • 最后活动时间: 2026-09-03

awesome-kubernetes ​

Kubernetes与云原生技术资源合集，涵盖AI基础设施、DevOps、可观测性等主题，适合构建AI模型部署平台。

  • Stars: ⭐️ 670
  • Tags: kubernetes cloud-native devops infrastructure ai-infrastructure
  • 最后活动时间: 2026-09-16

enterprise_gateway ​

轻量级多租户Jupyter网关，支持在Kubernetes、Spark等分布式集群上运行Notebook内核，适用于AI/ML分布式计算场景。

  • Stars: ⭐️ 668
  • Tags: jupyter kubernetes distributed-computing spark enterprise-gateway
  • 最后活动时间: 2026-07-14

turbodbc ​

高性能Python ODBC数据库连接模块，支持NumPy和大数据场景下的快速数据访问。

  • Stars: ⭐️ 659
  • Tags: odbc database numpy python data-science
  • 最后活动时间: 2026-09-07

rustunnel ​

基于Rust的自托管安全隧道服务器，支持MCP协议让AI代理访问本地服务。可通过TLS加密的WebSocket暴露本地HTTP/HTTPS/TCP/UDP服务到公网。

  • Stars: ⭐️ 656
  • Tags: tunnel mcp-server self-hosted rust reverse-proxy
  • 最后活动时间: 2026-09-03

mlops-v2 ​

Azure MLOps 企业级解决方案加速器，提供生产就绪的机器学习模型部署模板。

  • Stars: ⭐️ 654
  • Tags: azure mlops machine-learning devops
  • 最后活动时间: 2026-06-03

deep-learning-frameworks ​

为ArcGIS系统提供深度学习框架的安装支持与环境配置工具。

  • Stars: ⭐️ 650
  • Tags: Deep Learning ArcGIS Infrastructure Installation
  • 最后活动时间: 2026-09-14

vibe ​

MacOS上的轻量级Linux虚拟机，专为LLM Agent沙箱隔离设计，保障安全运行环境。

  • Stars: ⭐️ 640
  • Tags: Sandbox VM Agent Security
  • 最后活动时间: 2026-04-23

waverless ​

高性能的无服务器 GPU 任务编排系统，为 wavespeed.ai 提供底层的调度与推理支持。

  • Stars: ⭐️ 633
  • Tags: serverless gpu inference orchestration scheduler
  • 最后活动时间: 2026-08-21

cloud-run-mcp ​

MCP 服务器，支持将 AI 应用一键部署到 Google Cloud Run，简化云端部署流程。

  • Stars: ⭐️ 631
  • Tags: mcp mcp-server google-cloud cloud-run
  • 最后活动时间: 2026-09-13

Nubase ​

开源的AI原生后端平台，专为AI编程和智能体应用设计。集成了内存、数据库、存储和认证功能，可自托管，帮助快速将AI生成的代码转化为真实应用。

  • Stars: ⭐️ 628
  • Tags: ai backend agents postgresql rag
  • 最后活动时间: 2026-08-18

self-host-n8n-on-gcr ​

在 Google Cloud 上自托管 n8n 的解决方案，支持 AI Agent 工作流的低成本无服务器部署。

  • Stars: ⭐️ 619
  • Tags: n8n Self-hosting Google Cloud AI Agents
  • 最后活动时间: 2026-05-13

venice ​

LinkedIn开源的衍生数据平台，专为行星级规模工作负载设计，支持AI/ML数据处理与推理场景。

  • Stars: ⭐️ 611
  • Tags: ML Platform Data Infrastructure Scalable
  • 最后活动时间: 2026-09-17

kubespawner ​

JupyterHub的Kubernetes动态Pod生成器，支持为每个用户创建独立的Jupyter Notebook环境，广泛用于数据科学和机器学习工作流。

  • Stars: ⭐️ 609
  • Tags: jupyter jupyterhub kubernetes data-science
  • 最后活动时间: 2026-09-07

matchlock ​

基于Linux沙箱的AI代理工作负载安全隔离方案，保障AI系统运行环境的安全性。

  • Stars: ⭐️ 604
  • Tags: security sandbox ai-agents linux
  • 最后活动时间: 2026-07-26

redun ​

支持AWS/GCP的数据科学工作流引擎，提供任务调度与Docker容器编排能力。

  • Stars: ⭐️ 601
  • Tags: workflow-engine data-engineering etl ml
  • 最后活动时间: 2026-07-17

velobase-harness ​

为AI开发者提供的开源基础设施，帮助将AI原型快速转化为付费SaaS服务。包含使用量计费、支付、防滥用和部署等完整功能。

  • Stars: ⭐️ 601
  • Tags: ai-saas billing monetization nextjs open-source saas-boilerplate
  • 最后活动时间: 2026-09-11

Slurm-web ​

Slurm HPC 和 AI 集群的开源 Web 管理界面，提供可视化监控和管理功能。

  • Stars: ⭐️ 600
  • Tags: slurm hpc cluster-management webui
  • 最后活动时间: 2026-09-10

openclaw-ansible ​

OpenClaw 自动化部署方案，集成 Tailscale VPN、UFW 防火墙和 Docker 隔离，提供安全加固的一键安装体验。

  • Stars: ⭐️ 600
  • Tags: openclaw ansible deployment docker vpn security
  • 最后活动时间: 2026-09-16

xet-core ​

Hugging Face Hub 的底层客户端技术，用于高效的数据存储和传输。优化了大规模 AI 模型和数据集的版本管理。

  • Stars: ⭐️ 592
  • Tags: huggingface-hub rust storage xet
  • 最后活动时间: 2026-09-16

ollama-helm ​

用于在Kubernetes集群中部署Ollama的Helm Chart，支持GPU资源配置和模型管理，适合生产环境。

  • Stars: ⭐️ 591
  • Tags: Helm Kubernetes LLM部署
  • 最后活动时间: 2026-09-16

leash ​

StrongDM推出的AI代理安全沙盒工具，为AI代理提供安全的容器化运行环境。

  • Stars: ⭐️ 591
  • Tags: ai-agents sandbox security container
  • 最后活动时间: 2026-04-06

fullstack-solution-template-for-agentcore ​

用于Amazon Bedrock AgentCore的生产级全栈解决方案模板，支持快速部署各类AI代理应用场景。

  • Stars: ⭐️ 590
  • Tags: agent agentcore aws bedrock fullstack deployment
  • 最后活动时间: 2026-09-16

aiida-core ​

AiiDA是一个用于计算科学的开源工作流引擎，提供数据溯源和管理功能。帮助研究人员自动化计算任务并确保结果可复现。

  • Stars: ⭐️ 585
  • Tags: aiida computational-science workflow-engine data-provenance
  • 最后活动时间: 2026-09-17

caddy-defender ​

Caddy 服务器模块，用于阻止或干扰 AI 爬虫对网站内容的抓取训练，保护原创内容安全。

  • Stars: ⭐️ 577
  • Tags: caddy ai-blocker security web-security
  • 最后活动时间: 2026-09-13

databricks-sdk-py ​

Databricks官方Python SDK，用于在Databricks数据智能平台上构建AI和机器学习应用。

  • Stars: ⭐️ 567
  • Tags: databricks sdk python machine-learning
  • 最后活动时间: 2026-09-17

bex ​

开源的 Render 替代方案，面向自托管的 AI 原生 PaaS。Git 推送即可构建部署，将智能体作为一等用户并支持 MCP。

  • Stars: ⭐️ 562
  • Tags: ai-agents mcp paas self-hosted gitops kubernetes
  • 最后活动时间: 2026-09-17

devopness ​

面向 AI 的多云 DevOps 平台，通过 MCP 部署应用、基础设施与 CI/CD，且无需在对话中暴露云凭证。

  • Stars: ⭐️ 558
  • Tags: MCP DevOps Cloud CI-CD Infrastructure
  • 最后活动时间: 2026-09-16

generative-ai-cdk-constructs ​

AWS官方提供的生成式AI CDK构造库，包含RAG、Agent、知识库等常见GenAI架构模式的示例实现。

  • Stars: ⭐️ 541
  • Tags: AWS CDK GenAI RAG
  • 最后活动时间: 2026-09-17

codalab-competitions ​

机器学习竞赛平台，支持基准测试和科学研究竞赛。

  • Stars: ⭐️ 538
  • Tags: ml-competitions benchmarks machine-learning-platform
  • 最后活动时间: 2026-09-07

alarik ​

高性能分布式 S3 兼容对象存储，主打速度，定位为 MinIO 和 RustFS 的开源替代方案，面向 AI 与大数据存储场景。

  • Stars: ⭐️ 538
  • Tags: object-storage s3 ai-storage distributed-storage minio
  • 最后活动时间: 2026-09-03

orchard ​

用于在 Apple Silicon 设备集群上编排 Tart 虚拟机的调度器，非常适合 macOS CI 与测试场景。

  • Stars: ⭐️ 536
  • Tags: macos virtualization orchestration apple-silicon
  • 最后活动时间: 2026-09-10

mpi-operator ​

Kubernetes上运行MPI分布式训练应用的Operator，支持PyTorch和TensorFlow。

  • Stars: ⭐️ 535
  • Tags: kubernetes distributed-training mpi kubeflow
  • 最后活动时间: 2026-09-14

sagemaker-training-toolkit ​

AWS SageMaker官方训练工具包，支持在Docker容器中训练机器学习模型。

  • Stars: ⭐️ 530
  • Tags: aws sagemaker machine-learning training docker
  • 最后活动时间: 2026-09-16

clawbox ​

为 OpenClaw AI 智能体预配置的 macOS 虚拟机方案，可在隔离环境中一键安全运行 AI Agent。解决 AI 助手需要独立沙箱执行环境的痛点。

  • Stars: ⭐️ 528
  • Tags: openclaw macos virtual-machine sandbox ai-agent
  • 最后活动时间: 2026-03-19

examples ​

Cerebrium无服务器GPU平台示例代码，涵盖LLM、ML模型部署实践。

  • Stars: ⭐️ 526
  • Tags: serverless-gpu llm-deployment mlops ai-inference
  • 最后活动时间: 2026-09-04

unbody ​

AI 时代的模块化后端平台，专为构建知识驱动的 AI 原生应用设计。

  • Stars: ⭐️ 524
  • Tags: ai-backend knowledge-base vector-database rag
  • 最后活动时间: 2026-04-14

dxos ​

去中心化协议与SDK的TypeScript实现，支持CRDT数据库和P2P通信，可作为AI应用的去中心化基础设施。

  • Stars: ⭐️ 520
  • Tags: ai crdt database decentralized p2p
  • 最后活动时间: 2026-09-17

ml-on-gcp ​

Google Cloud平台上的机器学习示例集合，涵盖ML工作流的完整实践指南。

  • Stars: ⭐️ 517
  • Tags: GCP Machine Learning Cloud
  • 最后活动时间: 2026-07-23

mega ​

开源实现 Google Piper 的 Git 兼容单体仓库引擎，为 AI Agent 时代打造的去中心化代码基础设施。

  • Stars: ⭐️ 517
  • Tags: monorepo git p2p rust ai-agents
  • 最后活动时间: 2026-09-16

openclaw-billing-proxy ​

OpenClaw API 计费代理，支持通过 Claude Code 订阅计费路由请求。

  • Stars: ⭐️ 516
  • Tags: openclaw billing api-proxy claude
  • 最后活动时间: 2026-04-10

Modal的官方SDK，用于在云端无服务器环境中运行AI模型和分布式计算任务。

  • Stars: ⭐️ 515
  • Tags: ai cloud serverless machine-learning genai
  • 最后活动时间: 2026-09-16

RAMDAQ ​

一个去中心化的算力交易平台，允许用户按小时租用GPU并调用多种AI模型。支持以ETH支付并交易H100算力价格。

  • Stars: ⭐️ 513
  • Tags: gpu cloud-computing decentralized ai-models web3
  • 最后活动时间: 2026-07-13

vArmor ​

云原生容器加固系统，基于 AppArmor/BPF/Seccomp 实施系统调用到应用协议的访问控制，可用于保护 AI Agent 等负载。

  • Stars: ⭐️ 501
  • Tags: ai-security kubernetes container-security apparmor bpf
  • 最后活动时间: 2026-09-16

Hardware Acceleration ​

ColossalAI ​

大规模并行训练框架，让大模型训练更便宜、更快速。支持多种并行策略和异构训练，显著降低开发门槛。

  • Stars: ⭐️ 41.4k
  • Tags: Distributed Training LLM Deep Learning
  • 最后活动时间: 2026-09-16

llmfit ​

一键检测硬件兼容性，从数百个模型中找到适合本地运行的模型。

  • Stars: ⭐️ 36.7k
  • Tags: 硬件适配 模型选择 本地AI
  • 最后活动时间: 2026-09-16

jax ​

Google开源的高性能机器学习框架，支持自动微分、向量化、JIT编译到GPU/TPU，是构建深度学习模型的核心基础设施。

  • Stars: ⭐️ 36.3k
  • Tags: jax machine-learning deep-learning gpu autodiff
  • 最后活动时间: 2026-09-17

airllm ​

在单张4GB GPU上运行70B大语言模型的推理优化方案，突破显存限制。

  • Stars: ⭐️ 34.4k
  • Tags: LLM Inference GPU Optimization Model Serving
  • 最后活动时间: 2026-09-16

modular ​

Modular平台包含MAX和Mojo编程语言，为AI开发提供高性能基础设施和统一的执行环境。

  • Stars: ⭐️ 29.8k
  • Tags: mojo ai-infrastructure programming-language machine-learning max
  • 最后活动时间: 2026-09-17

mlx ​

Apple官方推出的数组计算框架，专为Apple Silicon芯片优化的机器学习基础设施。

  • Stars: ⭐️ 28.4k
  • Tags: Apple Silicon ML Framework Hardware Acceleration
  • 最后活动时间: 2026-09-16

taichi ​

高性能GPU编程语言，支持可微分编程，适用于AI计算加速与图形学应用。

  • Stars: ⭐️ 28.4k
  • Tags: gpu-programming differentiable-programming high-performance
  • 最后活动时间: 2026-07-06

hashcat ​

世界最快的高级密码恢复工具，支持GPU加速和多种哈希算法破解。

  • Stars: ⭐️ 26.8k
  • Tags: password-recovery gpu-acceleration security cuda opencl
  • 最后活动时间: 2026-09-16

flash-attention ​

一种快速且内存高效的精确注意力机制实现，显著加速大模型训练与推理。

  • Stars: ⭐️ 24.9k
  • Tags: attention transformer gpu optimization
  • 最后活动时间: 2026-09-16

ncnn ​

专为移动端优化的高性能神经网络推理框架，支持Android、iOS及多种硬件架构。

  • Stars: ⭐️ 23.8k
  • Tags: Inference Mobile AI Edge Computing
  • 最后活动时间: 2026-09-17

colibri ​

纯C语言编写、零依赖的轻量级推理引擎，支持从磁盘流式加载运行前沿MoE大模型。让你在现有硬件上即可运行庞大模型。

  • Stars: ⭐️ 23.3k
  • Tags: moe inference c llm
  • 最后活动时间: 2026-08-08

onnxruntime ​

微软开源的高性能ML推理和训练加速器，跨平台支持，兼容PyTorch、TensorFlow等主流框架。

  • Stars: ⭐️ 21.9k
  • Tags: ONNX Inference Cross-platform Acceleration
  • 最后活动时间: 2026-09-17

ktransformers ​

一个灵活的异构LLM推理与微调优化框架，支持多种硬件加速方案，帮助开发者在不同设备上高效运行大模型。

  • Stars: ⭐️ 19.5k
  • Tags: LLM Inference Hardware Optimization Fine-tuning
  • 最后活动时间: 2026-09-17

codon ​

高性能零开销Python编译器，内置NumPy支持，可加速AI/ML工作负载。

  • Stars: ⭐️ 16.8k
  • Tags: compiler python numpy high-performance gpu-programming
  • 最后活动时间: 2026-09-16

MNN ​

阿里巴巴开源的高性能轻量级推理引擎，支持端侧LLM与边缘AI。

  • Stars: ⭐️ 16.1k
  • Tags: Inference Edge AI Embedded
  • 最后活动时间: 2026-09-16

gpu.js ​

JavaScript GPU加速库，可在浏览器中通过WebGL实现高性能并行计算，适用于数学运算和机器学习加速。

  • Stars: ⭐️ 15.5k
  • Tags: gpu javascript webgl gpgpu
  • 最后活动时间: 2026-08-05

ggml ​

专为边缘设备优化的张量计算库，支持在CPU和Apple Silicon上高效运行大语言模型，是llama.cpp等项目的核心依赖。

  • Stars: ⭐️ 15.4k
  • Tags: Tensor Library Edge AI LLM Inference
  • 最后活动时间: 2026-09-14

ZLUDA ​

在非NVIDIA GPU上运行CUDA程序的项目，让AMD等显卡也能执行CUDA加速的AI训练和推理任务。

  • Stars: ⭐️ 14.9k
  • Tags: cuda gpu rust hardware-acceleration
  • 最后活动时间: 2026-09-02

TensorRT-LLM ​

NVIDIA官方LLM推理优化库，支持在GPU上高效运行大语言模型，包含先进的优化技术。

  • Stars: ⭐️ 14.6k
  • Tags: LLM Inference NVIDIA GPU
  • 最后活动时间: 2026-09-17

dask ​

灵活的并行计算库，为NumPy、Pandas和scikit-learn提供大规模数据处理能力，是机器学习工作流的重要基础设施。

  • Stars: ⭐️ 13.9k
  • Tags: parallel-computing numpy pandas scikit-learn
  • 最后活动时间: 2026-08-24

TensorRT ​

NVIDIA官方高性能深度学习推理SDK，专为GPU加速优化，支持模型部署与推理加速。

  • Stars: ⭐️ 13.4k
  • Tags: Deep Learning Inference GPU NVIDIA
  • 最后活动时间: 2026-09-10

FlashMLA ​

高效的多头潜在注意力内核，优化LLM推理性能的关键组件。

  • Stars: ⭐️ 12.9k
  • Tags: attention llm optimization kernels
  • 最后活动时间: 2026-07-28

cupy ​

GPU加速的NumPy与SciPy替代库，为AI/ML计算提供高性能CUDA加速支持。

  • Stars: ⭐️ 12.3k
  • Tags: gpu cuda numpy scipy deep-learning
  • 最后活动时间: 2026-09-15

taskflow ​

一个基于C++的通用任务并行编程系统，支持异构并行计算和GPU加速。它为高性能计算和多线程处理提供了高效的工作窃取线程池机制。

  • Stars: ⭐️ 12.1k
  • Tags: parallel-computing gpu-programming task-parallelism cpp high-performance-computing
  • 最后活动时间: 2026-08-06

LeetCUDA ​

现代CUDA学习笔记，包含200+ CUDA内核、Tensor Cores与Flash Attention实现。

  • Stars: ⭐️ 12.0k
  • Tags: cuda gpu flash-attention
  • 最后活动时间: 2026-09-14

numba ​

基于LLVM的Python动态编译器，支持CUDA GPU加速，让Python代码获得接近C的性能。

  • Stars: ⭐️ 11.2k
  • Tags: cuda gpu compiler python llvm numpy
  • 最后活动时间: 2026-09-16

OptiScaler ​

跨GPU的AI超分辨率和帧生成桥接工具，支持DLSS/XeSS/FSR输入转换，让非FG游戏也能使用FSR3帧生成技术。

  • Stars: ⭐️ 11.1k
  • Tags: dlss fsr xess upscaling frame-generation gpu
  • 最后活动时间: 2026-09-16

nvtop ​

类似 htop 的 GPU 进程监控工具，支持 NVIDIA、AMD、Intel、Apple 等多厂商 GPU。AI 从业者必备的系统监控利器，实时查看显存和计算资源占用。

  • Stars: ⭐️ 11.0k
  • Tags: gpu monitoring nvidia amd terminal
  • 最后活动时间: 2026-09-16

xformers ​

Meta开源的可扩展Transformer优化库，提供高效内存优化的注意力机制实现，显著提升大模型训练和推理效率。

  • Stars: ⭐️ 10.5k
  • Tags: transformers optimization memory-efficient attention
  • 最后活动时间: 2026-09-15

cutlass ​

NVIDIA开源的高性能CUDA模板库，专为深度学习线性代数运算优化，支持Tensor Core加速。

  • Stars: ⭐️ 10.4k
  • Tags: cuda deep-learning gpu nvidia linear-algebra
  • 最后活动时间: 2026-09-17

accelerate ​

Hugging Face 出品的 PyTorch 加速库，支持多设备训练、分布式配置、混合精度训练和 FSDP/DeepSpeed，让模型训练更简单高效。

  • Stars: ⭐️ 9.9k
  • Tags: PyTorch Distributed Training Mixed Precision
  • 最后活动时间: 2026-09-14

cudf ​

基于 GPU 的 DataFrame 库，提供类似 pandas 的 API，可大幅加速数据处理与数据分析工作流。

  • Stars: ⭐️ 9.8k
  • Tags: gpu cuda dataframe data-science rapids
  • 最后活动时间: 2026-09-17

cudf ​

NVIDIA RAPIDS生态的GPU DataFrame库，提供类似Pandas的API，实现大规模数据的GPU加速处理。

  • Stars: ⭐️ 9.7k
  • Tags: GPU加速 DataFrame RAPIDS
  • 最后活动时间: 2026-08-08

apex ​

NVIDIA官方PyTorch扩展，提供混合精度训练与分布式训练工具。

  • Stars: ⭐️ 9.0k
  • Tags: mixed-precision distributed-training pytorch
  • 最后活动时间: 2026-09-14

bitsandbytes ​

PyTorch量化工具库，提供k-bit量化支持，是LLM量化和高效推理的核心依赖库。

  • Stars: ⭐️ 8.5k
  • Tags: Quantization PyTorch LLM
  • 最后活动时间: 2026-09-07

GenieX ​

支持在Qualcomm设备的NPU、GPU和CPU上本地运行前沿大语言模型与视觉模型的SDK。

  • Stars: ⭐️ 8.4k
  • Tags: on-device-ai qualcomm llm vlm
  • 最后活动时间: 2026-09-16

kimi-k3-in-c ​

在单台CPU和8.24GB内存上实现2.78万亿参数Kimi K3模型推理的纯C99项目。无需BLAS、框架或GPU，极致优化内存与计算效率。

  • Stars: ⭐️ 8.0k
  • Tags: c99 cpu-inference llm mixture-of-experts quantization
  • 最后活动时间: 2026-09-10

DeepGEMM ​

专为 GPU 打造的高效 BLAS 矩阵运算内核库，为大模型推理提供底层硬件加速支持。

  • Stars: ⭐️ 7.8k
  • Tags: gpu blas cuda matrix-multiplication hardware-acceleration
  • 最后活动时间: 2026-09-14

tensorrtx ​

使用TensorRT网络定义API实现主流深度学习网络的高性能推理加速，支持YOLO系列、ResNet、Swin Transformer等热门模型。

  • Stars: ⭐️ 7.8k
  • Tags: tensorrt deep-learning inference yolo gpu-acceleration
  • 最后活动时间: 2026-08-18

OpenBLAS ​

基于 GotoBLAS2 的高性能 BLAS 线性代数库，是众多 AI 与机器学习框架（如 PyTorch、NumPy）底层计算的核心加速组件。

  • Stars: ⭐️ 7.6k
  • Tags: blas lapack linear-algebra hpc simd
  • 最后活动时间: 2026-09-16

tilelang ​

专为高性能GPU/CPU/加速器内核开发设计的领域特定语言，可显著简化AI算子优化流程。

  • Stars: ⭐️ 7.4k
  • Tags: dsl gpu kernel high-performance cuda
  • 最后活动时间: 2026-09-16

XiangShan ​

开源的高性能 RISC-V 处理器项目，旨在提供现代微架构设计。为 AI 硬件加速和底层基础设施提供了强大的架构支持。

  • Stars: ⭐️ 7.3k
  • Tags: chisel risc-v microarchitecture hardware
  • 最后活动时间: 2026-09-17

nvitop ​

交互式NVIDIA GPU进程监控管理工具，支持Prometheus导出和Grafana仪表板集成。

  • Stars: ⭐️ 7.2k
  • Tags: GPU Monitoring NVIDIA DevOps
  • 最后活动时间: 2026-07-27

warp ​

NVIDIA开发的Python GPU加速框架，支持可微分编程，适用于物理仿真和空间计算。

  • Stars: ⭐️ 7.1k
  • Tags: cuda gpu differentiable-programming simulation python
  • 最后活动时间: 2026-09-17

mlx-lm ​

基于Apple MLX框架的大语言模型推理库，专为Apple Silicon芯片优化加速。

  • Stars: ⭐️ 7.0k
  • Tags: MLX Apple Silicon LLM
  • 最后活动时间: 2026-09-16

stable-diffusion.cpp ​

纯C/C++实现的扩散模型推理框架，支持SD、Flux、Wan等多种模型，无需依赖即可高效运行。

  • Stars: ⭐️ 7.0k
  • Tags: C++ Inference Diffusion GGML
  • 最后活动时间: 2026-09-16

turbo-fieldfare ​

在M系列MacBook上实现仅需约2GB内存的Gemma 4 26B-A4B模型推理。利用Apple Silicon和Metal框架提供高效的本地LLM推理能力。

  • Stars: ⭐️ 6.8k
  • Tags: apple-silicon gemma llm-inference local-ai metal on-device-ai
  • 最后活动时间: 2026-09-16

Halide ​

一种用于快速、可移植数据并行计算的语言，广泛应用于图像处理和底层加速。支持 GPU 等多种硬件架构，是 AI 基础设施的重要编译工具。

  • Stars: ⭐️ 6.6k
  • Tags: compiler dsl gpu halide image-processing
  • 最后活动时间: 2026-09-16

flashinfer ​

专为LLM推理设计的高性能GPU内核库，支持注意力机制、MoE等关键算子的JIT编译优化。

  • Stars: ⭐️ 6.4k
  • Tags: CUDA LLM Inference GPU Kernels Attention
  • 最后活动时间: 2026-09-17

ROCm ​

AMD开源GPU计算平台，为AI/ML工作负载提供高性能硬件加速支持，是NVIDIA CUDA的主要竞争对手。

  • Stars: ⭐️ 6.4k
  • Tags: GPU AMD Hardware Acceleration Deep Learning
  • 最后活动时间: 2026-04-23

wasm-micro-runtime ​

WebAssembly微型运行时（WAMR），专为物联网和边缘计算设计的高性能轻量级WASM运行环境。支持AOT、JIT和解释器模式，能够以极低的开销安全执行AI推理代码。

  • Stars: ⭐️ 6.0k
  • Tags: wasm webassembly iot edge-ai runtime
  • 最后活动时间: 2026-07-16

DALI ​

NVIDIA开发的GPU加速数据处理库，为深度学习训练和推理提供高效的数据管道。

  • Stars: ⭐️ 5.8k
  • Tags: deep-learning gpu data-processing image-processing
  • 最后活动时间: 2026-09-16

highway ​

一个高性能、可移植且与长度无关的SIMD库，支持运行时指令分派。它能有效提升底层硬件加速的效率，适用于AI计算优化。

  • Stars: ⭐️ 5.7k
  • Tags: simd avx neon wasm hardware-acceleration
  • 最后活动时间: 2026-08-09

gpustack ​

高性能GPU推理工具，支持vLLM/SGLang等引擎优化，实现卓越的LLM推理吞吐量和资源利用率。

  • Stars: ⭐️ 5.7k
  • Tags: GPU Inference vLLM LLM Serving
  • 最后活动时间: 2026-09-17

LACT ​

Linux GPU配置与监控工具，支持AMD和NVIDIA显卡，适用于AI开发者的GPU资源管理与性能调优。

  • Stars: ⭐️ 5.6k
  • Tags: gpu nvidia amdgpu linux monitoring
  • 最后活动时间: 2026-09-16

mlx-vlm ​

在Mac上使用MLX进行视觉语言模型推理和微调的工具包。支持LLaVA、Florence2、Pixtral等多种VLM模型。

  • Stars: ⭐️ 5.5k
  • Tags: MLX Vision Language Apple Silicon
  • 最后活动时间: 2026-09-17

rust-cuda ​

纯Rust编写的CUDA生态系统，支持在Rust中直接编写和执行高性能GPU代码，为AI模型训练和推理提供底层加速支持。

  • Stars: ⭐️ 5.4k
  • Tags: cuda gpu rust gpgpu
  • 最后活动时间: 2026-08-17

cuml ​

NVIDIA 推出的 GPU 加速机器学习库，提供类似 scikit-learn 的接口，显著加速常见 ML 算法。

  • Stars: ⭐️ 5.3k
  • Tags: gpu cuda machine-learning nvidia rapids
  • 最后活动时间: 2026-09-17

tpu ​

Google Cloud TPU官方参考模型和工具集，支持大规模AI模型训练加速。

  • Stars: ⭐️ 5.3k
  • Tags: TPU Hardware Google Cloud
  • 最后活动时间: 2026-06-22

cuml ​

NVIDIA RAPIDS机器学习库，提供GPU加速的经典ML算法实现，包括聚类、分类、回归等。

  • Stars: ⭐️ 5.2k
  • Tags: cuda machine-learning gpu rapids
  • 最后活动时间: 2026-07-31

nccl ​

NVIDIA开源的多GPU集合通信原语库，为深度学习分布式训练提供高效通信支持。

  • Stars: ⭐️ 5.1k
  • Tags: cuda gpu distributed-training communication
  • 最后活动时间: 2026-09-17

arrayfire ​

通用GPU计算库，支持CUDA、OpenCL和CPU后端，为AI/ML工作负载提供高性能并行计算能力。

  • Stars: ⭐️ 4.9k
  • Tags: GPU CUDA OpenCL HPC
  • 最后活动时间: 2026-09-12

blitzar ​

基于GPU加速的零知识证明库，支持C++和Rust，可用于隐私保护的机器学习应用。

  • Stars: ⭐️ 4.9k
  • Tags: zero-knowledge-proofs gpu-acceleration cryptography
  • 最后活动时间: 2026-07-16

jetson-containers ​

为NVIDIA Jetson设备提供开箱即用的机器学习容器镜像，支持PyTorch、TensorFlow等主流框架。

  • Stars: ⭐️ 4.9k
  • Tags: NVIDIA Jetson Docker ML Containers
  • 最后活动时间: 2026-08-10

nvidia-patch ​

移除 Nvidia 消费级 GPU 上 NVENC 视频编码会话数量限制的补丁工具，有助于多模态大模型视频处理与推流。

  • Stars: ⭐️ 4.8k
  • Tags: nvidia nvenc gpu patch hardware-acceleration
  • 最后活动时间: 2026-09-15

chisel ​

一种现代的硬件设计语言，通过Scala编写可参数化的硬件生成器，极大提升了芯片设计的敏捷性。广泛应用于AI芯片和RISC-V处理器的定制化开发。

  • Stars: ⭐️ 4.8k
  • Tags: chisel hardware-design rtl scala verilog
  • 最后活动时间: 2026-08-08

AITemplate ​

Meta开源的AI推理框架，将神经网络渲染为高性能CUDA/HIP C++代码，专为NVIDIA和AMD GPU推理优化。

  • Stars: ⭐️ 4.7k
  • Tags: inference cuda gpu optimization
  • 最后活动时间: 2026-08-07

HAMi ​

Kubernetes异构GPU共享解决方案，支持NVIDIA、华为昇腾、寒武纪等多种GPU的虚拟化与资源调度。

  • Stars: ⭐️ 4.6k
  • Tags: kubernetes gpu-virtualization gpu-sharing vgpu
  • 最后活动时间: 2026-09-16

xla ​

Google开源的机器学习编译器，优化GPU、CPU和ML加速器上的模型执行性能。

  • Stars: ⭐️ 4.5k
  • Tags: compiler gpu optimization tensorflow
  • 最后活动时间: 2026-09-17

tiny-cuda-nn ​

轻量级高性能CUDA神经网络框架，支持实时MLP和NeRF渲染，速度极快。

  • Stars: ⭐️ 4.5k
  • Tags: cuda neural-network gpu nerf
  • 最后活动时间: 2026-04-21

hip ​

AMD开发的C++异构计算接口，实现CUDA代码向AMD GPU的便携式迁移。

  • Stars: ⭐️ 4.4k
  • Tags: cuda hip gpu amd heterogeneous-computing
  • 最后活动时间: 2026-09-15

gpustat ​

轻量级命令行工具，用于实时查询和监控NVIDIA GPU状态，AI开发必备工具。

  • Stars: ⭐️ 4.4k
  • Tags: gpu monitoring nvidia-smi command-line
  • 最后活动时间: 2026-09-15

zml ​

跨平台AI推理框架，支持任意模型和硬件，基于Zig语言构建，实现零妥协的高性能部署。

  • Stars: ⭐️ 4.1k
  • Tags: ai inference zig xla hpc
  • 最后活动时间: 2026-09-16

oneDNN ​

Intel开源的深度神经网络库，针对多种CPU架构和硬件加速器进行优化，支持AVX512、AMX等指令集。

  • Stars: ⭐️ 4.0k
  • Tags: Deep Learning Neural Network Hardware Acceleration
  • 最后活动时间: 2026-09-17

gpu.cpp ​

轻量级GPU计算库，基于WebGPU实现跨平台的低级GPU计算功能，适合AI推理和计算任务。

  • Stars: ⭐️ 4.0k
  • Tags: gpu webgpu gpgpu gpu-computing
  • 最后活动时间: 2026-08-21

tvm-cn ​

TVM深度学习编译器框架的中文文档，涵盖模型优化、跨平台部署和硬件加速等核心内容。

  • Stars: ⭐️ 4.0k
  • Tags: deep-learning gpu machine-learning tvm compiler
  • 最后活动时间: 2026-05-20

nunchaku ​

ICLR 2025 Spotlight 工作 SVDQuant 的官方实现，通过低秩分量吸收异常值，实现高质量 4-bit 扩散模型量化与推理。

  • Stars: ⭐️ 4.0k
  • Tags: quantization diffusion-models 4-bit FLUX SVDQuant
  • 最后活动时间: 2026-09-06

k8s-device-plugin ​

NVIDIA官方Kubernetes设备插件，支持在K8s集群中调度和管理GPU资源，是AI/ML工作负载部署的核心基础设施组件。

  • Stars: ⭐️ 3.9k
  • Tags: kubernetes nvidia gpu device-plugin
  • 最后活动时间: 2026-09-16

rocket-chip ​

一个基于Chisel的RISC-V处理器生成器，提供了可扩展的SoC设计框架。常用于构建AI加速器和定制化高性能计算硬件的基础设施。

  • Stars: ⭐️ 3.8k
  • Tags: riscv rocket-chip chisel soc hardware-design
  • 最后活动时间: 2026-06-02

ThunderKittens ​

提供用于加速AI内核的Tile原语，帮助开发者编写高效的GPU内核。支持快速构建高性能的深度学习底层算子。

  • Stars: ⭐️ 3.6k
  • Tags: gpu kernels tile-primitives hardware-acceleration
  • 最后活动时间: 2026-07-13

StringZilla ​

高性能字符串处理库，支持SIMD和GPU加速，提供搜索、哈希、排序、编辑距离计算等功能，速度提升高达100倍。

  • Stars: ⭐️ 3.6k
  • Tags: string simd gpu cuda edit-distance search
  • 最后活动时间: 2026-09-15

TransformerEngine ​

NVIDIA推出的Transformer模型加速库，支持FP8/FP4低精度训练与推理，显著提升Hopper/Ada/Blackwell GPU性能并降低显存占用。

  • Stars: ⭐️ 3.5k
  • Tags: deep-learning gpu cuda pytorch transformers
  • 最后活动时间: 2026-09-16

MSA ​

一种可扩展的端到端可训练潜在记忆框架，专为处理高达1亿Token的超长上下文而设计。

  • Stars: ⭐️ 3.5k
  • Tags: sparse-attention long-context memory transformer
  • 最后活动时间: 2026-05-06

optimum ​

Hugging Face官方硬件优化工具包，加速Transformers和Diffusers模型的推理与训练，支持ONNX、量化及多硬件后端。

  • Stars: ⭐️ 3.5k
  • Tags: 模型优化 推理加速 量化
  • 最后活动时间: 2026-09-17

cuda-oxide ​

实验性Rust到CUDA编译器，支持用安全的Rust编写GPU内核并直接编译为PTX，无需DSL或外部语言绑定。

  • Stars: ⭐️ 3.4k
  • Tags: cuda gpu rust compiler high-performance-computing
  • 最后活动时间: 2026-09-16

cuda-python ​

NVIDIA官方CUDA Python绑定库，让Python开发者能够充分利用GPU并行计算能力，实现高性能计算。

  • Stars: ⭐️ 3.4k
  • Tags: cuda gpu python nvidia high-performance
  • 最后活动时间: 2026-09-17

rust-gpu ​

让 Rust 成为 GPU 着色器的一等公民，为 AI/ML 计算和图形编程提供安全、高效的 GPU 编程能力。

  • Stars: ⭐️ 3.4k
  • Tags: gpu shaders spirv vulkan compute
  • 最后活动时间: 2026-09-14

claude-code-local ​

在Apple Silicon上本地运行Claude Code，122B模型可达41 tok/s，无需云端和API费用。

  • Stars: ⭐️ 3.3k
  • Tags: local-llm apple-silicon claude-code
  • 最后活动时间: 2026-09-17

how-to-optim-algorithm-in-cuda ​

CUDA算法优化实践指南，涵盖LLM相关算子的GPU加速技巧。

  • Stars: ⭐️ 3.3k
  • Tags: CUDA GPU Optimization
  • 最后活动时间: 2026-09-14

jittor ​

基于JIT编译和元算子的高性能深度学习框架，提供高效的模型训练与推理能力。

  • Stars: ⭐️ 3.2k
  • Tags: deep-learning gpu jit python neural-network
  • 最后活动时间: 2026-09-16

ik_llama.cpp ​

llama.cpp的高性能分支，提供SOTA量化方案和优化的推理性能，适合本地部署大语言模型。

  • Stars: ⭐️ 3.2k
  • Tags: llm inference quantization cpp
  • 最后活动时间: 2026-09-15

TypeGPU ​

基于WebGPU的模块化工具包，支持TypeScript编写着色器，提供高级类型推断能力。

  • Stars: ⭐️ 3.2k
  • Tags: webgpu gpu-computing typescript gpgpu
  • 最后活动时间: 2026-09-17

ComputeLibrary ​

Arm官方推出的计算机视觉与机器学习函数库，针对Arm CPU/GPU进行SIMD优化，支持NEON/SVE指令集。

  • Stars: ⭐️ 3.2k
  • Tags: machine-learning computer-vision arm simd neural-network
  • 最后活动时间: 2026-09-16

ComputeSharp ​

.NET GPU计算库，让开发者通过C#在GPU上运行并行计算，支持DX12和动态HLSL着色器生成。

  • Stars: ⭐️ 3.2k
  • Tags: gpu gpgpu csharp dotnet directx hlsl shader
  • 最后活动时间: 2026-09-04

simde ​

为不支持原生SIMD指令集的系统提供跨平台实现。有效简化了向量化计算在不同硬件上的移植工作，对AI底层加速极具价值。

  • Stars: ⭐️ 3.1k
  • Tags: simd portability vectorization hardware-acceleration cross-platform
  • 最后活动时间: 2026-08-07

inkwell ​

一个安全的 LLVM 封装库，为 Rust 提供代码生成和 JIT 编译能力。常用于构建编译器和 AI 模型推理引擎的底层基础设施。

  • Stars: ⭐️ 3.0k
  • Tags: llvm rust codegen jit compiler
  • 最后活动时间: 2026-09-09

luminal ​

高性能深度学习框架，追求极致的计算速度优化。

  • Stars: ⭐️ 3.0k
  • Tags: deep-learning performance framework
  • 最后活动时间: 2026-09-16

ao ​

PyTorch官方量化和稀疏性优化库，支持float8等现代数据类型，加速训练与推理。

  • Stars: ⭐️ 3.0k
  • Tags: 量化 稀疏性 PyTorch
  • 最后活动时间: 2026-09-16

lucebox ​

专为消费级硬件打造的高速LLM推测推理服务器。通过CUDA内核与推测解码技术大幅提升本地AI模型的推理效率。

  • Stars: ⭐️ 2.9k
  • Tags: llm speculative-decoding cuda inference local-ai
  • 最后活动时间: 2026-09-16

vllm-ascend ​

vLLM在华为昇腾NPU上的硬件适配插件，支持在Ascend硬件上高效运行大模型推理服务。

  • Stars: ⭐️ 2.8k
  • Tags: vLLM Ascend 硬件加速
  • 最后活动时间: 2026-09-17

xla ​

PyTorch XLA扩展，支持在TPU等XLA设备上运行深度学习训练。

  • Stars: ⭐️ 2.8k
  • Tags: pytorch tpu xla deep-learning
  • 最后活动时间: 2026-05-27

audio.cpp ​

基于 ggml 的纯 C++ 音频模型推理引擎，支持 TTS、STT、VAD 等多种音频处理功能，无需 Python 依赖且性能高度优化。

  • Stars: ⭐️ 2.8k
  • Tags: cpp ggml audio tts stt inference
  • 最后活动时间: 2026-09-17

futhark ​

一种数据并行函数式编程语言，可将高级代码编译为高性能GPU代码，支持CUDA和OpenCL。

  • Stars: ⭐️ 2.8k
  • Tags: gpgpu gpu compiler cuda opencl
  • 最后活动时间: 2026-09-16

xsimd ​

跨平台SIMD指令集封装库，支持SSE、AVX、NEON等指令集，为AI推理和数值计算提供硬件级加速优化。

  • Stars: ⭐️ 2.8k
  • Tags: simd vectorization hardware-acceleration cpp
  • 最后活动时间: 2026-09-17

ml-ane-transformers ​

专为苹果神经网络引擎（ANE）优化的Transformer架构参考实现，显著提升端侧设备上的AI推理速度与能效。

  • Stars: ⭐️ 2.7k
  • Tags: transformer apple-neural-engine hardware-acceleration on-device-ml
  • 最后活动时间: 2026-09-11

CV-CUDA ​

由ByteDance和NVIDIA联合开发的开源GPU加速计算机视觉库，专为云端大规模图像处理设计。

  • Stars: ⭐️ 2.7k
  • Tags: computer-vision cuda gpu image-processing
  • 最后活动时间: 2026-09-16

blis ​

高性能线性代数库，为AI框架提供底层矩阵运算加速支持。

  • Stars: ⭐️ 2.7k
  • Tags: blas linear-algebra high-performance-computing matrix-operations
  • 最后活动时间: 2026-08-29

ipyparallel ​

IPython并行计算框架，支持交互式并行数据处理与模型训练加速。

  • Stars: ⭐️ 2.6k
  • Tags: parallel-computing ipython distributed python
  • 最后活动时间: 2026-09-13

lucebox-hub ​

针对特定消费级硬件优化的LLM推理引擎，支持AMD、Apple Silicon和NVIDIA等多种硬件平台。

  • Stars: ⭐️ 2.6k
  • Tags: llm-inference hardware-optimization local-ai apple-silicon nvidia-cuda
  • 最后活动时间: 2026-07-07

openlake ​

专为GPU工作负载设计的高效存储解决方案，为LLM训练和模型服务提供极速数据吞吐能力。

  • Stars: ⭐️ 2.6k
  • Tags: gpu llm-training model-serving storage rdma
  • 最后活动时间: 2026-09-15

aimet ​

高通开发的神经网络量化压缩库，提供先进的量化和剪枝技术。

  • Stars: ⭐️ 2.6k
  • Tags: 模型量化 模型压缩 深度学习
  • 最后活动时间: 2026-05-09

DirectML ​

微软推出的高性能机器学习GPU加速库，基于DirectX 12，支持AMD、Intel、NVIDIA等全系列GPU硬件加速。

  • Stars: ⭐️ 2.6k
  • Tags: GPU加速 DirectX 机器学习
  • 最后活动时间: 2026-04-27

kompute ​

基于Vulkan的通用GPU计算框架，支持跨厂商显卡，适用于深度学习和机器学习加速。

  • Stars: ⭐️ 2.6k
  • Tags: gpu-computing vulkan deep-learning
  • 最后活动时间: 2026-08-15

coralnpu ​

面向边缘AI的能效优化机器学习加速器核心设计。

  • Stars: ⭐️ 2.6k
  • Tags: npu edge-ai hardware-accelerator machine-learning
  • 最后活动时间: 2026-09-17

cccl ​

NVIDIA官方CUDA核心计算库，为AI框架提供GPU加速的基础计算能力，是深度学习底层优化的基石。

  • Stars: ⭐️ 2.5k
  • Tags: CUDA GPU NVIDIA
  • 最后活动时间: 2026-09-17

mirage ​

将LLM编译为持久化内核的优化框架，通过MegaKernel技术提升大模型推理性能。

  • Stars: ⭐️ 2.5k
  • Tags: LLM Kernel Optimization
  • 最后活动时间: 2026-09-12

XNNPACK ​

高效的浮点神经网络推理算子库，针对移动端、服务器和Web平台优化，支持SIMD加速。

  • Stars: ⭐️ 2.5k
  • Tags: CPU推理 SIMD 移动端 性能优化
  • 最后活动时间: 2026-09-16

lupine ​

GPU over IP桥接工具，允许将远程机器上的GPU附加到仅CPU的机器上，实现GPU资源的远程访问与共享。

  • Stars: ⭐️ 2.4k
  • Tags: cuda gpu mlops remote-access
  • 最后活动时间: 2026-09-16

chipyard ​

一个敏捷的RISC-V SoC设计框架，集成了乱序核心与多种AI加速器。为AI硬件架构研究和定制化芯片开发提供了完整的集成开发环境。

  • Stars: ⭐️ 2.4k
  • Tags: riscv soc accelerators chisel hardware-design
  • 最后活动时间: 2026-09-13

cubecl ​

多平台高性能计算语言扩展，支持CUDA、WebGPU等后端，为Rust提供GPU加速计算能力。

  • Stars: ⭐️ 2.4k
  • Tags: GPU CUDA WebGPU Rust
  • 最后活动时间: 2026-09-16

MTPLX ​

专为Apple Silicon优化的原生MTP投机解码引擎，无需外部草稿模型即可大幅提升解码速度。

  • Stars: ⭐️ 2.3k
  • Tags: apple-silicon mlx speculative-decoding hardware-acceleration
  • 最后活动时间: 2026-09-17

gpu-burn ​

多GPU CUDA压力测试工具，用于验证GPU硬件稳定性和性能，适合AI训练前的硬件检测。

  • Stars: ⭐️ 2.3k
  • Tags: cuda gpu stress-test benchmark
  • 最后活动时间: 2026-05-31

mflux ​

基于 Apple MLX 的原生生成式图像与视频模型实现，支持 Flux、Qwen 等前沿模型。专为 Apple Silicon 优化，提供高效的本地推理能力。

  • Stars: ⭐️ 2.3k
  • Tags: mlx apple-silicon flux image-generation video-generation
  • 最后活动时间: 2026-09-17

Simd ​

C++高性能图像处理与机器学习库，利用SIMD指令集(SSE/AVX/NEON)实现硬件加速。

  • Stars: ⭐️ 2.3k
  • Tags: simd image-processing neural-network
  • 最后活动时间: 2026-09-16

club-3090 ​

RTX 3090 显卡运行大语言模型的社区配置方案，支持 vLLM、llama.cpp、SGLang 等多引擎。

  • Stars: ⭐️ 2.3k
  • Tags: llm vllm llama-cpp rtx3090 model-serving
  • 最后活动时间: 2026-09-16

dstack ​

开源GPU控制平面，支持在多云和本地环境运行AI开发、训练和推理任务，简化LLM和深度学习工作负载编排。

  • Stars: ⭐️ 2.3k
  • Tags: GPU ML Infrastructure Training Inference
  • 最后活动时间: 2026-09-17

cugraph ​

NVIDIA RAPIDS图分析库，提供GPU加速的大规模图计算和图神经网络支持。

  • Stars: ⭐️ 2.2k
  • Tags: graph-analytics cuda gpu rapids graph-neural-network
  • 最后活动时间: 2026-09-17

riscv-boom ​

伯克利开发的乱序RISC-V处理器，具有高吞吐量和优秀的单线程性能。为AI计算密集型任务和硬件加速器研究提供了强大的开源处理器微架构基础。

  • Stars: ⭐️ 2.2k
  • Tags: riscv boom out-of-order chisel processor-design
  • 最后活动时间: 2026-08-11

selkies ​

开源的低延迟加速Linux WebRTC HTML5远程桌面流平台，支持容器、Kubernetes和云/HPC环境。非常适合GPU加速的远程计算和云端游戏流媒体传输。

  • Stars: ⭐️ 2.2k
  • Tags: webrtc gpu remote-desktop kubernetes streaming
  • 最后活动时间: 2026-09-17

hls4ml ​

将机器学习模型部署到 FPGA 的开源库，利用高级综合技术实现神经网络硬件加速，适用于低延迟推理场景。

  • Stars: ⭐️ 2.1k
  • Tags: FPGA HLS 硬件加速 边缘部署
  • 最后活动时间: 2026-09-16

cutile-python ​

NVIDIA cuTile Python编程模型，简化GPU并行内核开发，支持基于Tile的编程范式。

  • Stars: ⭐️ 2.1k
  • Tags: cuda gpu kernel python parallel-computing
  • 最后活动时间: 2026-09-16

cvxpylayers ​

可微凸优化层库，允许将凸优化问题嵌入神经网络并进行端到端训练。非常适合用于构建具有特定结构约束的深度学习模型。

  • Stars: ⭐️ 2.1k
  • Tags: deep-learning convex-optimization differentiable-programming pytorch
  • 最后活动时间: 2026-09-16

pycuda ​

undefined

  • Stars: ⭐️ 2.1k
  • Tags: cuda gpu gpu-computing python scientific-computing
  • 最后活动时间: 2026-09-12

diffusion-pipe ​

用于扩散模型的流水线并行训练脚本，支持大规模模型的高效分布式训练。优化显存使用并提升训练速度。

  • Stars: ⭐️ 2.0k
  • Tags: diffusion-models pipeline-parallel training
  • 最后活动时间: 2026-09-14

chapel ​

高性能并行编程语言，专为科学计算、分布式计算和GPU加速设计，适合大规模AI和HPC工作负载。

  • Stars: ⭐️ 2.0k
  • Tags: parallel-computing gpu hpc programming-language
  • 最后活动时间: 2026-09-15

intel-extension-for-pytorch ​

Intel官方PyTorch扩展，优化Intel平台上的深度学习性能。

  • Stars: ⭐️ 2.0k
  • Tags: pytorch intel optimization quantization
  • 最后活动时间: 2026-03-30

awesome-webgpu ​

WebGPU生态系统精选资源列表，涵盖GPU计算、3D图形和浏览器端机器学习推理加速技术。

  • Stars: ⭐️ 2.0k
  • Tags: webgpu gpu-computing machine-learning browser-ai
  • 最后活动时间: 2026-09-10

waste ​

一个无依赖、可嵌入的C语言推理引擎，支持通过NVMe流式传输激活权重，在有限RAM下运行2.78万亿参数的Kimi K3模型。

  • Stars: ⭐️ 2.0k
  • Tags: inference llm nvme embedded c
  • 最后活动时间: 2026-08-07

openmm ​

高性能 GPU 分子模拟工具包，广泛用于计算化学与生物物理领域的分子动力学模拟。

  • Stars: ⭐️ 2.0k
  • Tags: gpu molecular-dynamics simulation scientific-computing
  • 最后活动时间: 2026-09-11

tsne-cuda ​

GPU加速的t-SNE降维算法实现，支持CUDA并行计算，适用于大规模数据可视化和分析。

  • Stars: ⭐️ 2.0k
  • Tags: tsne cuda data-visualization gpu dimensionality-reduction
  • 最后活动时间: 2026-07-22

AdaptiveCpp ​

跨平台异构计算编译器，支持SYCL、HIP/CUDA等多种编程模型，让AI应用无缝适配不同厂商的CPU和GPU硬件。

  • Stars: ⭐️ 1.9k
  • Tags: sycl gpu-computing heterogeneous-computing cuda compiler
  • 最后活动时间: 2026-09-13

codecarbon ​

用于追踪计算资源碳排放的轻量级工具，帮助开发者量化AI训练和推理对环境的影响。它可无缝集成到代码中，并提供降低能耗的优化建议。

  • Stars: ⭐️ 1.9k
  • Tags: ai-ethics carbon-emissions sustainability energy-efficiency
  • 最后活动时间: 2026-08-11

NumKong ​

高性能SIMD加速数值计算库，支持16种数值类型的距离计算、矩阵运算和向量搜索，跨平台支持x86、Arm、RISC-V和WASM。

  • Stars: ⭐️ 1.9k
  • Tags: SIMD 数值计算 向量搜索
  • 最后活动时间: 2026-09-15

lapack ​

工业级线性代数计算库，是深度学习框架的核心依赖。

  • Stars: ⭐️ 1.9k
  • Tags: lapack blas linear-algebra matrix-factorization svd
  • 最后活动时间: 2026-08-06

FastFlowLM ​

专为 AMD Ryzen AI NPU 打造的 LLM 运行工具，类似 Ollama 但针对 NPU 深度优化，几分钟即可在本地运行大模型。

  • Stars: ⭐️ 1.9k
  • Tags: llm amd npu local-inference
  • 最后活动时间: 2026-09-16

dcgm-exporter ​

NVIDIA GPU监控指标导出器，集成DCGM为Prometheus提供GPU性能数据，适用于AI集群监控。

  • Stars: ⭐️ 1.9k
  • Tags: gpu prometheus monitoring nvidia kubernetes
  • 最后活动时间: 2026-09-10

scuda ​

GPU over IP 网络桥接工具，允许 CPU-only 机器远程挂载和使用远程 GPU 资源，支持 CUDA、cuDNN 等深度学习加速库。

  • Stars: ⭐️ 1.9k
  • Tags: GPU CUDA Networking MLOps
  • 最后活动时间: 2026-05-20

VkFFT ​

跨平台高性能FFT库，支持Vulkan、CUDA、HIP、OpenCL等多种GPU后端，适用于AI音频处理和信号处理场景。

  • Stars: ⭐️ 1.8k
  • Tags: fft cuda vulkan gpu-computing opencl
  • 最后活动时间: 2026-04-04

ILGPU ​

高性能 .NET GPU JIT 编译器，支持 CUDA、OpenCL 和 CPU 后端，为 AI 计算提供跨平台 GPU 加速能力。

  • Stars: ⭐️ 1.8k
  • Tags: gpu-computing jit-compiler cuda opencl dotnet
  • 最后活动时间: 2026-07-30

Booth ​

开源的 CUDA、Triton 和 HIP 编译器，支持多 GPU 和 CPU 架构目标。为机器学习底层硬件加速提供强大的编译支持。

  • Stars: ⭐️ 1.7k
  • Tags: compiler cuda triton gpu machine-learning
  • 最后活动时间: 2026-09-14

vllm-metal ​

面向 Apple Silicon 的社区维护 vLLM 硬件插件，借助 Metal/MLX 在 Mac 上高效运行大语言模型推理。

  • Stars: ⭐️ 1.7k
  • Tags: vLLM Apple-Silicon Metal MLX LLM Inference
  • 最后活动时间: 2026-09-17

flash-attention-prebuild-wheels ​

提供 Flash-Attention 2 和 3 在 Linux 与 Windows 上的预编译包。极大简化了 AI 模型训练和推理的硬件加速环境配置。

  • Stars: ⭐️ 1.7k
  • Tags: flash-attention pre-built-wheels hardware-acceleration pytorch
  • 最后活动时间: 2026-09-16

InferenceX ​

开源连续推理基准测试工具，支持Qwen3.5、DeepSeek、GPT等主流模型在GB200、H100、MI355X等多种硬件平台上的性能对比评测。

  • Stars: ⭐️ 1.7k
  • Tags: Benchmark Inference GPU
  • 最后活动时间: 2026-09-17

AI-Chip ​

AI芯片和处理器资源列表，涵盖机器学习与深度学习相关的IC和IP。

  • Stars: ⭐️ 1.7k
  • Tags: ai-chips hardware deep-learning
  • 最后活动时间: 2026-07-16

BarraCUDA ​

开源CUDA编译器，支持将CUDA代码编译至AMD和Tenstorrent GPU架构。

  • Stars: ⭐️ 1.7k
  • Tags: CUDA compiler GPU cross-platform
  • 最后活动时间: 2026-07-06

openFPGALoader ​

通用的FPGA编程工具，支持多种主流开发板和厂商。为AI硬件加速提供便捷的底层烧录支持。

  • Stars: ⭐️ 1.7k
  • Tags: fpga hardware bitstream xilinx intel
  • 最后活动时间: 2026-08-05

Enzyme ​

高性能自动微分编译器，支持LLVM和MLIR，为PyTorch、TensorFlow等深度学习框架提供梯度计算优化。

  • Stars: ⭐️ 1.7k
  • Tags: Automatic Differentiation Compiler Deep Learning LLVM
  • 最后活动时间: 2026-09-16

tt-metal ​

Tenstorrent AI加速器底层编程框架，支持LLaMA、DeepSeek、Stable Diffusion等主流模型的硬件加速优化。

  • Stars: ⭐️ 1.7k
  • Tags: AI加速器 硬件优化 LLM
  • 最后活动时间: 2026-09-17

Anemll ​

专为Apple Neural Engine设计的机器学习库，支持在Apple Silicon上高效运行神经网络模型。

  • Stars: ⭐️ 1.7k
  • Tags: machine-learning neural-engine apple-silicon core-ml
  • 最后活动时间: 2026-09-14

compute ​

基于OpenCL的C++ GPU计算库，为AI/ML工作负载提供高性能并行计算能力。

  • Stars: ⭐️ 1.7k
  • Tags: gpu-computing opencl gpgpu hpc parallel-computing
  • 最后活动时间: 2026-08-12

tfhe-rs ​

纯Rust实现的TFHE全同态加密方案，支持在加密数据上进行布尔和整数运算。为隐私保护AI和机密机器学习提供核心密码学基础设施。

  • Stars: ⭐️ 1.7k
  • Tags: homomorphic-encryption cryptography privacy-preserving rust
  • 最后活动时间: 2026-09-16

FastFlowLM ​

专为AMD Ryzen AI NPU优化的本地LLM运行工具，类似Ollama但深度适配AMD硬件，充分发挥NPU加速能力。

  • Stars: ⭐️ 1.7k
  • Tags: AMD NPU 本地部署
  • 最后活动时间: 2026-07-31

gpu-hot ​

实时NVIDIA GPU监控仪表板，支持LLM训练和MLOps场景下的GPU资源可视化监控。

  • Stars: ⭐️ 1.6k
  • Tags: GPU Monitoring NVIDIA MLOps
  • 最后活动时间: 2026-08-25

auto-round ​

Intel开源的高精度LLM量化工具包，支持MXFP4、NVFP4、GGUF等多种格式，以精度优先设计最大限度减少量化损失。

  • Stars: ⭐️ 1.6k
  • Tags: 量化 LLM Intel
  • 最后活动时间: 2026-09-17

Vitis-Tutorials ​

Xilinx Vitis深度教程，涵盖FPGA、HLS和AI引擎的硬件加速开发技术。

  • Stars: ⭐️ 1.6k
  • Tags: fpga hls aiengine vitis hardware-acceleration
  • 最后活动时间: 2026-09-09

mllm ​

面向移动设备的高效多模态大语言模型推理框架，优化端侧性能。

  • Stars: ⭐️ 1.6k
  • Tags: Multimodal Mobile Inference
  • 最后活动时间: 2026-09-08

NVIDIA-patcher ​

为NVIDIA矿卡和特定GPU型号启用3D加速和完整计算功能的驱动补丁工具，可用于AI/ML工作负载的硬件加速。

  • Stars: ⭐️ 1.6k
  • Tags: nvidia gpu hardware-acceleration driver-patch
  • 最后活动时间: 2026-09-11

FBGEMM ​

Facebook开源的高性能矩阵乘法库，专为深度学习推理优化，支持低精度计算和CPU加速。

  • Stars: ⭐️ 1.6k
  • Tags: deep-learning inference matrix-multiplication optimization
  • 最后活动时间: 2026-09-16

brevitas ​

PyTorch神经网络量化库，支持PTQ和QAT量化方法，优化模型在FPGA等硬件上的部署性能。

  • Stars: ⭐️ 1.6k
  • Tags: quantization pytorch fpga
  • 最后活动时间: 2026-09-10

autokernel ​

自动化GPU内核优化工具，输入PyTorch模型自动生成优化的Triton内核。

  • Stars: ⭐️ 1.6k
  • Tags: cuda triton gpu pytorch optimization
  • 最后活动时间: 2026-03-19

nvidia_gpu_exporter ​

基于nvidia-smi的Prometheus GPU监控导出器，可实时监控GPU使用率、显存、温度等关键指标，适合AI训练和推理场景的资源监控。

  • Stars: ⭐️ 1.6k
  • Tags: GPU监控 Prometheus NVIDIA
  • 最后活动时间: 2026-09-17

Triton-distributed ​

分布式编译器和优化并行内核工具，旨在提升硬件加速性能。适用于大规模AI模型的底层计算优化。

  • Stars: ⭐️ 1.5k
  • Tags: triton compiler distributed kernels gpu
  • 最后活动时间: 2026-08-12

uccl ​

高效的GPU通信库，支持集合通信、P2P传输（KV缓存、RL权重）和端点通信，专为AI/LLM工作负载优化。

  • Stars: ⭐️ 1.5k
  • Tags: GPU RDMA LLM HPC
  • 最后活动时间: 2026-09-16

TornadoVM ​

一个高效的异构编程框架，支持Java等托管语言在GPU上运行，实现透明的并行计算加速。

  • Stars: ⭐️ 1.5k
  • Tags: GPU CUDA Parallel Computing
  • 最后活动时间: 2026-09-16

deepops ​

用于构建GPU集群的工具集，支持深度学习和HPC工作负载的部署与管理。

  • Stars: ⭐️ 1.5k
  • Tags: gpu cluster deep-learning hpc infrastructure
  • 最后活动时间: 2026-09-14

lightning-thunder ​

PyTorch编译器，加速训练和推理过程。提供内置的性能、内存和并行优化，支持自定义优化扩展。

  • Stars: ⭐️ 1.5k
  • Tags: pytorch compiler optimization deep-learning
  • 最后活动时间: 2026-09-15

MatX ​

现代C++20 GPU数值计算库，提供Python风格的简洁语法，专为高性能计算优化。

  • Stars: ⭐️ 1.4k
  • Tags: GPU Computing C++ HPC
  • 最后活动时间: 2026-09-15

compute-runtime ​

Intel显卡计算运行时，支持oneAPI Level Zero和OpenCL驱动，为AI计算提供底层GPU加速支持。

  • Stars: ⭐️ 1.4k
  • Tags: opencl gpu intel compute
  • 最后活动时间: 2026-09-16

exllamav3 ​

专为消费级GPU优化的LLM量化和推理库，支持在本地高效运行大语言模型。

  • Stars: ⭐️ 1.4k
  • Tags: LLM Quantization Inference GPU
  • 最后活动时间: 2026-09-17

CUDA.jl ​

Julia语言的CUDA编程接口，提供完整的GPU计算支持和高性能并行编程能力。

  • Stars: ⭐️ 1.4k
  • Tags: CUDA Julia GPU
  • 最后活动时间: 2026-09-16

gemmini ​

伯克利大学开发的深度学习加速器生成器，用于生成空间阵列架构的ASIC硬件。主要用于神经网络硬件加速和DNN计算优化。

  • Stars: ⭐️ 1.4k
  • Tags: accelerator asic dnn hardware
  • 最后活动时间: 2026-06-30

gdrcopy ​

基于 NVIDIA GPUDirect RDMA 技术的快速 GPU 内存拷贝库，显著降低大模型训练与推理时的数据传输延迟。

  • Stars: ⭐️ 1.4k
  • Tags: gpu rdma cuda memory-copy hardware-acceleration
  • 最后活动时间: 2026-09-15

Oceananigans.jl ​

基于Julia的高性能流体动力学模拟框架，支持CPU和GPU加速计算，集成机器学习功能用于气候和海洋科学研究。

  • Stars: ⭐️ 1.4k
  • Tags: fluid-dynamics gpu julia machine-learning scientific-computing
  • 最后活动时间: 2026-09-17

kvcached ​

虚拟化弹性KV缓存系统，支持动态GPU共享与多租户LLM推理，显著提升GPU资源利用率。

  • Stars: ⭐️ 1.4k
  • Tags: KV Cache GPU Sharing LLM Inference
  • 最后活动时间: 2026-09-16

tiny-tpu ​

受 Google TPU V1 和 V2 启发而设计的极简张量处理单元（TPU）项目。它为理解 AI 硬件加速器底层架构提供了极佳的参考实现。

  • Stars: ⭐️ 1.4k
  • Tags: tpu hardware ai-accelerator tensor-processing-unit
  • 最后活动时间: 2026-04-03

eve ​

高性能C++ SIMD向量计算库，为机器学习和科学计算提供硬件加速支持。

  • Stars: ⭐️ 1.4k
  • Tags: simd cpp hpc vectorization performance
  • 最后活动时间: 2026-09-17

dgx-spark-playbooks ​

NVIDIA DGX Spark设备AI/ML工作负载部署指南集合，专为Blackwell架构优化。提供详细的步骤化配置手册。

  • Stars: ⭐️ 1.4k
  • Tags: nvidia dgx blackwell ai-infrastructure gpu
  • 最后活动时间: 2026-09-10

scikit-learn-intelex ​

Intel推出的Scikit-learn加速扩展，通过oneAPI无缝提升机器学习算法性能，支持CPU/GPU加速。

  • Stars: ⭐️ 1.4k
  • Tags: Scikit-learn GPU Acceleration Intel Performance
  • 最后活动时间: 2026-09-16

DLSS-Enabler ​

在任意DirectX 12兼容GPU上模拟DLSS超分辨率和帧生成功能，让非NVIDIA显卡也能体验AI加速的游戏画质提升。

  • Stars: ⭐️ 1.3k
  • Tags: dlss ai-upscaling directx12 gpu frame-generation
  • 最后活动时间: 2026-07-19

awesome-high-performance-computing ​

高性能计算资源精选列表，涵盖HPC核心技术与资源，对大规模AI模型训练至关重要。

  • Stars: ⭐️ 1.3k
  • Tags: hpc high-performance-computing supercomputing parallel-computing
  • 最后活动时间: 2026-09-15

CUDA-Agent ​

基于大规模智能体强化学习的高性能CUDA内核生成框架，自动化GPU算子优化。

  • Stars: ⭐️ 1.3k
  • Tags: cuda reinforcement-learning kernel-generation code-generation optimization
  • 最后活动时间: 2026-07-08

TheRock ​

轻量级开源构建系统，专为HIP和ROCm设计，支持AMD GPU的AI计算环境搭建。

  • Stars: ⭐️ 1.3k
  • Tags: rocm hip gpu amd build-system
  • 最后活动时间: 2026-09-17

armnn ​

Arm官方机器学习软件栈，为Arm处理器提供高效的神经网络推理加速。

  • Stars: ⭐️ 1.3k
  • Tags: arm machine-learning neural-network embedded
  • 最后活动时间: 2026-09-10

modern-gpu-programming-for-mlsys ​

面向机器学习系统的现代GPU编程教程，深入探讨底层硬件加速技术。

  • Stars: ⭐️ 1.3k
  • Tags: gpu mlsys hardware-acceleration tutorial
  • 最后活动时间: 2026-09-03

stdgpu ​

高效的GPU端STL风格数据结构库，支持CUDA和HIP，为GPU计算提供类STL的便捷接口。

  • Stars: ⭐️ 1.3k
  • Tags: cuda gpu data-structures cpp hip
  • 最后活动时间: 2026-09-12

react-native-fast-tflite ​

一个高性能的 React Native TensorFlow Lite 库，支持 GPU 加速。它可以帮助开发者在移动端高效地运行机器学习模型，实现面部识别和物体检测等功能。

  • Stars: ⭐️ 1.2k
  • Tags: react-native tensorflow-lite gpu-acceleration machine-learning
  • 最后活动时间: 2026-09-11

FlashKDA ​

面向 Kimi Delta Attention（KDA）的高性能注意力内核实现，显著提升该模型架构的推理效率。

  • Stars: ⭐️ 1.2k
  • Tags: kda attention kernels flash-attention inference
  • 最后活动时间: 2026-07-30

react-native-fast-tflite ​

高性能React Native TensorFlow Lite库，支持GPU加速，为移动端AI推理提供高效解决方案。

  • Stars: ⭐️ 1.2k
  • Tags: TensorFlow Lite React Native Mobile AI
  • 最后活动时间: 2026-08-14

cudarc ​

Rust语言的CUDA安全封装库，提供CUDA、cuDNN、cuBLAS等工具的Rust绑定，便于GPU加速开发。

  • Stars: ⭐️ 1.2k
  • Tags: cuda rust gpu cudnn cublas
  • 最后活动时间: 2026-08-12

gputil ​

Python模块，用于通过nvidia-smi以编程方式获取NVIDIA GPU的状态信息，适合AI训练监控。

  • Stars: ⭐️ 1.2k
  • Tags: gpu nvidia monitoring python
  • 最后活动时间: 2026-07-18

detect-gpu ​

基于3D渲染基准分数对GPU进行分类，帮助开发者为图形密集型AI应用提供合理的默认设置。

  • Stars: ⭐️ 1.2k
  • Tags: gpu-detection webgl hardware-detection benchmark
  • 最后活动时间: 2026-09-13

yolo-tensorrt ​

支持将Yolov5、Yolov4和Yolov3等模型转换为TensorRT8格式的工具，专为Jetson等边缘设备优化。

  • Stars: ⭐️ 1.2k
  • Tags: darknet jetson tensorrt yolo
  • 最后活动时间: 2026-04-12

keops ​

高效的内核运算库，支持CPU和GPU上的自动微分，无内存溢出问题，适用于大规模机器学习计算。

  • Stars: ⭐️ 1.2k
  • Tags: gpu autodiff kernel-operations machine-learning pytorch
  • 最后活动时间: 2026-07-17

CLBlast ​

优化的OpenCL BLAS库，提供GPU加速的矩阵运算，是AI计算的基础设施组件。

  • Stars: ⭐️ 1.2k
  • Tags: blas opencl gpu linear-algebra
  • 最后活动时间: 2026-09-01

mlx-engine ​

LM Studio的Apple MLX推理引擎，专为Apple Silicon优化的本地模型运行方案。

  • Stars: ⭐️ 1.2k
  • Tags: mlx apple-silicon local-inference
  • 最后活动时间: 2026-08-24

thrml ​

基于JAX构建的热力学超图模型库，支持概率计算与概率图模型的高效实现。

  • Stars: ⭐️ 1.2k
  • Tags: jax machine-learning probabilistic-computing
  • 最后活动时间: 2026-09-14

NVTabular ​

NVIDIA开源的表格数据特征工程库，专为TB级推荐系统数据集设计，支持GPU加速预处理。

  • Stars: ⭐️ 1.2k
  • Tags: deep-learning feature-engineering gpu recommendation-system nvidia
  • 最后活动时间: 2026-05-22

pyopencl ​

Python的OpenCL集成库，提供GPU并行计算能力，支持多维数组和科学计算。

  • Stars: ⭐️ 1.1k
  • Tags: opencl gpu python parallel-computing
  • 最后活动时间: 2026-09-16

cuda-quantum ​

NVIDIA量子计算编程框架，支持异构量子-经典混合工作流和量子机器学习。

  • Stars: ⭐️ 1.1k
  • Tags: quantum-computing cuda quantum-ml nvidia
  • 最后活动时间: 2026-09-17

neanderthal ​

高性能Clojure矩阵运算库，支持CPU和GPU加速，适用于机器学习和科学计算场景。

  • Stars: ⭐️ 1.1k
  • Tags: clojure matrix gpu cuda opencl
  • 最后活动时间: 2026-08-19

depth-anything.cpp ​

基于C++17和ggml从零实现的Depth Anything 3深度估计模型移植。该项目提供了轻量级的本地推理能力，无需依赖庞大的深度学习框架。

  • Stars: ⭐️ 1.1k
  • Tags: cpp ggml depth-estimation computer-vision
  • 最后活动时间: 2026-09-07

pocl ​

便携式计算语言项目，旨在实现高性能的异构并行计算。它为各类硬件设备提供了标准的OpenCL开源实现与加速支持。

  • Stars: ⭐️ 1.1k
  • Tags: opencl heterogeneous-computing gpu-programming parallel-computing
  • 最后活动时间: 2026-08-06

Stable-Retro ​

gym-retro 的一个分支，增加了更多游戏、模拟器和支持的平台，专为强化学习研究设计。

  • Stars: ⭐️ 1.1k
  • Tags: reinforcement-learning gymnasium retro videogames
  • 最后活动时间: 2026-09-15

TurboOCR ​

基于TensorRT FP16加速的高性能OCR推理服务，处理速度超过200张/秒。支持PP-OCRv6等模型，提供HTTP与gRPC接口，适用于文档解析与RAG场景。

  • Stars: ⭐️ 1.1k
  • Tags: ocr tensorrt gpu-ocr inference-server document-ai paddleocr
  • 最后活动时间: 2026-09-08

HugeCTR ​

NVIDIA开源的高效GPU框架，专为点击率(CTR)预估训练设计，支持大规模推荐系统。

  • Stars: ⭐️ 1.1k
  • Tags: deep-learning gpu-acceleration recommendation-system ctr
  • 最后活动时间: 2026-08-03

sirius ​

GPU 原生的可组合分析引擎，利用 GPU 加速大规模数据分析查询。

  • Stars: ⭐️ 1.1k
  • Tags: gpu analytics database hardware-acceleration
  • 最后活动时间: 2026-09-16

finn ​

用于FPGA上量化神经网络推理的数据流编译器，支持高效的硬件加速部署。

  • Stars: ⭐️ 1.1k
  • Tags: compiler fpga neural-network quantization
  • 最后活动时间: 2026-09-16

agi ​

Android官方GPU性能分析工具，支持AI应用性能调优与调试。

  • Stars: ⭐️ 1.1k
  • Tags: android gpu profiler performance
  • 最后活动时间: 2026-04-13

jaxopt ​

基于JAX的硬件加速、可批处理和可微分优化器库，支持多种优化算法的高效实现。

  • Stars: ⭐️ 1.1k
  • Tags: jax optimization deep-learning differentiable-programming
  • 最后活动时间: 2026-09-07

YeeZ-Privacy-Computing ​

基于可信执行环境（TEE/SGX）的隐私计算中间件，为AI敏感数据提供安全计算支持。保护数据隐私的同时简化复杂计算流程。

  • Stars: ⭐️ 1.1k
  • Tags: ai privacy-protection sgx tee confidential-computing
  • 最后活动时间: 2026-09-02

MoonEP ​

MoonEP 是一个专注于完美平衡专家并行的库，通过动态冗余专家机制优化模型性能。它旨在提升大规模模型分布式训练与推理的效率。

  • Stars: ⭐️ 1.1k
  • Tags: expert-parallelism moe distributed-training redundant-experts
  • 最后活动时间: 2026-08-07

onnx-mlir ​

基于MLIR编译器基础设施的ONNX模型表示与底层优化工具，支持将ONNX模型编译为高效机器码。

  • Stars: ⭐️ 1.1k
  • Tags: onnx mlir compiler machine-learning inference
  • 最后活动时间: 2026-09-17

rtx6kpro ​

探索在无NVLink的PCIe GPU上运行超大规模LLM（如Qwen3.5-397B）的Wiki指南。提供硬件加速与部署相关的实践经验。

  • Stars: ⭐️ 1.1k
  • Tags: llm hardware gpu deployment
  • 最后活动时间: 2026-09-14

rotorquant ​

KV缓存压缩方案，通过块对角旋转实现。比TurboQuant更优的PPL表现，解码速度提升28%，预填充速度提升5.3倍，参数量减少44倍，支持llama.cpp直接集成。

  • Stars: ⭐️ 1.0k
  • Tags: quantization kv-cache llm compression
  • 最后活动时间: 2026-04-23

LuisaCompute ​

高性能跨平台渲染框架，支持CUDA、DirectX、Metal等多种后端，可用于AI图形计算加速。

  • Stars: ⭐️ 1.0k
  • Tags: cuda gpu rendering raytracing cross-platform
  • 最后活动时间: 2026-09-16

cuopt ​

NVIDIA GPU加速决策优化求解器，支持线性规划等优化问题的高性能计算。

  • Stars: ⭐️ 1.0k
  • Tags: cuda optimization gpu linear-programming operations-research
  • 最后活动时间: 2026-09-17

cuda-tile ​

基于MLIR的CUDA内核优化编译器基础设施，专注于张量核心单元的Tile计算模式优化，提升AI推理性能。

  • Stars: ⭐️ 1.0k
  • Tags: mlir cuda compiler tensor-core gpu-optimization
  • 最后活动时间: 2026-09-10

accelerate ​

Haskell高性能数组计算嵌入式语言，支持GPU加速和并行计算。

  • Stars: ⭐️ 1.0k
  • Tags: haskell gpu cuda parallel-computing
  • 最后活动时间: 2026-06-20

Tutel ​

优化的混合专家(MoE)库，支持GptOss/DeepSeek/Kimi-K2/Qwen3，兼容FP8/NVFP4/MXFP4量化。

  • Stars: ⭐️ 1.0k
  • Tags: MoE Optimization Inference
  • 最后活动时间: 2026-09-15

raft ​

NVIDIA提供的CUDA加速机器学习基础算法库，涵盖向量搜索、聚类、线性代数等核心原语，是高性能AI应用的基础构建块。

  • Stars: ⭐️ 1.0k
  • Tags: CUDA 向量搜索 GPU加速
  • 最后活动时间: 2026-06-11

MindPipe ​

一个强大的大语言模型和多模态大模型压缩框架，支持NVIDIA GPU和华为昇腾NPU，提供量化、剪枝等自动压缩能力，助力高效部署。

  • Stars: ⭐️ 1.0k
  • Tags: model-compression quantization pruning llm-deployment hardware-acceleration
  • 最后活动时间: 2026-08-01

framework ​

一个用Rust后端和TypeScript API构建的机器学习库，支持CUDA和WebGPU，适合深入理解ML框架内部原理。

  • Stars: ⭐️ 1.0k
  • Tags: machine-learning rust cuda webgpu ml-framework
  • 最后活动时间: 2026-04-20

cudf-spark ​

Spark RAPIDS 插件，利用 GPU 加速 Apache Spark 的大数据处理能力。它显著提升了数据处理和计算的速度。

  • Stars: ⭐️ 1.0k
  • Tags: Spark RAPIDS GPU Big Data
  • 最后活动时间: 2026-09-16

kineto ​

PyTorch官方使用的CPU/GPU性能分析库，提供时间线追踪和硬件性能计数器访问，帮助优化AI模型训练性能。

  • Stars: ⭐️ 991
  • Tags: profiling gpu pytorch performance tracing
  • 最后活动时间: 2026-09-14

opt_einsum ​

优化NumPy、TensorFlow等框架中的einsum张量收缩运算，通过优化收缩顺序显著提升计算性能。

  • Stars: ⭐️ 989
  • Tags: Tensor Optimization Performance Deep Learning
  • 最后活动时间: 2026-03-19

cupynumeric ​

支持多节点多GPU系统的NumPy和SciPy加速库，为大规模科学计算和机器学习提供高性能数值计算能力。

  • Stars: ⭐️ 984
  • Tags: gpu numpy scipy hpc numerical-computing
  • 最后活动时间: 2026-09-03

ComfyUI-MultiGPU ​

ComfyUI自定义节点，提供一键虚拟显存和多GPU集成支持，支持UNet和CLIP加载器的层卸载与Block Swap，最大化显卡潜空间利用。

  • Stars: ⭐️ 983
  • Tags: ComfyUI Multi-GPU Stable Diffusion VRAM优化
  • 最后活动时间: 2026-05-08

tpu-mlir ​

基于MLIR的机器学习编译器，专为Sophgo TPU加速器优化，支持LLM模型部署。

  • Stars: ⭐️ 980
  • Tags: compiler mlir tpu llm
  • 最后活动时间: 2026-08-31

libxsmm ​

专注于密集和稀疏矩阵运算的优化库，为深度学习提供高性能计算原语。

  • Stars: ⭐️ 977
  • Tags: blas simd matrix-multiplication deep-learning intel
  • 最后活动时间: 2026-09-03

spark-rapids ​

NVIDIA开发的Spark插件，利用GPU加速Apache Spark数据处理，显著提升大规模数据处理和机器学习工作负载的性能。

  • Stars: ⭐️ 976
  • Tags: GPU Spark Acceleration Big Data
  • 最后活动时间: 2026-05-28

optiland ​

基于PyTorch的光学设计与仿真库，支持GPU加速和可微分光线追踪，适用于光学系统优化和科学计算。

  • Stars: ⭐️ 974
  • Tags: pytorch ray-tracing optics differentiable gpu
  • 最后活动时间: 2026-09-17

tiramisu ​

一个多面体编译器，用于表达快速且可移植的数据并行算法，支持深度神经网络和张量运算优化。

  • Stars: ⭐️ 961
  • Tags: compiler deep-neural-networks tensor-algebra optimization
  • 最后活动时间: 2026-07-21

causal-conv1d ​

高性能CUDA因果深度可分离一维卷积实现，提供PyTorch接口，适用于Mamba等状态空间模型。

  • Stars: ⭐️ 953
  • Tags: cuda pytorch convolution mamba state-space-model
  • 最后活动时间: 2026-08-20

helion ​

一个Python嵌入式DSL，用于编写快速、可扩展的ML内核，减少样板代码。

  • Stars: ⭐️ 945
  • Tags: ml-kernels dsl gpu-computing machine-learning
  • 最后活动时间: 2026-09-16

cudnn-frontend ​

cuDNN的C++封装库，为深度学习提供GPU加速的底层API接口，简化神经网络计算开发。

  • Stars: ⭐️ 939
  • Tags: cudnn deep-learning gpu nvidia neural-network
  • 最后活动时间: 2026-09-17

jax-js ​

JAX的JavaScript实现，支持WebGPU和Wasm，让机器学习模型可直接在浏览器中高效运行。

  • Stars: ⭐️ 928
  • Tags: JAX Machine Learning WebGPU JavaScript
  • 最后活动时间: 2026-09-17

nvbench ​

NVIDIA CUDA内核基准测试库，帮助开发者精确测量和分析GPU内核性能。

  • Stars: ⭐️ 927
  • Tags: cuda benchmark gpu nvidia performance
  • 最后活动时间: 2026-08-31

mpi4py ​

MPI的Python绑定库，为分布式AI训练和大规模并行计算提供基础设施支持，是深度学习集群训练的核心依赖。

  • Stars: ⭐️ 922
  • Tags: mpi parallel-computing distributed hpc
  • 最后活动时间: 2026-09-12

cuda-api-wrappers ​

轻量级、统一的C++风格CUDA API封装库，简化GPU编程开发。

  • Stars: ⭐️ 903
  • Tags: cuda gpu gpgpu cpp
  • 最后活动时间: 2026-09-11

nncase ​

开源深度学习编译器栈，专为Kendryte AI加速器设计，支持神经网络模型优化部署。

  • Stars: ⭐️ 897
  • Tags: ai-compiler deep-learning neural-network llm
  • 最后活动时间: 2026-07-17

ROCmLibs-for-gfx1103-AMD780M-APU ​

为AMD APU提供ROCm库支持，使AMD GPU能够运行AI/ML工作负载。

  • Stars: ⭐️ 894
  • Tags: rocm amd gpu machine-learning
  • 最后活动时间: 2026-05-18

RyzenAI-SW ​

AMD Ryzen AI 软件套件，提供在 AMD Ryzen AI PC 上优化和部署 AI 推理的工具与运行时库。

  • Stars: ⭐️ 884
  • Tags: amd ryzen-ai inference hardware-acceleration
  • 最后活动时间: 2026-08-18

amgcl ​

C++代数多重网格库，用于求解大规模稀疏线性系统，支持CUDA和OpenCL加速。

  • Stars: ⭐️ 880
  • Tags: cuda linear-solvers scientific-computing opencl
  • 最后活动时间: 2026-09-11

vLLM-2080Ti-Definitive ​

专为双 RTX 2080 Ti 22GB + NVLink 打造的终极 vLLM 运行时，支持 FP8 权重并实现 Qwen 27B 本地推理高达 100+ tok/s。

  • Stars: ⭐️ 870
  • Tags: vllm rtx-2080-ti nvlink fp8 llm-inference
  • 最后活动时间: 2026-09-15

AI-windows-whl ​

为Windows平台预编译的AI加速库whl包，包含Flash-attention、SageAttention、NATTEN、xFormer等核心组件，简化AI开发环境配置。

  • Stars: ⭐️ 865
  • Tags: ai flash-attention windows precompiled gpu-acceleration
  • 最后活动时间: 2026-09-07

buun-llama-cpp ​

带有CUDA支持的LLAMA Turboquant实现，旨在加速大语言模型的推理过程。

  • Stars: ⭐️ 852
  • Tags: llama cpp cuda quantization llm
  • 最后活动时间: 2026-09-16

triattention ​

基于三角函数的KV缓存压缩技术，实现高效长推理，支持在显存受限的GPU上本地部署大语言模型。

  • Stars: ⭐️ 850
  • Tags: kv-cache llm-inference memory-optimization gpu
  • 最后活动时间: 2026-08-04

NRD ​

NVIDIA实时去噪库（NRD）是一个用于实时渲染的高效去噪解决方案，广泛应用于光线追踪和图形渲染加速。它利用AI和机器学习技术提升图像质量。

  • Stars: ⭐️ 850
  • Tags: denoising ray-tracing nvidia real-time-rendering
  • 最后活动时间: 2026-09-16

GPUMD ​

基于GPU加速的分子动力学模拟工具，支持机器学习势能函数和神经网络势能，适用于材料科学和物理模拟领域。

  • Stars: ⭐️ 837
  • Tags: cuda molecular-dynamics machine-learning gpu neural-network
  • 最后活动时间: 2026-09-16

optimizer ​

ONNX官方的模型优化器，用于简化和优化神经网络计算图。它能有效提升模型在各类硬件上的推理性能。

  • Stars: ⭐️ 832
  • Tags: onnx optimization neural-network inference
  • 最后活动时间: 2026-09-01

TileGym ​

提供基于 Tile 的 GPU 编程内核教程和示例。帮助开发者学习和掌握底层硬件加速技能。

  • Stars: ⭐️ 810
  • Tags: gpu tile-programming kernel hardware-acceleration
  • 最后活动时间: 2026-09-17

Rustchain ​

面向复古硬件的DePIN区块链项目，利用AI驱动的硬件指纹识别技术让老旧设备重新焕发算力价值。支持15+种CPU架构并通过Solana桥接实现微支付。

  • Stars: ⭐️ 805
  • Tags: blockchain depin hardware-fingerprinting ai-agents
  • 最后活动时间: 2026-09-16

NATTEN ​

快速多维稀疏注意力机制实现，为Transformer模型提供高效的局部注意力计算。

  • Stars: ⭐️ 796
  • Tags: cuda attention pytorch transformer sparse-attention
  • 最后活动时间: 2026-07-26

DCGM ​

NVIDIA数据中心GPU管理工具，用于收集GPU遥测数据和监控GPU健康状态，是AI基础设施运维的重要组件。

  • Stars: ⭐️ 792
  • Tags: nvidia gpu telemetry data-center monitoring
  • 最后活动时间: 2026-08-19

drjit ​

Dr.Jit 是一个专为可微分渲染设计的即时编译器，能够高效支持复杂图形渲染中的梯度计算。它为机器学习与计算机图形学的结合提供了强大的底层硬件加速支持。

  • Stars: ⭐️ 792
  • Tags: jit-compiler differentiable-rendering hardware-acceleration
  • 最后活动时间: 2026-08-03

dflash-mlx ​

专为Apple Silicon优化的无损DFlash推测解码框架，基于MLX实现高效推理加速。

  • Stars: ⭐️ 782
  • Tags: mlx speculative-decoding apple-silicon inference-optimization
  • 最后活动时间: 2026-08-20

TALOS-V2 ​

Transformer模型的硬件实现，可在FPGA上运行microGPT，吞吐量达50k+ tokens/秒。

  • Stars: ⭐️ 776
  • Tags: hardware transformer fpga microgpt acceleration
  • 最后活动时间: 2026-05-14

oneDPL ​

Intel oneAPI DPC++ 库，旨在简化异构计算的开发。它为基于 CPU、GPU 和 FPGA 的 AI 基础设施与高性能计算提供强大的硬件加速支持。

  • Stars: ⭐️ 776
  • Tags: oneapi dpc++ hardware-acceleration heterogeneous-computing
  • 最后活动时间: 2026-08-11

oneMath ​

Intel oneAPI数学库，提供跨CPU/GPU的高性能BLAS、RNG等数学运算支持。

  • Stars: ⭐️ 773
  • Tags: oneapi blas gpu math-library
  • 最后活动时间: 2026-09-02

nvbandwidth ​

NVIDIA 官方的 GPU 带宽测量工具，用于评估 GPU 内存与主机间数据传输性能。

  • Stars: ⭐️ 773
  • Tags: nvidia gpu bandwidth benchmark
  • 最后活动时间: 2026-07-28

gpu-jupyter ​

GPU加速的JupyterLab环境，预装TensorFlow和PyTorch，支持可复现的深度学习实验。

  • Stars: ⭐️ 768
  • Tags: gpu-computing jupyter pytorch tensorflow deep-learning
  • 最后活动时间: 2026-08-11

sonic-moe ​

针对混合专家模型(MoE)的IO和分块感知优化加速方案，提升大规模模型推理效率。

  • Stars: ⭐️ 766
  • Tags: moe optimization acceleration inference
  • 最后活动时间: 2026-08-29

flash-sparse-attention ​

一种可训练且高效的稀疏注意力机制，旨在大幅提升大模型处理长序列的速度并降低内存消耗。

  • Stars: ⭐️ 763
  • Tags: flash-attention sparse-attention triton kernel
  • 最后活动时间: 2026-09-11

buddy-mlir ​

基于MLIR的编译器框架，连接领域特定语言(DSL)与领域特定架构(DSA)，加速AI模型部署。

  • Stars: ⭐️ 757
  • Tags: mlir compiler dsl hardware-acceleration deep-learning
  • 最后活动时间: 2026-09-17

how-to-optimize-gemm ​

矩阵乘法优化教程，涵盖CPU和GPU上的GEMM高性能实现技术。

  • Stars: ⭐️ 754
  • Tags: cuda gemm optimization gpu matrix-multiplication
  • 最后活动时间: 2026-05-14

PipelineC ​

一种类C的硬件描述语言，通过自动流水线技术为FPGA提供高级综合支持。它极大地简化了硬件加速器的开发流程，适用于AI与高性能计算任务的底层硬件加速。

  • Stars: ⭐️ 748
  • Tags: fpga hardware-acceleration hdl hls
  • 最后活动时间: 2026-09-15

parca-agent ​

基于eBPF的持续性能分析工具，支持CPU和GPU性能监控，适用于Kubernetes环境下的AI工作负载优化。

  • Stars: ⭐️ 746
  • Tags: profiling gpu kubernetes observability cuda
  • 最后活动时间: 2026-09-16

lava ​

Intel开源的神经形态计算软件框架，支持类脑计算和脉冲神经网络开发，适用于Loihi等神经形态硬件。

  • Stars: ⭐️ 741
  • Tags: neuromorphic-computing neural-networks deep-learning spiking-neural-networks
  • 最后活动时间: 2026-05-13

YOLOv8-TensorRT-CPP ​

YOLOv8的TensorRT C++高性能部署实现，优化GPU推理加速。

  • Stars: ⭐️ 738
  • Tags: yolo tensorrt computer-vision inference
  • 最后活动时间: 2026-05-30

llamacpp-rocm ​

提供带有 AMD ROCm 7 加速支持的 llama.cpp 最新构建版本。极大地优化了大语言模型在 AMD 显卡上的推理性能。

  • Stars: ⭐️ 735
  • Tags: llama-cpp rocm amd hardware-acceleration llm
  • 最后活动时间: 2026-09-11

Stim ​

高性能量子稳定器电路模拟库，支持量子错误校正和量子算法开发，适用于量子计算研究与AI硬件加速探索。

  • Stars: ⭐️ 730
  • Tags: quantum-computing quantum-algorithms quantum-simulation cirq
  • 最后活动时间: 2026-05-22

flash-kmeans ​

快速且内存高效的精确K-means聚类算法实现。适用于大规模数据处理和机器学习加速场景。

  • Stars: ⭐️ 730
  • Tags: kmeans clustering memory-efficient machine-learning
  • 最后活动时间: 2026-08-28

rmm ​

RAPIDS内存管理器，为CUDA应用提供高效的GPU内存分配和管理。

  • Stars: ⭐️ 728
  • Tags: cuda memory-management rapids gpu nvidia
  • 最后活动时间: 2026-09-16

HIPIFY ​

将CUDA代码转换为可移植C++代码的工具，支持HIP框架，帮助开发者实现GPU代码跨平台迁移。

  • Stars: ⭐️ 728
  • Tags: cuda hip gpu portability code-conversion
  • 最后活动时间: 2026-09-16

vexcl ​

C++向量表达式模板库，支持OpenCL/CUDA/OpenMP后端的GPU计算。

  • Stars: ⭐️ 722
  • Tags: cuda opencl gpgpu cpp scientific-computing
  • 最后活动时间: 2026-09-11

ai-infra-hpc ​

涵盖集合通信(MPI、NCCL)、CUDA编程、向量化SIMD及RDMA通信等内容的HPC与AI基础设施教程。

  • Stars: ⭐️ 716
  • Tags: ai ai-infra deep-learning hpc llm
  • 最后活动时间: 2026-04-27

dra-driver-nvidia-gpu ​

NVIDIA 官方推出的 Kubernetes 动态资源分配（DRA）驱动，支持在集群中对 GPU 进行细粒度的分配与管理。为 AI 训练与推理工作负载提供可靠的 GPU 硬件加速底座。

  • Stars: ⭐️ 710
  • Tags: NVIDIA Kubernetes GPU DRA Hardware-Acceleration
  • 最后活动时间: 2026-09-17

magnetron ​

零依赖的C语言机器学习框架，提供现代Python API，支持CUDA加速，专注于执行和内存控制。

  • Stars: ⭐️ 706
  • Tags: machine-learning neural-network cuda ml-framework
  • 最后活动时间: 2026-09-15

wgpu-py ​

Python的WebGPU接口实现，支持跨平台GPU计算与图形渲染。

  • Stars: ⭐️ 699
  • Tags: webgpu python gpu vulkan metal
  • 最后活动时间: 2026-08-26

qsim ​

高性能量子电路状态向量模拟器，支持C++和Python，用于量子计算研究与量子算法开发。

  • Stars: ⭐️ 697
  • Tags: quantum-computing quantum-simulator quantum-algorithms cpp python
  • 最后活动时间: 2026-09-04

qiskit-aer ​

IBM量子计算高性能电路模拟器，支持噪声模型和GPU加速，是量子机器学习研究的重要基础设施。

  • Stars: ⭐️ 695
  • Tags: quantum-computing qiskit simulator gpu
  • 最后活动时间: 2026-05-25

AMGX ​

NVIDIA开发的高性能分布式多重网格线性求解器库，专为GPU加速设计。广泛用于大规模科学计算和AI底层加速。

  • Stars: ⭐️ 692
  • Tags: gpu cuda solver nvidia linear-algebra
  • 最后活动时间: 2026-07-09

mlir-aie ​

基于MLIR的AMD AI Engine工具链，为NPU加速器提供编译器支持和开发框架。

  • Stars: ⭐️ 687
  • Tags: mlir npu llvm compiler hardware-acceleration
  • 最后活动时间: 2026-09-17

atlas ​

纯Rust编写的推理引擎，支持CUDA和推测解码，专为高性能大模型推理优化。

  • Stars: ⭐️ 684
  • Tags: rust inference-engine cuda llm speculative-decoding
  • 最后活动时间: 2026-09-17

RTXNTC ​

NVIDIA 神经纹理压缩 SDK，利用 AI 技术实现更高压缩比的纹理压缩。

  • Stars: ⭐️ 680
  • Tags: nvidia neural-texture-compression sdk hardware-acceleration
  • 最后活动时间: 2026-08-05

DeepLens ​

用于端到端计算成像的可微分光学透镜模拟器，支持光线追踪与可微分渲染。

  • Stars: ⭐️ 677
  • Tags: computational-imaging differentiable-optics ray-tracing lens-design
  • 最后活动时间: 2026-07-20

qpp ​

现代C++量子计算库，提供量子态模拟和量子算法实现，支持量子门操作和量子电路构建。

  • Stars: ⭐️ 674
  • Tags: quantum-computing cpp simulator quantum
  • 最后活动时间: 2026-07-20

mlx-dspark ​

在Apple Silicon上实现高达4倍无损LLM解码加速的MLX原生项目。支持Gemma、Qwen等多种模型的推测解码。

  • Stars: ⭐️ 670
  • Tags: mlx apple-silicon llm speculative-decoding hardware-acceleration
  • 最后活动时间: 2026-09-10

astra-sim ​

用于大规模AI模型训练的层次化网络与 disaggregated 系统建模仿真器，帮助优化分布式训练架构设计。

  • Stars: ⭐️ 669
  • Tags: distributed-training simulation large-language-models network-modeling
  • 最后活动时间: 2026-04-25

hypura ​

让 Mac 用户能够运行超出物理内存容量的大型 AI 模型的工具，通过内存管理突破硬件限制。适合在本地设备上体验大模型的用户。

  • Stars: ⭐️ 668
  • Tags: llm macos memory-management local-inference
  • 最后活动时间: 2026-08-27

cuCollections ​

NVIDIA开源的CUDA数据结构库，提供GPU加速的高性能哈希表、哈希集合等并发数据结构。

  • Stars: ⭐️ 665
  • Tags: cuda gpu datastructures hashmap nvidia
  • 最后活动时间: 2026-09-16

swift-homomorphic-encryption ​

Swift 语言实现的同态加密库与应用，为隐私保护机器学习提供底层密码学支持。

  • Stars: ⭐️ 660
  • Tags: cryptography homomorphic-encryption swift privacy
  • 最后活动时间: 2026-09-14

ComfyUI-Spectrum-MiniMax-H3 ​

基于频谱预测的ComfyUI加速插件，利用切比雪夫岭回归跳过部分Transformer计算，显著提升MiniMax H3音视频模型的推理速度并降低显存占用。

  • Stars: ⭐️ 660
  • Tags: ComfyUI Model-Acceleration Transformer Inference-Optimization
  • 最后活动时间: 2026-09-16

nCPU ​

面向模型原生和张量优化的CPU研究运行时，提供组织化的工作负载、工具和文档，适合AI推理优化研究。

  • Stars: ⭐️ 657
  • Tags: cpu-optimization tensor ml-runtime inference
  • 最后活动时间: 2026-07-30

optiland ​

基于PyTorch的GPU加速光学设计工具，支持可微分光线追踪，适用于光学系统优化与仿真。

  • Stars: ⭐️ 656
  • Tags: optics pytorch differentiable ray-tracing gpu simulation
  • 最后活动时间: 2026-04-19

ompi ​

高性能分布式消息传递接口库，广泛用于大规模并行计算和AI模型分布式训练场景。

  • Stars: ⭐️ 653
  • Tags: mpi hpc distributed-computing parallel-computing
  • 最后活动时间: 2026-09-07

oneDAL ​

Intel oneAPI数据分析库，提供高性能机器学习算法和数据分析功能，支持AI训练与推理加速。

  • Stars: ⭐️ 651
  • Tags: machine-learning data-analytics oneapi cpp
  • 最后活动时间: 2026-09-17

gateGPT ​

将完整Transformer转化为定制芯片的RTL实现，在FPGA上实现高吞吐量生成。

  • Stars: ⭐️ 645
  • Tags: transformer fpga hardware rtl
  • 最后活动时间: 2026-06-25

EDA-Q ​

量子芯片设计全栈EDA工具，支持超导和离子阱量子计算架构，帮助研究人员高效设计、模拟和优化量子芯片。

  • Stars: ⭐️ 640
  • Tags: quantum-computing eda chip-design quantum
  • 最后活动时间: 2026-05-13

Swiftlet ​

基于 Swift 和 Metal 的本地运行时，通过从存储流式加载专家权重，让 Qwen MoE 大模型（35B/80B）在低内存的 Apple 设备（包括 iPhone）上运行。

  • Stars: ⭐️ 638
  • Tags: local-llm mixture-of-experts on-device-ai swift metal
  • 最后活动时间: 2026-09-14

loopy ​

面向CPU和GPU的数组计算代码生成器，支持自动优化和并行化。

  • Stars: ⭐️ 636
  • Tags: cuda code-generation gpu-computing opencl
  • 最后活动时间: 2026-09-11

aws-neuron-sdk ​

AWS专用机器学习芯片SDK，支持PyTorch和TensorFlow原生集成，提供高性能低成本推理。

  • Stars: ⭐️ 633
  • Tags: aws machine-learning hardware-acceleration
  • 最后活动时间: 2026-09-16

k8s-dra-driver-gpu ​

NVIDIA Kubernetes DRA驱动，为Kubernetes集群提供GPU资源调度和管理能力。

  • Stars: ⭐️ 631
  • Tags: kubernetes nvidia gpu dra infrastructure
  • 最后活动时间: 2026-04-22

nvidia-dra-driver-gpu ​

NVIDIA DRA GPU驱动程序，为Kubernetes等容器编排平台提供GPU资源分配和管理能力。

  • Stars: ⭐️ 631
  • Tags: nvidia gpu kubernetes driver dra
  • 最后活动时间: 2026-04-22

nvcomp ​

NVIDIA官方的高性能GPU无损压缩/解压库，专为加速AI数据管道和大规模数据处理而设计。

  • Stars: ⭐️ 628
  • Tags: gpu compression nvidia cuda high-performance
  • 最后活动时间: 2026-07-13

hipfire ​

使用 Rust 编写的 RDNA 原生 LLM 推理引擎，针对 AMD GPU 进行了深度优化。

  • Stars: ⭐️ 628
  • Tags: rust amd-gpu rocm rdna llm-inference
  • 最后活动时间: 2026-09-16

ComfyUI-Distributed ​

ComfyUI扩展插件，支持本地、远程和云端的多GPU分布式处理。

  • Stars: ⭐️ 624
  • Tags: comfyui multi-gpu distributed-computing stable-diffusion
  • 最后活动时间: 2026-08-14

ginkgo ​

高性能数值线性代数库，支持多后端（CUDA、HIP、OpenMP），为AI和科学计算提供核心矩阵运算加速。

  • Stars: ⭐️ 623
  • Tags: linear-algebra gpu-computing cuda hip sparse-matrix hpc
  • 最后活动时间: 2026-09-16

gonka ​

Gonka 是一个专注于 AI 计算的基础设施项目，旨在提供高效的硬件加速与计算能力支持。

  • Stars: ⭐️ 622
  • Tags: ai-compute infrastructure hardware-acceleration
  • 最后活动时间: 2026-09-13

optimum-intel ​

HuggingFace Optimum Intel版，提供Intel硬件加速的模型推理优化工具。

  • Stars: ⭐️ 620
  • Tags: optimization intel openvino quantization inference
  • 最后活动时间: 2026-09-17

autonomous-computer ​

指导用户构建个人AI计算机的开源硬件项目。涵盖GPU选型、本地大模型(LLM)部署及家庭实验室搭建方案。

  • Stars: ⭐️ 620
  • Tags: local-llm gpu homelab open-hardware
  • 最后活动时间: 2026-07-05

apex-inference-chip ​

在 FPGA 上运行真实 LLM（Qwen2.5-0.5B）的推理芯片设计，实现了 RTL 级别的 Transformer 解码层并达到 0.56 tok/s。

  • Stars: ⭐️ 615
  • Tags: fpga hardware llm rtl inference
  • 最后活动时间: 2026-08-18

xdna-driver ​

AMD XDNA NPU 的官方 Linux 内核驱动（amdxdna.ko）及 XRT SHIM 库，为 Ryzen AI 等设备提供神经网络硬件加速能力。是 Linux 平台上运行本地 AI 推理的关键底层组件。

  • Stars: ⭐️ 613
  • Tags: AMD NPU Ryzen-AI Linux-Driver Hardware-Acceleration XRT AI-Inference
  • 最后活动时间: 2026-09-14

AutoDock-GPU ​

GPU加速的分子对接软件，用于药物发现和计算生物学研究，支持CUDA和OpenCL加速。

  • Stars: ⭐️ 611
  • Tags: molecular-docking gpu-computing cuda drug-discovery computational-biology
  • 最后活动时间: 2026-08-11

gpuRIR ​

支持GPU加速的房间脉冲响应(RIR)模拟Python库，可用于AI音频合成与语音识别的数据增强。

  • Stars: ⭐️ 611
  • Tags: gpu-acceleration acoustics audio-simulation python
  • 最后活动时间: 2026-08-25

calyx ​

面向硬件加速器生成的中间语言，简化编译器设计。助力AI模型在底层硬件上的高效部署与执行。

  • Stars: ⭐️ 607
  • Tags: compiler fpga hardware-acceleration intermediate-language
  • 最后活动时间: 2026-08-10

attorch ​

基于OpenAI Triton实现的PyTorch神经网络模块子集，提供高效的GPU加速计算。

  • Stars: ⭐️ 604
  • Tags: triton pytorch cuda deep-learning
  • 最后活动时间: 2026-08-14

Vitis_Accel_Examples ​

Vitis加速开发示例集合，展示如何在Xilinx平台上进行硬件加速。为AI应用在FPGA上的部署提供参考实现。

  • Stars: ⭐️ 604
  • Tags: vitis fpga xilinx hardware-acceleration soc
  • 最后活动时间: 2026-06-15

rkllama ​

专为Rockchip NPU优化的Ollama替代方案，支持在Orange Pi等开发板上高效运行LLM和深度学习模型。

  • Stars: ⭐️ 603
  • Tags: llm npu rockchip edge-ai llm-inference
  • 最后活动时间: 2026-08-25

dace ​

以数据为中心的并行编程框架，支持CUDA、FPGA等多种硬件加速后端。

  • Stars: ⭐️ 594
  • Tags: cuda fpga hpc parallel-computing
  • 最后活动时间: 2026-09-17

flashlib ​

提供快速且内存高效的传统机器学习算子库。旨在优化底层计算性能，加速模型训练与推理过程。

  • Stars: ⭐️ 592
  • Tags: machine-learning performance optimization
  • 最后活动时间: 2026-08-31

eLLM ​

面向长程推理优化的 LLM 引擎，宣称在 CPU 上实现比 GPU 更快的长上下文推理性能。

  • Stars: ⭐️ 590
  • Tags: llm-inference cpu-inference rust long-context
  • 最后活动时间: 2026-09-10

nvmath-python ​

NVIDIA为Python生态系统提供的数学库，支持GPU加速计算，适用于AI/ML高性能计算场景。

  • Stars: ⭐️ 589
  • Tags: nvidia gpu math acceleration
  • 最后活动时间: 2026-07-14

nvshmem ​

NVIDIA开发的并行编程接口，支持GPU间高效通信，可显著降低多进程通信开销，适用于深度学习分布式训练场景。

  • Stars: ⭐️ 586
  • Tags: cuda gpu parallel-computing deep-learning nvidia
  • 最后活动时间: 2026-08-27

pytorch ​

华为昇腾PyTorch适配器(torch_npu)，为PyTorch提供昇腾NPU硬件加速支持。

  • Stars: ⭐️ 578
  • Tags: pytorch ascend deep-learning hardware-acceleration
  • 最后活动时间: 2026-09-17

aiter ​

专为 ROCm 平台设计的 AI 张量计算引擎，提供高性能的底层算子支持。有效提升了 AMD GPU 在 AI 工作负载下的计算效率。

  • Stars: ⭐️ 562
  • Tags: rocm tensor-engine hardware-acceleration gpu
  • 最后活动时间: 2026-09-16

nbd-vram ​

利用NVIDIA GPU的VRAM作为Linux系统的交换空间，特别适合内存无法升级的笔记本。通过CUDA将闲置显存转化为可用内存资源。

  • Stars: ⭐️ 560
  • Tags: cuda gpu vram memory linux
  • 最后活动时间: 2026-07-17

NVTX ​

NVIDIA 工具扩展 SDK，提供 C 语言 API 用于在应用程序中注释事件、代码范围和资源。常用于 AI 模型训练和推理过程中的性能分析与优化。

  • Stars: ⭐️ 560
  • Tags: nvidia nvtx profiling gpu hardware-acceleration
  • 最后活动时间: 2026-09-08

mscclpp ​

MSCCL++是一个GPU驱动的通信栈，专为可扩展AI应用设计，优化分布式训练和推理的GPU间通信性能。

  • Stars: ⭐️ 556
  • Tags: gpu communication distributed-systems cuda ai-infrastructure
  • 最后活动时间: 2026-09-15

relion ​

用于冷冻电子显微镜的图像处理软件，利用GPU加速和最大似然算法进行生物分子结构的高性能计算。

  • Stars: ⭐️ 555
  • Tags: cryo-em image-processing cuda hpc molecular-biology
  • 最后活动时间: 2026-09-16

KernelAgent ​

通过深度智能体实现GPU内核自动生成与优化的自主框架。它能有效提升硬件加速与模型执行的效率。

  • Stars: ⭐️ 553
  • Tags: gpu kernel-optimization ai-agents cuda
  • 最后活动时间: 2026-09-08

slurm-docker-cluster ​

基于Docker的Slurm集群部署方案，支持CUDA和NVIDIA GPU，适用于HPC和AI训练工作负载。

  • Stars: ⭐️ 547
  • Tags: slurm docker cuda gpu hpc
  • 最后活动时间: 2026-08-09

cuLA ​

基于CuTe DSL和CUTLASS C++编写的线性注意力变体CUDA内核，为Transformer模型提供高效GPU加速。

  • Stars: ⭐️ 546
  • Tags: cuda linear-attention transformers gpu-kernels
  • 最后活动时间: 2026-09-08

mpi4jax ​

JAX数组零拷贝MPI通信库，为高性能计算应用提供分布式加速支持。

  • Stars: ⭐️ 545
  • Tags: jax mpi hpc distributed-computing
  • 最后活动时间: 2026-08-31

dstack ​

一个用于机密AI（Confidential AI）的开源框架，支持可信执行环境（TEE）和安全计算。

  • Stars: ⭐️ 544
  • Tags: confidential-ai trusted-execution-environment secure-ai
  • 最后活动时间: 2026-09-14

torchft ​

PyTorch分布式训练容错库，支持HSDP、LocalSGD、DiLoCo等多种分布式训练策略，确保大规模模型训练的稳定性和可靠性。

  • Stars: ⭐️ 539
  • Tags: pytorch distributed-training fault-tolerance diloco
  • 最后活动时间: 2026-08-28

dwave-ocean-sdk ​

D-Wave Ocean SDK 是一套用于量子计算的开发工具包，帮助开发者构建和部署量子退火应用程序。它支持硬件加速和量子云服务集成。

  • Stars: ⭐️ 539
  • Tags: quantum-computing sdk dwave quantum-annealing
  • 最后活动时间: 2026-09-16

qulacs ​

一个用于量子计算研究的高性能变分量子电路模拟器。支持快速模拟NISQ（含噪声中等规模量子）设备上的量子算法。

  • Stars: ⭐️ 528
  • Tags: quantum-computing quantum-circuit-simulator variational-quantum-circuit nisq
  • 最后活动时间: 2026-08-05

medaka ​

基于神经网络的纳米孔测序数据序列抛光与变异检测工具。利用深度学习提高基因组测序的准确性。

  • Stars: ⭐️ 527
  • Tags: neural-network genomics nanopore variant-calling
  • 最后活动时间: 2026-05-20

krasis ​

混合LLM运行时，专注于在显存受限的消费级硬件上高效运行大模型。支持CPU/GPU混合推理与优化，是llama.cpp的优秀替代方案。

  • Stars: ⭐️ 521
  • Tags: llm-inference hybrid-inference cpu-inference gpu-inference high-performance-inference mixture-of-experts
  • 最后活动时间: 2026-09-15

clpeak ​

用于测量 GPU 和 CPU 峰值算力、带宽及矩阵吞吐的合成微基准测试工具，帮助评估硬件加速性能。

  • Stars: ⭐️ 520
  • Tags: gpu benchmark opencl hardware-acceleration
  • 最后活动时间: 2026-09-17

KernelAbstractions.jl ​

一个用于Julia语言的异构并行计算内核抽象库。它简化了跨平台GPU计算的开发流程，为AI模型底层加速提供了灵活支持。

  • Stars: ⭐️ 517
  • Tags: julia gpu-computing heterogeneous-computing kernel-abstractions
  • 最后活动时间: 2026-07-28

docker-ubuntu-desktop ​

支持GPU硬件加速的Ubuntu桌面Docker镜像，可通过SSH或远程桌面访问容器环境，适用于AI开发和CUDA计算场景。

  • Stars: ⭐️ 515
  • Tags: cuda docker gpu remote-desktop nvidia
  • 最后活动时间: 2026-05-28

torch_musa ​

基于PyTorch的开源项目，旨在充分利用摩尔线程显卡的超级计算能力。为深度学习提供底层硬件加速支持。

  • Stars: ⭐️ 513
  • Tags: pytorch hardware-acceleration gpu deep-learning
  • 最后活动时间: 2026-09-09

timeloop ​

针对张量代数工作负载在各类加速器架构上进行建模、映射和代码生成的工具。能有效辅助 AI 芯片的架构探索与性能评估。

  • Stars: ⭐️ 513
  • Tags: hardware-acceleration tensor-algebra code-generation modeling
  • 最后活动时间: 2026-07-26

aihwkit ​

IBM开源的模拟硬件加速工具包，用于在模拟硬件上训练神经网络。支持PyTorch和CUDA加速。

  • Stars: ⭐️ 511
  • Tags: hardware-acceleration analog-computing pytorch
  • 最后活动时间: 2026-09-11

sparkrun ​

在 NVIDIA DGX Spark 上启动、管理与停止 LLM 推理工作负载，支持 vLLM、SGLang 和 llama.cpp。

  • Stars: ⭐️ 508
  • Tags: DGX-Spark vLLM SGLang LLM-Inference NVIDIA
  • 最后活动时间: 2026-09-16

XLB ​

基于加速格子的玻尔兹曼方法（Lattice Boltzmann）的物理机器学习库。结合 JAX 与 NVIDIA Warp，提供高性能物理仿真与 AI 结合方案。

  • Stars: ⭐️ 507
  • Tags: jax physics-ml lattice-boltzmann hardware-acceleration
  • 最后活动时间: 2026-09-11

universal ​

提供大量数字系统的算术库，支持混合精度算法开发与优化，适用于AI、机器学习和信号处理等领域。

  • Stars: ⭐️ 501
  • Tags: mixed-precision arithmetic hardware-acceleration ai-optimization
  • 最后活动时间: 2026-09-17

popsift ​

PopSift 是一个基于 CUDA 的 SIFT 算法实现库，用于高效的特征提取。它利用 GPU 加速图像处理任务，适用于计算机视觉应用。

  • Stars: ⭐️ 501
  • Tags: computer-vision cuda feature-extraction gpu image-processing sift
  • 最后活动时间: 2026-09-09

CUDA-L2 ​

利用强化学习优化CUDA矩阵乘法内核，性能超越NVIDIA cuBLAS库。为大规模语言模型和深度学习提供更高效的GPU计算加速方案。

  • Stars: ⭐️ 438
  • Tags: cuda gpu-optimization matrix-multiplication reinforcement-learning hardware-acceleration
  • 最后活动时间: 2026-03-30

Model Serving ​

tensorflow ​

Google开源的端到端机器学习框架，支持构建和部署深度学习模型，广泛应用于CV、NLP、推荐系统等领域。

  • Stars: ⭐️ 200.2k
  • Tags: Deep Learning Machine Learning Neural Network
  • 最后活动时间: 2026-09-17

ollama ​

轻量级本地大模型运行工具，支持Llama、Qwen、DeepSeek等多种开源模型，一键部署即开即用。

  • Stars: ⭐️ 181.2k
  • Tags: LLM Local Deployment Model Inference
  • 最后活动时间: 2026-09-17

llama.cpp ​

高性能C/C++实现的LLM推理引擎，支持GGML格式，广泛用于本地部署。

  • Stars: ⭐️ 128.5k
  • Tags: 推理 C++ GGML
  • 最后活动时间: 2026-09-17

pytorch ​

开源深度学习框架，提供强大的GPU加速和动态计算图支持，广泛应用于神经网络研究和生产环境。

  • Stars: ⭐️ 103.1k
  • Tags: Deep Learning Neural Network GPU
  • 最后活动时间: 2026-09-17

fastapi ​

高性能异步Python Web框架，广泛用于AI模型API服务和生产部署。

  • Stars: ⭐️ 102.4k
  • Tags: fastapi api async python openapi
  • 最后活动时间: 2026-09-14

vllm ​

高吞吐量LLM推理和服务引擎，采用PagedAttention技术优化显存利用率，广泛用于生产环境大模型部署。

  • Stars: ⭐️ 92.0k
  • Tags: LLM推理 模型服务 高性能
  • 最后活动时间: 2026-09-17

OmniRoute ​

多提供商LLM智能网关，提供OpenAI兼容接口，支持智能路由、负载均衡、重试回退、策略限流和可观测性功能。

  • Stars: ⭐️ 67.2k
  • Tags: LLM Gateway Model Routing Rate Limiting
  • 最后活动时间: 2026-09-17

keras ​

面向人类的深度学习框架，提供简洁高级的API，支持多后端包括TensorFlow和PyTorch。

  • Stars: ⭐️ 64.3k
  • Tags: 深度学习 Keras 神经网络
  • 最后活动时间: 2026-09-16

litellm ​

统一LLM API网关和SDK，支持100+大模型API标准化调用，提供成本追踪、负载均衡等企业级功能。

  • Stars: ⭐️ 59.0k
  • Tags: AI Gateway LLM Proxy OpenAI Compatible
  • 最后活动时间: 2026-09-17

LocalAI ​

免费开源的OpenAI API替代方案，支持本地部署无需GPU，兼容OpenAI API接口。

  • Stars: ⭐️ 49.1k
  • Tags: LLM Self-hosted OpenAI API Local Inference
  • 最后活动时间: 2026-09-17

new-api ​

统一的AI模型聚合网关，支持将各类LLM转换为OpenAI/Claude/Gemini兼容格式，适合个人和企业的模型管理。

  • Stars: ⭐️ 48.3k
  • Tags: AI Gateway LLM OpenAI Compatible
  • 最后活动时间: 2026-09-17

exo ​

在本地运行前沿AI模型的分布式推理框架，支持多设备协同计算，无需GPU即可运行大语言模型。

  • Stars: ⭐️ 47.4k
  • Tags: local-ai llm distributed inference edge-computing
  • 最后活动时间: 2026-08-25

airflow ​

Apache旗下开源工作流编排平台，支持以代码方式定义、调度和监控数据管道与ML工作流，是MLOps领域的核心基础设施工具。

  • Stars: ⭐️ 46.9k
  • Tags: MLOps 工作流编排 数据管道
  • 最后活动时间: 2026-09-17

ray ​

AI计算引擎，提供分布式运行时和AI库加速机器学习工作负载，支持深度学习、强化学习和LLM推理等场景。

  • Stars: ⭐️ 43.8k
  • Tags: 分布式计算 机器学习 LLM
  • 最后活动时间: 2026-09-17

BitNet ​

微软官方推出的1-bit LLM推理框架，实现极致压缩的高效大模型部署。

  • Stars: ⭐️ 40.3k
  • Tags: 1-bit LLM Inference Compression Microsoft
  • 最后活动时间: 2026-07-27

gym ​

OpenAI开发的强化学习算法开发与对比工具包，提供标准化的环境接口，支持多种经典控制、Atari游戏等环境，是RL研究的标准基准平台。

  • Stars: ⭐️ 37.2k
  • Tags: reinforcement-learning machine-learning openai simulation
  • 最后活动时间: 2026-03-26

pytorch-image-models ​

最大的PyTorch图像编码器/骨干网络集合，包含ResNet、ViT、EfficientNet等预训练模型及训练推理脚本。

  • Stars: ⭐️ 37.1k
  • Tags: Computer Vision Pretrained Models PyTorch
  • 最后活动时间: 2026-09-15

sglang ​

高性能的大语言模型和多模态模型服务框架，专注于推理优化和高效部署，提供卓越的服务性能。

  • Stars: ⭐️ 36.1k
  • Tags: Inference LLM CUDA Serving
  • 最后活动时间: 2026-09-17

detectron2 ​

Facebook AI Research推出的下一代目标检测与分割平台，支持Mask R-CNN、RetinaNet等主流算法，模块化设计易于扩展。

  • Stars: ⭐️ 34.7k
  • Tags: object-detection segmentation computer-vision pytorch
  • 最后活动时间: 2026-08-19

go-zero ​

云原生Go微服务框架，支持AI原生开发，提供代码生成和API网关功能，适合构建高性能AI服务后端。

  • Stars: ⭐️ 33.3k
  • Tags: microservices api-gateway go cloud-native
  • 最后活动时间: 2026-09-14

signoz ​

开源的 OpenTelemetry 原生可观测性平台，支持日志、指标和链路追踪。提供 APM、分布式追踪等功能，并集成 AI 代理以帮助构建更具弹性的应用。

  • Stars: ⭐️ 32.1k
  • Tags: observability opentelemetry apm monitoring ai-agents
  • 最后活动时间: 2026-09-17

srs ​

高性能AI驱动的实时流媒体服务器，支持RTMP、WebRTC等多种协议及多种音视频编解码格式。适用于低延迟视频流媒体和视频会议场景。

  • Stars: ⭐️ 29.2k
  • Tags: media-server webrtc rtmp streaming ai-driven
  • 最后活动时间: 2026-09-13

9router ​

统一路由工具，连接Claude Code、Cursor、Copilot等AI编程工具到40+服务商和100+模型，简化多模型接入。

  • Stars: ⭐️ 29.1k
  • Tags: AI Router Code Assistant Multi-Model API Gateway
  • 最后活动时间: 2026-09-10

mlflow ​

开源AI工程平台，支持调试、评估、监控和优化生产级AI应用，提供完整的机器学习生命周期管理。

  • Stars: ⭐️ 28.0k
  • Tags: MLOps LLMOps 模型管理
  • 最后活动时间: 2026-09-17

freellmapi ​

OpenAI兼容的API代理服务，聚合14+AI提供商的免费额度并支持自动故障转移，适合个人实验与开发测试。

  • Stars: ⭐️ 26.7k
  • Tags: openai-compatible api-proxy llm free-tier
  • 最后活动时间: 2026-09-16

llamafile ​

Mozilla开源项目，将LLM打包为单一可执行文件，实现一键分发与运行。

  • Stars: ⭐️ 26.0k
  • Tags: LLM Deployment Portable
  • 最后活动时间: 2026-09-16

kratos ​

云原生时代的 Go 微服务框架，支持 gRPC、HTTP 和 MCP 协议，内置 AI 能力。

  • Stars: ⭐️ 25.9k
  • Tags: microservices go grpc mcp cloud-native
  • 最后活动时间: 2026-09-16

Paddle ​

百度开源的工业级深度学习框架，支持高性能单机与分布式训练，提供跨平台部署能力。

  • Stars: ⭐️ 24.1k
  • Tags: deep-learning machine-learning neural-network distributed-training
  • 最后活动时间: 2026-09-17

headroom ​

LLM应用上下文优化层，通过智能压缩技术解决上下文窗口限制，支持OpenAI、Anthropic等多种提供商。

  • Stars: ⭐️ 23.9k
  • Tags: Context Optimization Token Compression LLM Proxy
  • 最后活动时间: 2026-06-12

prefect ​

Python工作流编排框架，用于构建弹性的数据管道和ML工作流，支持可观测性与自动化。

  • Stars: ⭐️ 23.9k
  • Tags: Workflow Orchestration MLOps
  • 最后活动时间: 2026-09-16

mlc-llm ​

通用LLM部署引擎，通过机器学习编译技术实现跨平台高效推理，支持多种硬件后端。

  • Stars: ⭐️ 23.2k
  • Tags: LLM部署 模型编译 TVM 推理优化
  • 最后活动时间: 2026-08-17

NemoClaw ​

在 NVIDIA OpenShell 中安全运行 OpenClaw 的托管推理方案，提供安全的模型推理环境。

  • Stars: ⭐️ 22.5k
  • Tags: nvidia inference openclaw security
  • 最后活动时间: 2026-09-17

ds4 ​

DeepSeek 4 Flash本地推理引擎，专为Metal优化的高性能推理框架，支持在本地快速运行DeepSeek模型。

  • Stars: ⭐️ 22.5k
  • Tags: deepseek inference-engine metal local-llm
  • 最后活动时间: 2026-09-16

openobserve ​

开源可观测性平台，支持日志、指标、追踪和LLM可观测性，存储成本比Elasticsearch低140倍。

  • Stars: ⭐️ 22.0k
  • Tags: observability llm monitoring logs metrics
  • 最后活动时间: 2026-09-16

onnx ​

机器学习互操作的开放标准，支持PyTorch、TensorFlow等主流框架间的模型转换与跨平台部署，是AI生态的核心基础设施。

  • Stars: ⭐️ 21.5k
  • Tags: ONNX Interoperability Model Format
  • 最后活动时间: 2026-09-17

livekit ​

端到端实时通信基础设施，专为连接人类与AI设计，支持语音、视频和WebRTC通信。

  • Stars: ⭐️ 21.0k
  • Tags: realtime webrtc voice-ai media-server
  • 最后活动时间: 2026-09-17

taipy ​

将数据和AI算法快速转化为生产级Web应用的Python框架，支持管道编排、数据可视化和场景分析。

  • Stars: ⭐️ 19.4k
  • Tags: Python MLOps Data Visualization Pipeline
  • 最后活动时间: 2026-08-10

web-llm ​

基于WebGPU的浏览器端LLM推理引擎，无需服务器即可在浏览器中运行大模型，实现完全客户端AI推理。

  • Stars: ⭐️ 19.1k
  • Tags: WebGPU 浏览器AI 本地推理
  • 最后活动时间: 2026-09-15

iii ​

统一后端架构引擎，通过Function、Trigger、Worker三个原语整合AI Agent与现有技术栈。

  • Stars: ⭐️ 18.7k
  • Tags: backend-framework agents genai primitives
  • 最后活动时间: 2026-09-17

openfang ​

开源智能体操作系统，基于Rust构建，支持MCP协议，为AI智能体提供底层运行环境。

  • Stars: ⭐️ 18.2k
  • Tags: Agent OS MCP Rust
  • 最后活动时间: 2026-07-02

brpc ​

百度开源的工业级RPC框架，广泛应用于搜索、存储、机器学习、广告推荐等高性能系统。

  • Stars: ⭐️ 17.6k
  • Tags: rpc c-plus-plus high-performance distributed-systems
  • 最后活动时间: 2026-09-16

dagster ​

现代化数据资产编排平台，专为数据工程和机器学习工作流设计，支持数据管道的开发、部署与监控。

  • Stars: ⭐️ 16.2k
  • Tags: 数据编排 MLOps ETL
  • 最后活动时间: 2026-09-16

burn ​

新一代Rust深度学习框架，兼顾灵活性、效率和可移植性，支持CUDA、Metal、Vulkan、WebGPU等多后端。

  • Stars: ⭐️ 15.9k
  • Tags: Deep-Learning Rust Cross-Platform
  • 最后活动时间: 2026-09-16

kubeflow ​

Kubernetes上的机器学习工具包，提供完整的ML工作流编排与模型部署能力。

  • Stars: ⭐️ 15.9k
  • Tags: kubernetes machine-learning ml-ops
  • 最后活动时间: 2026-08-21

nano-vllm ​

轻量级vLLM实现，专注于大语言模型的高效推理，适合学习和轻量级部署场景。

  • Stars: ⭐️ 15.5k
  • Tags: LLM 推理引擎 PyTorch
  • 最后活动时间: 2026-04-26

horovod ​

Uber开源的分布式训练框架，支持TensorFlow、PyTorch、MXNet等主流深度学习框架。

  • Stars: ⭐️ 14.7k
  • Tags: Distributed Training TensorFlow PyTorch
  • 最后活动时间: 2026-09-17

casdoor ​

AI优先的身份认证与访问管理平台，支持MCP网关、OAuth 2.1、OIDC、SAML、LDAP等多种认证协议。

  • Stars: ⭐️ 14.4k
  • Tags: IAM MCP Gateway Authentication SSO
  • 最后活动时间: 2026-09-16

or-tools ​

Google开源的运筹学优化工具套件，提供线性规划、约束规划、车辆路径等算法，广泛应用于AI优化问题。

  • Stars: ⭐️ 14.1k
  • Tags: optimization linear-programming operations-research
  • 最后活动时间: 2026-09-17

tvm ​

开源机器学习编译器框架，支持跨平台GPU加速和深度学习模型优化部署。

  • Stars: ⭐️ 13.8k
  • Tags: machine-learning compiler deep-learning gpu tensor
  • 最后活动时间: 2026-09-17

gateway ​

高性能AI网关，统一接入200+大语言模型和50+AI防护栏，提供单一API接口实现智能路由与安全管控。

  • Stars: ⭐️ 13.0k
  • Tags: AI-Gateway LLM Guardrails
  • 最后活动时间: 2026-05-25

FreeToken ​

将数据中心级模型服务带到桌面的工具，支持在本地高效运行大型模型。针对边缘计算优化，提供快速便捷的推理体验。

  • Stars: ⭐️ 13.0k
  • Tags: model-serving edge-ai inference local-deployment
  • 最后活动时间: 2026-09-16

claude-relay-service ​

一站式AI API中转服务，支持Claude、OpenAI、Gemini等多平台统一接入，降低使用成本。

  • Stars: ⭐️ 12.6k
  • Tags: API Relay Multi-Model Claude
  • 最后活动时间: 2026-09-17

z3 ​

微软开发的高性能定理证明器，广泛应用于形式验证、软件分析和安全领域。

  • Stars: ⭐️ 12.5k
  • Tags: theorem-prover smt-solver formal-verification constraint-solving
  • 最后活动时间: 2026-08-11

OpenLLM ​

开源大语言模型运行平台，支持将主流模型部署为OpenAI兼容的API端点，提供云端部署和服务管理的一站式解决方案。

  • Stars: ⭐️ 12.5k
  • Tags: LLM Inference OpenAI-Compatible
  • 最后活动时间: 2026-09-14

bisheng ​

开源企业级LLM DevOps平台，提供GenAI工作流、RAG、Agent、模型管理与微调等全方位功能。

  • Stars: ⭐️ 12.0k
  • Tags: LLM平台 RAG Agent 工作流
  • 最后活动时间: 2026-09-17

LMCache ​

为LLM提供极速KV缓存层，显著提升推理速度和吞吐量。支持vLLM、PyTorch等主流框架，兼容CUDA和ROCm。

  • Stars: ⭐️ 11.8k
  • Tags: KV Cache LLM Inference vLLM
  • 最后活动时间: 2026-09-17

tensorzero ​

开源工业级LLM应用技术栈，集成LLM网关、可观测性、优化和评估功能，为生产级AI应用提供完整基础设施。

  • Stars: ⭐️ 11.7k
  • Tags: LLMOps LLM-Gateway Observability
  • 最后活动时间: 2026-06-11

wandb ​

AI开发者平台，提供模型训练跟踪、超参数调优和模型版本管理，从实验到生产的全流程MLOps解决方案。

  • Stars: ⭐️ 11.3k
  • Tags: MLOps Experiment Tracking Model Management
  • 最后活动时间: 2026-09-17

needle ​

仅26M参数的函数调用模型，专为超小型设备设计的端侧AI解决方案。

  • Stars: ⭐️ 11.1k
  • Tags: llm on-device-ai edge-ai small-model
  • 最后活动时间: 2026-09-16

kedro ​

生产级数据科学工具箱，采用软件工程最佳实践构建可复现、可维护的机器学习流水线。

  • Stars: ⭐️ 11.0k
  • Tags: MLOps 流水线 机器学习 Python
  • 最后活动时间: 2026-09-16

triton-inference-server ​

NVIDIA开源的云端和边缘推理服务器，提供优化的AI模型部署解决方案。

  • Stars: ⭐️ 11.0k
  • Tags: inference deep-learning gpu model-serving
  • 最后活动时间: 2026-09-17

presidio ​

微软开源的数据隐私保护框架，用于检测、脱敏和匿名化文本、图像及结构化数据中的敏感信息（PII）。支持NLP、模式匹配和自定义管道，为AI应用提供数据安全护栏。

  • Stars: ⭐️ 10.9k
  • Tags: data-anonymization data-masking pii-detection nlp privacy guardrails
  • 最后活动时间: 2026-09-17

text-generation-inference ​

HuggingFace官方推出的大语言模型生产级推理框架，支持BLOOM、Falcon等主流模型的高效部署，提供张量并行和流式输出等高级特性。

  • Stars: ⭐️ 10.9k
  • Tags: LLM Inference Deployment
  • 最后活动时间: 2026-03-21

openvino ​

Intel开源的AI推理优化工具包，支持跨平台高性能部署计算机视觉、NLP和生成式AI模型。

  • Stars: ⭐️ 10.9k
  • Tags: 模型推理 优化部署 Intel
  • 最后活动时间: 2026-09-17

mistral-inference ​

Mistral AI官方推理库，提供高效的大模型推理能力支持。

  • Stars: ⭐️ 10.8k
  • Tags: LLM Inference Mistral Model Serving
  • 最后活动时间: 2026-06-16

WasmEdge ​

轻量级高性能WebAssembly运行时，专为云原生、边缘计算和去中心化应用设计。支持AI模型推理、无服务器函数和微服务部署。

  • Stars: ⭐️ 10.8k
  • Tags: WebAssembly Runtime Edge AI Serverless
  • 最后活动时间: 2026-09-17

yolov3 ​

YOLOv3目标检测模型的PyTorch实现，支持导出至ONNX、CoreML、TFLite等多种格式，便于跨平台部署。

  • Stars: ⭐️ 10.6k
  • Tags: Object Detection YOLO PyTorch
  • 最后活动时间: 2026-09-10

runanywhere-sdks ​

生产级本地 AI 运行工具包，支持 Android、iOS、Web 多平台部署，集成 LLM、多模态、语音 AI 等端侧推理能力。

  • Stars: ⭐️ 10.3k
  • Tags: On-Device AI Cross-Platform Edge AI
  • 最后活动时间: 2026-09-11

metaflow ​

Netflix开源的ML基础设施框架，支持分布式训练、LLM工作流和多云部署，提供完整的MLOps解决方案。

  • Stars: ⭐️ 10.3k
  • Tags: MLOps 分布式训练 LLM工作流
  • 最后活动时间: 2026-09-14

PySyft ​

隐私优先的机器学习框架，支持联邦学习和安全多方计算，让数据在不出服务器的情况下完成模型训练。

  • Stars: ⭐️ 10.0k
  • Tags: Federated Learning Privacy PyTorch
  • 最后活动时间: 2026-09-17

pytorch3d ​

FAIR官方3D深度学习库，提供可复用的3D数据处理组件和渲染功能。

  • Stars: ⭐️ 10.0k
  • Tags: pytorch 3d-deep-learning point-cloud rendering
  • 最后活动时间: 2026-09-15

PowerInfer ​

面向本地部署的高速大语言模型推理引擎，显著提升本地LLM服务性能。

  • Stars: ⭐️ 9.8k
  • Tags: LLM推理 本地部署 高性能
  • 最后活动时间: 2026-05-11

inference ​

一行代码替换GPT为任意大语言模型，支持云端、本地和多模态模型推理。

  • Stars: ⭐️ 9.6k
  • Tags: LLM推理 模型部署 OpenAI兼容
  • 最后活动时间: 2026-09-17

cog ​

将机器学习模型打包成标准化容器的工具，支持CUDA和主流框架，简化AI模型的生产部署流程。

  • Stars: ⭐️ 9.5k
  • Tags: ML Ops Docker Model Deployment
  • 最后活动时间: 2026-09-16

higress ​

AI原生API网关，专为AI应用设计，支持云原生架构和Envoy代理，提供高效的AI模型服务路由与管理能力。

  • Stars: ⭐️ 9.4k
  • Tags: ai-gateway api-gateway cloud-native envoy
  • 最后活动时间: 2026-09-11

modelscope ​

阿里达摩院开源的模型即服务平台，提供丰富预训练模型库和Python SDK，覆盖CV、NLP、多模态等领域。

  • Stars: ⭐️ 9.1k
  • Tags: Model-as-a-Service Multi-modal Deep Learning
  • 最后活动时间: 2026-09-16

BentoML ​

一站式AI模型服务化平台，轻松构建推理API和LLM应用，支持生产级多模型管道部署。

  • Stars: ⭐️ 8.8k
  • Tags: 模型服务 MLOps LLM推理
  • 最后活动时间: 2026-09-07

llrt ​

LLRT（低延迟运行时）是一个实验性的轻量级 JavaScript 运行时，专为快速高效的 Serverless 应用设计。它能显著提升 AI 模型部署和云端调用的响应速度。

  • Stars: ⭐️ 8.8k
  • Tags: javascript runtime serverless ai-infrastructure
  • 最后活动时间: 2026-09-14

vowpal_wabbit ​

微软开源的高性能机器学习系统，支持在线学习、强化学习、主动学习等多种前沿ML技术，适合大规模工业级应用场景。

  • Stars: ⭐️ 8.7k
  • Tags: machine-learning online-learning reinforcement-learning active-learning
  • 最后活动时间: 2026-09-14

rocketride-server ​

高性能AI流水线引擎，采用C++核心与50+可扩展节点，支持多模型提供商和向量数据库的LLM工作流构建。

  • Stars: ⭐️ 8.5k
  • Tags: Pipeline Agent LLM C++
  • 最后活动时间: 2026-09-17

monty ​

用 Rust 编写的最小化安全 Python 解释器，专为 AI 代理代码执行设计。

  • Stars: ⭐️ 8.2k
  • Tags: python-interpreter rust ai-sandbox code-execution
  • 最后活动时间: 2026-09-16

bifrost ​

高性能企业级AI网关，比LiteLLM快50倍，支持1000+模型、自适应负载均衡和护栏功能。

  • Stars: ⭐️ 8.1k
  • Tags: ai-gateway load-balancing guardrails
  • 最后活动时间: 2026-09-17

nexa-sdk ​

跨平台AI推理SDK，支持在GPU、NPU、CPU上运行前沿LLM和VLM模型，覆盖PC、移动端和Linux/IoT设备。

  • Stars: ⭐️ 8.1k
  • Tags: llm vlm sdk on-device-ai inference
  • 最后活动时间: 2026-06-25

dynamo ​

数据中心级分布式推理服务框架，专为大规模AI模型部署优化。

  • Stars: ⭐️ 8.1k
  • Tags: Distributed Inference Datacenter Model Serving
  • 最后活动时间: 2026-09-17

lmdeploy ​

高效的大语言模型压缩、部署和服务化工具包，支持多种主流LLM的推理加速与量化部署。

  • Stars: ⭐️ 8.1k
  • Tags: LLM推理 模型部署 量化压缩
  • 最后活动时间: 2026-09-16

qiskit ​

IBM开源量子计算SDK，支持量子电路、算子和原语级别的编程，为量子机器学习提供基础。

  • Stars: ⭐️ 7.8k
  • Tags: qiskit quantum-computing quantum-circuit sdk python
  • 最后活动时间: 2026-09-17

mistral.rs ​

基于Rust的高性能LLM推理引擎，提供快速灵活的大语言模型部署能力。

  • Stars: ⭐️ 7.7k
  • Tags: LLM Inference Rust
  • 最后活动时间: 2026-09-08

autograd ​

高效计算NumPy代码导数的自动微分库，是深度学习和神经网络反向传播的基石。它为JAX等现代框架奠定了基础，能轻松实现复杂函数的梯度求解。

  • Stars: ⭐️ 7.5k
  • Tags: autograd automatic-differentiation deep-learning numpy neural-network
  • 最后活动时间: 2026-09-15

manifest ​

智能LLM路由方案，通过智能调度降低高达70%的API调用成本，支持可观测性监控。

  • Stars: ⭐️ 7.5k
  • Tags: LLM Router Cost Optimization Observability
  • 最后活动时间: 2026-09-08

flyte ​

动态弹性的AI工作流编排平台，用于协调数据、模型和计算资源，支持Kubernetes原生部署和LLM工作流管理。

  • Stars: ⭐️ 7.5k
  • Tags: Orchestration MLOps Kubernetes
  • 最后活动时间: 2026-09-17

h2o-3 ​

开源分布式机器学习平台，支持多种算法和AutoML自动建模功能，可扩展处理大规模数据。

  • Stars: ⭐️ 7.5k
  • Tags: 机器学习 AutoML 分布式计算
  • 最后活动时间: 2026-09-08

openllmetry ​

基于OpenTelemetry的GenAI/LLM应用可观测性开源方案，提供全面的监控和追踪能力。

  • Stars: ⭐️ 7.4k
  • Tags: Observability OpenTelemetry Monitoring
  • 最后活动时间: 2026-09-16

guardrails ​

为大语言模型添加安全护栏的框架，确保AI输出符合规范与安全要求。

  • Stars: ⭐️ 7.4k
  • Tags: LLM Safety Guardrails AI Security
  • 最后活动时间: 2026-09-13

flax ​

基于JAX的神经网络库，专为灵活性和高性能深度学习研究设计。

  • Stars: ⭐️ 7.3k
  • Tags: jax flax neural-network deep-learning
  • 最后活动时间: 2026-09-16

tensorboard ​

TensorFlow官方可视化工具包，用于机器学习模型训练监控与分析。

  • Stars: ⭐️ 7.2k
  • Tags: tensorflow visualization machine-learning deep-learning
  • 最后活动时间: 2026-08-24

plano ​

面向智能体应用的AI原生代理和数据平面，内置编排、安全、可观测性和智能LLM路由功能。

  • Stars: ⭐️ 7.1k
  • Tags: ai-gateway llm-routing proxy
  • 最后活动时间: 2026-08-19

gemma.cpp ​

Google官方推出的轻量级C++推理引擎，专为Gemma大模型设计，支持本地高效部署和推理。

  • Stars: ⭐️ 7.0k
  • Tags: inference-engine gemma cpp llm local-deployment
  • 最后活动时间: 2026-09-16

DeepSpec ​

用于训练和评估投机解码算法的全栈代码库，旨在加速大语言模型推理。

  • Stars: ⭐️ 6.9k
  • Tags: speculative-decoding llm-inference codebase
  • 最后活动时间: 2026-07-09

clearml ​

一站式 MLOps/LLMOps 平台，提供实验管理、数据管理、流水线编排和模型服务。

  • Stars: ⭐️ 6.9k
  • Tags: mlops machine-learning deep-learning experiment-management
  • 最后活动时间: 2026-09-14

vllm-omni ​

面向全模态模型的高效推理框架，支持图像、视频、音频等多模态内容的生成与服务。

  • Stars: ⭐️ 6.8k
  • Tags: Inference Multimodal Model Serving
  • 最后活动时间: 2026-09-17

gpt-load ​

支持多渠道的AI代理服务，具备智能密钥轮询功能，轻松管理OpenAI、Claude、Gemini等多个AI提供商。

  • Stars: ⭐️ 6.8k
  • Tags: AI代理 密钥管理 多渠道
  • 最后活动时间: 2026-09-17

angel ​

腾讯开源的大规模机器学习参数服务器，支持高维模型训练和在线学习，与Spark生态深度集成。

  • Stars: ⭐️ 6.8k
  • Tags: machine-learning parameter-server distributed-systems scala
  • 最后活动时间: 2026-09-11

greptimedb ​

开源可观测性数据库，统一存储指标、日志和追踪数据，支持AI/LLM监控场景。

  • Stars: ⭐️ 6.7k
  • Tags: Observability Database LLM Monitoring OpenTelemetry
  • 最后活动时间: 2026-09-17

zeppelin ​

基于 Web 的数据科学笔记本，支持 SQL、Scala、Spark 等多种语言，适用于大数据分析和 ML 工作流。

  • Stars: ⭐️ 6.7k
  • Tags: notebook big-data spark data-analytics visualization
  • 最后活动时间: 2026-09-16

whichllm ​

根据你的硬件配置找到最适合运行的本地LLM模型，基于真实基准测试排名，一键运行。

  • Stars: ⭐️ 6.7k
  • Tags: local-llm benchmarks ollama gpu
  • 最后活动时间: 2026-09-14

ClawRouter ​

面向AI智能体原生的LLM路由器，支持41+模型且路由延迟低于1ms，集成USDC微支付功能。

  • Stars: ⭐️ 6.6k
  • Tags: LLM路由 AI Agents 微支付
  • 最后活动时间: 2026-09-16

Mooncake ​

Moonshot AI开源的LLM推理服务平台，支持KVCache分离架构，为Kimi提供高性能推理服务。

  • Stars: ⭐️ 6.6k
  • Tags: 模型推理 KVCache RDMA
  • 最后活动时间: 2026-09-17

ODS ​

将PC或Mac转变为本地AI服务器，支持LLM推理、聊天UI、语音、RAG及图像生成。提供开箱即用的自托管AI解决方案。

  • Stars: ⭐️ 6.5k
  • Tags: ai-server llm local-ai rag self-hosted
  • 最后活动时间: 2026-09-17

RWKV-Runner ​

仅8MB的RWKV模型管理启动工具，提供兼容OpenAI API接口，支持本地快速部署大模型。

  • Stars: ⭐️ 6.5k
  • Tags: RWKV LLM OpenAI-API 本地部署
  • 最后活动时间: 2026-09-04

LiteRT-LM ​

Google开源的高性能推理框架，专为在边缘设备上部署大语言模型而设计。它提供了生产就绪的端侧AI解决方案。

  • Stars: ⭐️ 6.5k
  • Tags: llm edge-ai on-device inference
  • 最后活动时间: 2026-09-17

TensorFlow Serving ​

TensorFlow官方高性能模型服务系统，支持模型版本管理和多模型并行部署，专为生产环境设计。

  • Stars: ⭐️ 6.4k
  • Tags: TensorFlow 模型部署 生产环境
  • 最后活动时间: 2026-09-16

camel ​

Apache Camel 是一个开源集成框架，提供350+连接器，支持通过Java、YAML或XML编写路由。它能够与Spring Boot、Quarkus等集成，并支持MCP协议，适合构建云原生微服务和AI数据集成管道。

  • Stars: ⭐️ 6.3k
  • Tags: integration microservices mcp kafka spring-boot
  • 最后活动时间: 2026-09-17

helicone ​

开源LLM可观测性平台，一行代码即可实现AI应用的监控、评估和实验管理。

  • Stars: ⭐️ 6.2k
  • Tags: LLMOps Observability Monitoring OpenAI
  • 最后活动时间: 2026-09-16

kserve ​

CNCF旗下标准化AI模型推理平台，支持在Kubernetes上部署生成式和预测式AI模型，提供企业级模型服务解决方案。

  • Stars: ⭐️ 5.9k
  • Tags: Kubernetes Model-Serving LLM-Inference
  • 最后活动时间: 2026-09-16

shimmy ​

基于Rust的高性能推理服务器，兼容OpenAI API，支持GGUF和SafeTensors格式，单二进制部署，支持热模型切换。

  • Stars: ⭐️ 5.9k
  • Tags: inference-server gguf openai-compatible rust llm-inference
  • 最后活动时间: 2026-08-30

semantic-router ​

系统级智能路由器，支持云端、数据中心和边缘场景的混合模型路由，集成语义分类、PII检测和提示词防护功能。

  • Stars: ⭐️ 5.9k
  • Tags: LLM路由 AI网关 Kubernetes
  • 最后活动时间: 2026-09-17

Daft ​

高性能AI数据引擎，支持图像、音频、视频和结构化数据的大规模处理，专为AI和多模态工作负载优化。

  • Stars: ⭐️ 5.8k
  • Tags: Data Engine Multimodal Distributed Computing
  • 最后活动时间: 2026-09-16

nuclio ​

高性能无服务器事件和数据处理平台，常用于AI模型实时推理和数据处理流水线。

  • Stars: ⭐️ 5.8k
  • Tags: serverless faas kubernetes model-serving real-time-inference
  • 最后活动时间: 2026-09-17

lemonade ​

本地AI应用发现与运行平台，支持GPU/NPU优化的LLM本地部署。

  • Stars: ⭐️ 5.7k
  • Tags: Local LLM GPU MCP Server
  • 最后活动时间: 2026-09-17

kgateway ​

云原生API网关和AI网关，支持Kubernetes环境下的微服务和AI模型流量管理。

  • Stars: ⭐️ 5.7k
  • Tags: api-gateway ai-gateway kubernetes envoy
  • 最后活动时间: 2026-09-17

llama-swap ​

为本地LLM服务器提供可靠的模型切换能力，兼容OpenAI/Anthropic API格式。

  • Stars: ⭐️ 5.7k
  • Tags: Model Swapping llama.cpp vLLM
  • 最后活动时间: 2026-09-17

rlm ​

递归语言模型的通用推理库，支持多种沙箱环境，即插即用。

  • Stars: ⭐️ 5.6k
  • Tags: inference language-models rlm
  • 最后活动时间: 2026-08-26

zenml ​

开源MLOps平台，用于构建可生产的机器学习管道和AI代理工作流，支持从实验到生产的全生命周期管理。

  • Stars: ⭐️ 5.6k
  • Tags: MLOps Pipeline LLMOps
  • 最后活动时间: 2026-09-17

dflash ​

结合块扩散与投机解码的加速方案，旨在大幅提升大语言模型的推理速度。

  • Stars: ⭐️ 5.6k
  • Tags: speculative-decoding block-diffusion llm-inference
  • 最后活动时间: 2026-05-10

composer ​

MosaicML推出的模型训练加速库，提供高效的深度学习训练优化方案。

  • Stars: ⭐️ 5.5k
  • Tags: deep-learning pytorch ml-training
  • 最后活动时间: 2026-04-29

genai-stack ​

生成式AI技术栈，集成LangChain、Docker、Neo4j和Ollama，快速部署AI应用。

  • Stars: ⭐️ 5.4k
  • Tags: langchain ollama neo4j docker genai
  • 最后活动时间: 2026-09-03

RLinf ​

面向具身智能和智能体AI的强化学习基础设施框架，支持VLA-RL等前沿研究方向。

  • Stars: ⭐️ 5.3k
  • Tags: reinforcement-learning embodied-ai agentic-ai infrastructure
  • 最后活动时间: 2026-09-16

SynapseML ​

微软开源的分布式机器学习库，基于Apache Spark构建，支持深度学习、模型部署和认知服务集成。

  • Stars: ⭐️ 5.2k
  • Tags: Machine Learning Apache Spark Deep Learning Model Deployment
  • 最后活动时间: 2026-09-17

axonhub ​

开源AI网关，支持100+大语言模型，内置故障转移、负载均衡、成本控制和端到端追踪功能。

  • Stars: ⭐️ 5.2k
  • Tags: AI Gateway LLM 负载均衡
  • 最后活动时间: 2026-09-17

AgnesAI-Models ​

官方 Agnes AI 网关和模型目录，提供兼容 OpenAI 的文本、图像、视频和智能体工作流服务。

  • Stars: ⭐️ 5.1k
  • Tags: ai-api gateway multimodal-ai free-api
  • 最后活动时间: 2026-08-18

aibrix ​

面向GenAI推理的高性价比可插拔基础设施组件。

  • Stars: ⭐️ 5.1k
  • Tags: llm-inference infrastructure genai model-serving
  • 最后活动时间: 2026-09-16

mini-sglang ​

SGLang的精简实现版本，帮助开发者深入理解现代LLM服务系统的核心原理与架构设计。

  • Stars: ⭐️ 5.1k
  • Tags: LLM Serving Educational
  • 最后活动时间: 2026-05-17

arcbox ​

基于Rust和OCI兼容的轻量级微型虚拟机，能在真实且隔离的机器上以极快速度启动AI智能体。

  • Stars: ⭐️ 5.1k
  • Tags: ai-agents microvm sandbox rust docker
  • 最后活动时间: 2026-09-14

fastllm ​

后端无依赖的高性能大模型推理库，支持张量并行与 MOE 混合推理，单张 10G 以上显卡即可部署满血 DeepSeek。

  • Stars: ⭐️ 5.1k
  • Tags: llm inference deepseek moe cpp
  • 最后活动时间: 2026-09-15

text-embeddings-inference ​

HuggingFace出品的高性能文本嵌入模型推理解决方案，支持大规模向量检索场景。

  • Stars: ⭐️ 5.1k
  • Tags: 嵌入模型 高性能推理 HuggingFace
  • 最后活动时间: 2026-09-15

pgrust ​

使用 Rust 重写的 Postgres 数据库，已通过 100% 的 Postgres 回归测试。该项目展示了 AI 辅助开发在复杂系统重写中的强大潜力。

  • Stars: ⭐️ 5.0k
  • Tags: rust postgres database ai-assisted-development
  • 最后活动时间: 2026-09-15

experiential ​

开源模型网关，为闭源、开源、本地及自定义模型提供统一的控制平面，大幅简化多模型的接入与管理。适合需要灵活切换和编排多种大模型服务的团队。

  • Stars: ⭐️ 5.0k
  • Tags: LLM Model Gateway Model Serving Open Source AI Infrastructure
  • 最后活动时间: 2026-09-17

pomerium ​

身份感知访问代理，内置AI网关功能，支持零信任架构的安全AI模型访问管理与流量控制。

  • Stars: ⭐️ 5.0k
  • Tags: aigateway zero-trust identity-aware-proxy gateway
  • 最后活动时间: 2026-09-17

agentgateway ​

新一代AI代理网关，支持MCP服务器和AI代理的代理与路由。

  • Stars: ⭐️ 4.9k
  • Tags: ai-gateway mcp agents kubernetes rust
  • 最后活动时间: 2026-09-17

seldon-core ​

Kubernetes 原生 MLOps 框架，支持大规模机器学习模型的打包、部署、监控和管理。

  • Stars: ⭐️ 4.8k
  • Tags: mlops kubernetes model-serving machine-learning
  • 最后活动时间: 2026-03-23

CTranslate2 ​

高效的Transformer模型推理引擎，支持量化优化和多平台加速，专为生产环境设计。

  • Stars: ⭐️ 4.7k
  • Tags: 推理引擎 量化 优化
  • 最后活动时间: 2026-08-31

PINTO_model_zoo ​

海量预训练模型库，支持TensorFlow、PyTorch、ONNX等主流框架格式互转，覆盖边缘部署全场景。

  • Stars: ⭐️ 4.6k
  • Tags: Model Conversion Edge Deployment ONNX
  • 最后活动时间: 2026-09-05

llm-d ​

专注于在Kubernetes上实现大语言模型高性能推理的部署框架，支持现代加速器以达成业界领先的推理性能。

  • Stars: ⭐️ 4.6k
  • Tags: Kubernetes LLM Inference High Performance
  • 最后活动时间: 2026-09-17

logfire ​

专为生产环境 LLM 和智能体系统设计的可观测性平台，基于 OpenTelemetry 标准提供日志、指标和追踪功能。

  • Stars: ⭐️ 4.5k
  • Tags: Observability LLM OpenTelemetry Monitoring
  • 最后活动时间: 2026-09-17

LMOps ​

支持LLM和多模态大模型AI能力落地的通用技术框架，涵盖提示工程与预训练优化。

  • Stars: ⭐️ 4.5k
  • Tags: LLM运维 多模态 提示工程
  • 最后活动时间: 2026-09-15

FastVideo ​

统一的视频生成推理与后训练加速框架，支持扩散模型蒸馏和高效推理优化。

  • Stars: ⭐️ 4.4k
  • Tags: 视频生成 推理加速 扩散模型
  • 最后活动时间: 2026-09-17

lite.ai.toolkit ​

轻量级C++ AI推理工具箱，支持多种后端，内置100+模型包括目标检测、分割、Stable Diffusion等功能。

  • Stars: ⭐️ 4.4k
  • Tags: C++ ONNX TensorRT YOLO
  • 最后活动时间: 2026-09-05

open_model_zoo ​

OpenVINO 预训练深度学习模型库，提供高质量、极快推理的各类 AI 模型，支持 PyTorch、TensorFlow、ONNX 等格式。

  • Stars: ⭐️ 4.4k
  • Tags: deep-learning model-zoo openvino pretrained-models inference
  • 最后活动时间: 2026-09-08

router ​

面向智能体系统的模型路由器,可在50毫秒内将每个提示词智能路由到最合适的模型,仅需更改端点即可节省40-70%的成本。兼容OpenAI接口,无缝支持Claude、Codex等主流模型。

  • Stars: ⭐️ 4.4k
  • Tags: ModelRouter AIGateway OpenAICompatible LLM AgenticAI ClaudeCode
  • 最后活动时间: 2026-09-17

mcpo ​

简单安全的MCP到OpenAPI代理服务器，实现AI模型协议的无缝转换与对接。

  • Stars: ⭐️ 4.4k
  • Tags: MCP Proxy OpenAPI
  • 最后活动时间: 2026-05-17

LightLLM ​

轻量级高性能LLM推理服务框架，基于Titon实现，支持灵活扩展和高吞吐量部署。

  • Stars: ⭐️ 4.3k
  • Tags: Inference Serving Triton
  • 最后活动时间: 2026-09-17

archestra ​

企业级AI平台，提供安全护栏、MCP注册中心、网关和编排器，适用于生产环境。

  • Stars: ⭐️ 4.3k
  • Tags: MCP Agent Enterprise Kubernetes
  • 最后活动时间: 2026-09-17

optillm ​

LLM推理优化代理服务器，支持Chain-of-Thought、MoE、MCTS等优化策略，提升模型推理效率。

  • Stars: ⭐️ 4.3k
  • Tags: LLM Inference Optimization Proxy
  • 最后活动时间: 2026-09-17

Cli-Proxy-API-Management-Center ​

基于 CLI-Proxy-API 的 WebUI 管理中心，用于简化 AI 模型代理的配置修改与运行状态监控。

  • Stars: ⭐️ 4.2k
  • Tags: llm-proxy webui api-gateway ai
  • 最后活动时间: 2026-09-16

GenerativeAIExamples ​

NVIDIA官方生成式AI参考工作流，针对GPU加速基础设施和微服务架构优化。企业级部署最佳实践。

  • Stars: ⭐️ 4.2k
  • Tags: GPU Acceleration Microservices LLM Inference
  • 最后活动时间: 2026-09-09

nono ​

零配置、零延迟的AI智能体沙箱工具，提供基于零信任和Sigstore的供应链安全隔离。

  • Stars: ⭐️ 4.1k
  • Tags: agent-sandbox ai-security mcp code-execution zero-trust
  • 最后活动时间: 2026-09-16

csghub ​

开源的LLM资产管理平台，类似Hugging Face的国产替代方案。支持模型、数据集、Agent的全生命周期管理，兼容HF SDK。

  • Stars: ⭐️ 4.1k
  • Tags: LLM平台 模型管理 开源
  • 最后活动时间: 2026-09-11

flash-moe ​

一种混合专家模型推理方案，旨在让普通小型笔记本电脑也能运行大模型。

  • Stars: ⭐️ 4.0k
  • Tags: moe llm inference edge-ai
  • 最后活动时间: 2026-03-19

ccx ​

Claude、Codex和Gemini API的统一代理服务，简化多模型API调用。

  • Stars: ⭐️ 4.0k
  • Tags: claude gemini api-proxy llm
  • 最后活动时间: 2026-09-17

antigravity-claude-proxy ​

代理工具，将Antigravity提供的Claude和Gemini模型暴露为标准API，支持Claude Code和OpenClaw使用。

  • Stars: ⭐️ 4.0k
  • Tags: Claude Gemini Proxy
  • 最后活动时间: 2026-09-06

LitServe ​

轻量级Python AI推理服务框架，支持自定义逻辑、批处理和弹性扩展。

  • Stars: ⭐️ 3.9k
  • Tags: model-serving inference api fastapi
  • 最后活动时间: 2026-09-14

iree ​

基于MLIR的机器学习编译器和运行时工具包，支持跨平台部署TensorFlow、PyTorch、JAX等模型。

  • Stars: ⭐️ 3.9k
  • Tags: MLIR Compiler Cross-Platform
  • 最后活动时间: 2026-09-16

maestro ​

Netflix开源的工作流编排器，支持机器学习流水线、MLOps和智能体工作流的自动化调度与管理。

  • Stars: ⭐️ 3.8k
  • Tags: Workflow MLOps Orchestration Data Pipelines
  • 最后活动时间: 2026-09-16

lorax ​

多LoRA推理服务器，单GPU高效服务数千个微调模型，大幅降低部署成本。

  • Stars: ⭐️ 3.8k
  • Tags: LoRA LLM推理 模型服务
  • 最后活动时间: 2026-05-28

Model-Optimizer ​

统一的模型优化库，集成量化、剪枝、蒸馏、投机解码等SOTA技术，支持TensorRT-LLM、vLLM等部署框架，显著提升推理速度。

  • Stars: ⭐️ 3.8k
  • Tags: Model Optimization Quantization Inference
  • 最后活动时间: 2026-09-17

atmosphere ​

JVM 平台的传输无关实时框架，支持 WebSocket、SSE、MCP 等多种协议的统一 API。

  • Stars: ⭐️ 3.8k
  • Tags: mcp websocket java spring-boot real-time
  • 最后活动时间: 2026-09-14

local-ai-packaged ​

一站式本地AI运行包，整合Ollama、Supabase、n8n、Open WebUI等工具，轻松部署私有AI环境。

  • Stars: ⭐️ 3.8k
  • Tags: local-ai ollama docker self-hosted ai-tools
  • 最后活动时间: 2026-05-25

router ​

面向智能体系统的模型路由器，能在50ms内将请求路由至最合适的模型并大幅降低成本。

  • Stars: ⭐️ 3.8k
  • Tags: model-router ai-gateway agentic-coding openai-compatible
  • 最后活动时间: 2026-09-04

Rapid-MLX ​

Apple Silicon上最快的本地AI推理引擎，比Ollama快4.2倍，支持工具调用和OpenAI API替换。

  • Stars: ⭐️ 3.8k
  • Tags: mlx llm-inference apple-silicon openai-api tool-calling local-llm
  • 最后活动时间: 2026-09-17

vidgear ​

高性能跨平台视频处理Python框架，支持实时流媒体、视频稳定和多线程处理。

  • Stars: ⭐️ 3.7k
  • Tags: video-processing streaming opencv ffmpeg
  • 最后活动时间: 2026-05-18

FastDeploy ​

基于PaddlePaddle的高性能LLM/VLM推理部署工具包，提供高效的模型服务化能力。

  • Stars: ⭐️ 3.7k
  • Tags: LLM Serving Inference Deployment PaddlePaddle
  • 最后活动时间: 2026-08-26

TurboDiffusion ​

为视频扩散模型提供100至200倍加速的推理框架，结合了稀疏线性注意力等技术。

  • Stars: ⭐️ 3.7k
  • Tags: diffusion video-generation inference-acceleration mlsystem
  • 最后活动时间: 2026-08-27

openai-gemini ​

无服务器代理，将Gemini API转换为OpenAI兼容格式，方便开发者统一调用。

  • Stars: ⭐️ 3.6k
  • Tags: Gemini OpenAI Proxy Serverless
  • 最后活动时间: 2026-03-17

timely-dataflow ​

Rust实现的模块化数据流处理框架，支持分布式计算和迭代算法，可用于机器学习数据管道和实时数据处理。

  • Stars: ⭐️ 3.6k
  • Tags: dataflow distributed-systems stream-processing rust
  • 最后活动时间: 2026-09-14

singa ​

一个分布式深度学习平台，支持大规模模型训练与推理的高效部署。

  • Stars: ⭐️ 3.6k
  • Tags: deep-learning distributed machine-learning
  • 最后活动时间: 2026-09-02

GraphScope ​

阿里巴巴开源的一站式大规模图计算系统，集成图分析、图计算和图神经网络能力，支持Gremlin查询语言。

  • Stars: ⭐️ 3.6k
  • Tags: Graph Computing Graph Neural Networks Big Data
  • 最后活动时间: 2026-09-04

hummingbird ​

将训练好的ML模型编译为张量计算以加速推理。支持PyTorch和scikit-learn模型的高效部署。

  • Stars: ⭐️ 3.5k
  • Tags: Model Optimization Inference PyTorch
  • 最后活动时间: 2026-09-14

unitycatalog ​

开源多模态数据与AI目录管理平台，统一管理企业AI资产。

  • Stars: ⭐️ 3.5k
  • Tags: catalog data-management ai-governance multi-modal enterprise
  • 最后活动时间: 2026-09-14

mesh-llm ​

基于llama.cpp的分布式LLM推理框架，支持跨机器协同推理，提供完整的端到端演示。

  • Stars: ⭐️ 3.4k
  • Tags: llm distributed-inference llama.cpp
  • 最后活动时间: 2026-09-17

LiteRT ​

Google端侧AI框架，TensorFlow Lite继任者，支持边缘平台高性能ML与GenAI部署。

  • Stars: ⭐️ 3.4k
  • Tags: edge-ai on-device-ml tensorflow-lite model-deployment
  • 最后活动时间: 2026-09-17

catalyst ​

加速深度学习研发的PyTorch框架，支持分布式训练、模型部署与实验管理。

  • Stars: ⭐️ 3.4k
  • Tags: PyTorch Deep Learning R&D
  • 最后活动时间: 2026-07-08

claude-code-hub ​

Claude Code与Codex API代理服务，提供智能负载均衡、用户管理和使用统计。

  • Stars: ⭐️ 3.4k
  • Tags: Claude API Proxy Load Balancing
  • 最后活动时间: 2026-09-11

sail ​

LakeSail推出的统一计算框架，将批处理、流处理和AI计算密集型工作负载整合在一起，基于Rust和Apache Arrow构建。

  • Stars: ⭐️ 3.4k
  • Tags: artificial-intelligence machine-learning data-engineering distributed-computing
  • 最后活动时间: 2026-09-16

deep-prove ​

极速证明ML模型推理的框架，专注于零知识机器学习(ZKML)领域。为AI模型提供可验证推理能力。

  • Stars: ⭐️ 3.4k
  • Tags: zkml zk-snarks machine-learning ai-inference
  • 最后活动时间: 2026-05-31

whisper-asr-webservice ​

OpenAI Whisper语音识别的Docker化Web服务API，便于快速部署和集成。

  • Stars: ⭐️ 3.3k
  • Tags: ASR API Docker
  • 最后活动时间: 2026-08-09

docker-agent ​

AI智能体构建与运行时平台，借助Docker容器化优势，让Agent的构建、测试和生产部署更加简单高效。

  • Stars: ⭐️ 3.3k
  • Tags: Docker Runtime Deployment
  • 最后活动时间: 2026-09-16

metapi ​

AI API 聚合网关工具，将多个 AI API 服务（如 New API、One API 等）统一汇聚为单一入口，支持自动发现模型、智能路由和成本优化。

  • Stars: ⭐️ 3.3k
  • Tags: ai-api api-gateway model-routing openai-compatible
  • 最后活动时间: 2026-09-06

neo ​

AI原生应用运行时引擎，支持多线程和持久化场景图，实现智能体实时内省与动态修改。

  • Stars: ⭐️ 3.3k
  • Tags: AI Runtime Agent Framework Multi-threaded
  • 最后活动时间: 2026-09-17

lmnr ​

专为AI智能体打造的开源可观测性平台，提供全链路追踪、评估和监控能力，YC S24孵化项目。

  • Stars: ⭐️ 3.3k
  • Tags: 可观测性 LLMOps 监控
  • 最后活动时间: 2026-09-17

gemini-web2api ​

将 Google Gemini 网页版转换为 OpenAI 兼容 API 的工具，支持零认证和跨平台单文件部署。

  • Stars: ⭐️ 3.3k
  • Tags: gemini openai-api api-proxy model-serving
  • 最后活动时间: 2026-08-14

onnx-tensorrt ​

ONNX模型的TensorRT后端，实现高性能深度学习推理部署。

  • Stars: ⭐️ 3.2k
  • Tags: onnx tensorrt deep-learning nvidia inference
  • 最后活动时间: 2026-09-14

graphjin ​

自动编译器，将AI应用与数据库无缝连接，支持多种数据库后端。

  • Stars: ⭐️ 3.2k
  • Tags: database graphql sql api
  • 最后活动时间: 2026-09-15

mnemosyne ​

零依赖、亚毫秒级响应的AI记忆系统。专为Hermes等智能体设计，提供极致轻量与高效的记忆存储能力。

  • Stars: ⭐️ 3.2k
  • Tags: agents ai-memory hermes-agent ml
  • 最后活动时间: 2026-09-17

codex-lb ​

ChatGPT/Codex多账号负载均衡代理工具，支持用量追踪、仪表盘和OpenCode兼容端点。

  • Stars: ⭐️ 3.2k
  • Tags: load-balancer openai chatgpt api-proxy dashboard
  • 最后活动时间: 2026-09-17

Switchyard ​

为LLM应用提供跨模型与提供商的流量路由，保持原生OpenAI和Anthropic API兼容，支持灵活的模型选择、基准测试与成本性能优化。

  • Stars: ⭐️ 3.1k
  • Tags: llm model-routing openai-api anthropic gateway
  • 最后活动时间: 2026-09-16

opyrator ​

将机器学习代码快速转换为微服务，自动生成Web API和交互式GUI界面。

  • Stars: ⭐️ 3.1k
  • Tags: deployment fastapi machine-learning
  • 最后活动时间: 2026-09-08

cake ​

分布式推理框架，支持移动端、桌面和服务器端的AI模型推理部署。

  • Stars: ⭐️ 3.1k
  • Tags: Distributed Inference Model Serving Cross-Platform
  • 最后活动时间: 2026-04-24

spiceai ​

Rust 编写的便携式加速 SQL 查询、搜索和 LLM 推理引擎，为数据驱动的 AI 应用和智能体提供基础设施支持。

  • Stars: ⭐️ 3.1k
  • Tags: SQL LLM推理 数据联邦 Rust
  • 最后活动时间: 2026-09-17

tract ​

轻量级、自包含的TensorFlow和ONNX推理引擎，使用Rust编写，适合嵌入式和边缘部署。

  • Stars: ⭐️ 3.1k
  • Tags: Rust ONNX TensorFlow 推理引擎
  • 最后活动时间: 2026-09-17

distributed-llama ​

分布式LLM推理框架，可将多台家用设备连接成集群加速大模型推理，设备越多推理越快。

  • Stars: ⭐️ 3.1k
  • Tags: 分布式推理 集群计算 LLM
  • 最后活动时间: 2026-07-05

ramalama ​

基于容器技术的AI模型部署工具，简化本地服务和生产环境推理，支持llama.cpp、vLLM等多种引擎。

  • Stars: ⭐️ 3.0k
  • Tags: 容器化 模型部署 推理引擎
  • 最后活动时间: 2026-09-16

cc-gateway ​

AI API身份网关，作为反向代理标准化设备指纹和遥测数据，实现隐私保护的API代理服务。

  • Stars: ⭐️ 3.0k
  • Tags: api-gateway anthropic claude privacy reverse-proxy
  • 最后活动时间: 2026-04-02

algernon ​

一个轻量级的纯Go Web服务器，内置Ollama支持，可便捷部署和运行本地LLM服务。

  • Stars: ⭐️ 3.0k
  • Tags: Go Ollama Web Server LLM Serving
  • 最后活动时间: 2026-09-11

weld ​

斯坦福开源的高性能数据分析运行时，通过LLVM代码生成优化Pandas、Spark等数据框架的执行效率。

  • Stars: ⭐️ 3.0k
  • Tags: data-analytics llvm performance rust machine-learning
  • 最后活动时间: 2026-04-13

chitu ​

高性能大语言模型推理框架，专注于效率、灵活性和可用性，支持DeepSeek等主流模型的高效部署。

  • Stars: ⭐️ 3.0k
  • Tags: LLM Inference GPU Model Serving
  • 最后活动时间: 2026-09-17

TensorRT ​

NVIDIA官方的PyTorch模型编译器，利用TensorRT优化深度学习模型在GPU上的推理性能。

  • Stars: ⭐️ 3.0k
  • Tags: tensorrt deep-learning inference nvidia pytorch
  • 最后活动时间: 2026-09-17

infinity ​

高性能文本嵌入和重排序模型服务引擎，支持CLIP、CLAP和ColPali等多种模型。

  • Stars: ⭐️ 2.9k
  • Tags: Text Embeddings Model Serving Reranking
  • 最后活动时间: 2026-03-24

uvicorn-gunicorn-fastapi-docker ​

高性能FastAPI生产级Docker镜像，集成Uvicorn和Gunicorn，支持自动性能调优。

  • Stars: ⭐️ 2.9k
  • Tags: fastapi docker model-serving python asgi
  • 最后活动时间: 2026-09-11

LLMRouter ​

开源LLM路由库，智能分配请求到最适合的模型，优化成本与性能平衡。

  • Stars: ⭐️ 2.9k
  • Tags: llm routing model-selection optimization
  • 最后活动时间: 2026-09-09

supergateway ​

MCP服务器协议转换工具，支持stdio与SSE双向转换，适用于AI网关场景。

  • Stars: ⭐️ 2.8k
  • Tags: MCP AI Gateway Protocol
  • 最后活动时间: 2026-09-17

leptonai ​

Pythonic框架，简化AI服务的构建与部署流程，提供高效的模型服务化解决方案。

  • Stars: ⭐️ 2.8k
  • Tags: ai-serving deep-learning gpu python deployment
  • 最后活动时间: 2026-09-17

nnabla ​

索尼开发的深度学习框架，支持灵活的神经网络构建和高效推理部署。

  • Stars: ⭐️ 2.8k
  • Tags: deep-learning neural-network framework inference
  • 最后活动时间: 2026-07-24

openlit ​

OpenTelemetry原生AI工程平台，提供LLM可观测性、GPU监控、护栏和提示词管理等一站式解决方案。

  • Stars: ⭐️ 2.8k
  • Tags: LLM Observability OpenTelemetry AI Engineering
  • 最后活动时间: 2026-09-17

torch-points3d ​

点云深度学习PyTorch框架，支持PointNet、KPConv等主流架构和分割任务。

  • Stars: ⭐️ 2.7k
  • Tags: point-cloud pytorch deep-learning segmentation
  • 最后活动时间: 2026-08-24

secretflow ​

隐私保护数据分析与机器学习统一框架，支持联邦学习、差分隐私和安全多方计算。

  • Stars: ⭐️ 2.7k
  • Tags: privacy-preserving federated-learning differential-privacy secure-computation
  • 最后活动时间: 2026-04-24

aimet ​

高通开源的神经网络模型优化库，提供先进的量化和压缩技术，支持模型剪枝与部署优化。

  • Stars: ⭐️ 2.7k
  • Tags: quantization compression deep-learning pruning neural-network
  • 最后活动时间: 2026-09-16

neural-compressor ​

Intel 开发的 SOTA 模型压缩工具，支持 INT8/FP8/INT4 等低比特量化、稀疏化和剪枝，优化 LLM 在各种硬件上的部署效率。

  • Stars: ⭐️ 2.7k
  • Tags: Quantization LLM Model Compression Intel
  • 最后活动时间: 2026-09-16

BigDL ​

分布式深度学习框架，支持在Apache Spark/Flink和Ray上运行TensorFlow、Keras和PyTorch。

  • Stars: ⭐️ 2.7k
  • Tags: deep-learning distributed tensorflow pytorch spark
  • 最后活动时间: 2026-06-12

krakend-ce ​

高性能API网关，专为AI模型服务设计，支持GraphQL、微服务架构和云原生部署。

  • Stars: ⭐️ 2.7k
  • Tags: ai-gateway api-gateway go microservice graphql
  • 最后活动时间: 2026-09-14

metamcp ​

一体化MCP聚合网关，集成编排、中间件和代理功能，支持Docker一键部署。

  • Stars: ⭐️ 2.7k
  • Tags: MCP Gateway Orchestration
  • 最后活动时间: 2026-06-22

connector-x ​

高性能数据库到DataFrame数据加载库，支持Rust和Python，为机器学习数据管道提供极速数据读取能力。

  • Stars: ⭐️ 2.6k
  • Tags: database dataframe python rust sql
  • 最后活动时间: 2026-09-15

octopus ​

个人LLM API聚合服务，统一接入多种大语言模型。

  • Stars: ⭐️ 2.6k
  • Tags: ai ai-gateway anthropic claude openai
  • 最后活动时间: 2026-09-15

neural-compressor ​

Intel 开发的 SOTA 模型压缩工具，支持 INT8/FP8/INT4 等低比特量化、稀疏化和剪枝，优化 LLM 在各种硬件上的部署效率。

  • Stars: ⭐️ 2.6k
  • Tags: Quantization LLM Model Compression Intel
  • 最后活动时间: 2026-04-24

RedKnot ​

一种高效的LLM服务框架，通过头部感知的KV重用和SegPagedAttention技术优化长上下文推理。专注于降低大模型长文本生成的显存消耗并提升速度。

  • Stars: ⭐️ 2.6k
  • Tags: llm-serving kv-cache long-context inference-optimization
  • 最后活动时间: 2026-09-14

hamilton ​

Apache项目，帮助定义可测试、模块化的数据流，支持ML/LLM工作流编排与血缘追踪。

  • Stars: ⭐️ 2.6k
  • Tags: Dataflow MLOps ETL
  • 最后活动时间: 2026-09-13

production-stack ​

vLLM官方Kubernetes集群部署方案，提供生产级LLM推理服务部署与性能优化。

  • Stars: ⭐️ 2.6k
  • Tags: vllm kubernetes llm-serving inference production
  • 最后活动时间: 2026-09-14

faer-rs ​

Rust语言的高性能线性代数基础库，为机器学习和科学计算提供核心数学运算支持。

  • Stars: ⭐️ 2.6k
  • Tags: linear-algebra matrix rust machine-learning
  • 最后活动时间: 2026-09-06

tensorflow-onnx ​

TensorFlow、Keras、TensorFlow.js和TFLite模型转换为ONNX格式的官方工具。

  • Stars: ⭐️ 2.6k
  • Tags: onnx tensorflow keras model-conversion deep-learning
  • 最后活动时间: 2026-09-02

deepdetect ​

C++14深度学习API服务器，支持PyTorch、TensorRT、TensorFlow等多框架模型部署。

  • Stars: ⭐️ 2.6k
  • Tags: deep-learning pytorch tensorrt model-serving
  • 最后活动时间: 2026-08-28

Foundry-Local ​

微软推出的本地AI推理SDK，支持GPU加速和ONNX运行时，提供语音转文本及聊天补全能力。

  • Stars: ⭐️ 2.6k
  • Tags: ai-sdk local-ai onnx-runtime gpu-acceleration speech-to-text
  • 最后活动时间: 2026-09-17

aurora ​

免费GPT API访问服务，提供便捷的AI模型调用能力。

  • Stars: ⭐️ 2.5k
  • Tags: chatgpt gpt free-api openai
  • 最后活动时间: 2026-09-14

ort ​

Rust 语言实现的高性能 ONNX 模型推理和训练框架。

  • Stars: ⭐️ 2.5k
  • Tags: onnx inference rust machine-learning ai-training
  • 最后活动时间: 2026-09-16

AIstudioProxyAPI ​

兼容OpenAI API格式的Google AI Studio代理服务，支持参数转发和调试WebUI面板。

  • Stars: ⭐️ 2.5k
  • Tags: google-ai-studio proxy openai-api middleware
  • 最后活动时间: 2026-04-22

subnet-2 ​

基于Bittensor的去中心化可验证AI推理网络，利用零知识证明技术确保推理结果的可信度与透明性。

  • Stars: ⭐️ 2.5k
  • Tags: bittensor zkml inference blockchain
  • 最后活动时间: 2026-09-09

tensorflow-federated ​

Google开源的去中心化机器学习框架，支持在分布式数据上进行模型训练与推理。

  • Stars: ⭐️ 2.5k
  • Tags: federated-learning tensorflow decentralized-ml
  • 最后活动时间: 2026-09-17

inference ​

计算机视觉推理服务器，支持YOLO等模型在边缘设备上的部署。

  • Stars: ⭐️ 2.4k
  • Tags: computer-vision inference object-detection yolo
  • 最后活动时间: 2026-09-17

mcphub ​

MCP服务器统一管理平台，支持多服务器动态编排、灵活路由策略和端点分发。

  • Stars: ⭐️ 2.4k
  • Tags: mcp mcp-gateway mcp-router orchestration
  • 最后活动时间: 2026-09-16

metarank ​

低代码机器学习个性化排序服务，用于文章、搜索结果和推荐系统的Learn-to-Rank引擎，提升用户参与度。

  • Stars: ⭐️ 2.4k
  • Tags: Ranking Machine Learning Personalization
  • 最后活动时间: 2026-09-09

warp ​

通过直接从 NVMe 流式传输激活权重，在有限 RAM 下运行 2.78 万亿参数 Kimi K3 模型的无依赖 C 语言推理引擎。

  • Stars: ⭐️ 2.4k
  • Tags: llm-inference nvme c-engine kimi weight-streaming
  • 最后活动时间: 2026-09-16

Olive ​

微软开源的ML模型优化工具，简化模型微调、量化、转换和部署流程，支持CPU/GPU/NPU。

  • Stars: ⭐️ 2.4k
  • Tags: model-optimization quantization finetuning onnx
  • 最后活动时间: 2026-09-16

ailia-models ​

ailia SDK 的预训练模型集合，涵盖图像分类、目标检测、姿态估计等多种 SOTA 模型。

  • Stars: ⭐️ 2.4k
  • Tags: Pre-trained Models Inference Multi-task
  • 最后活动时间: 2026-09-16

langserve ​

LangChain官方部署工具，将LangChain应用快速打包为生产级REST API服务。

  • Stars: ⭐️ 2.3k
  • Tags: LangChain Deployment FastAPI LLM
  • 最后活动时间: 2026-05-05

instill-core ​

全栈AI基础设施工具，提供数据、模型和流水线编排能力，支持低代码方式快速构建AI应用。

  • Stars: ⭐️ 2.3k
  • Tags: AI基础设施 流水线编排 低代码
  • 最后活动时间: 2026-06-01

openrelay ​

免费AI模型代理服务，提供数百个免费模型配额，支持一键接入本地项目，兼容多种主流AI工具和IDE。

  • Stars: ⭐️ 2.3k
  • Tags: ai-proxy llm-proxy model-router openai claude
  • 最后活动时间: 2026-08-12

CGraph ​

跨平台无依赖的C++/Python并行计算DAG框架，适用于AI工作流和Agent流水线编排。

  • Stars: ⭐️ 2.3k
  • Tags: dag pipeline workflow ai-agents parallel-computing
  • 最后活动时间: 2026-09-07

Bonsai-demo ​

小型语言模型本地运行演示项目，支持llamacpp和MLX后端，适合在本地设备上体验轻量级LLM。

  • Stars: ⭐️ 2.3k
  • Tags: llm llamacpp mlx small-models local-inference
  • 最后活动时间: 2026-09-15

fairlearn ​

评估和改进机器学习模型公平性的Python库，促进负责任AI发展。

  • Stars: ⭐️ 2.3k
  • Tags: fairness responsible-ai machine-learning python
  • 最后活动时间: 2026-09-15

spark-vllm-docker ​

双DGX Spark环境下的VLLM推理引擎Docker配置，专为高性能大模型推理部署优化。

  • Stars: ⭐️ 2.3k
  • Tags: vllm llm-inference docker gpu
  • 最后活动时间: 2026-09-13

cc-mirror ​

创建多个隔离的 Claude Code 变体，支持 Z.ai、MiniMax、OpenRouter 等自定义提供商。

  • Stars: ⭐️ 2.3k
  • Tags: claude-code multi-provider proxy
  • 最后活动时间: 2026-05-31

dify-plus ​

Dify企业级增强版，集成管理中心并针对企业场景优化。

  • Stars: ⭐️ 2.2k
  • Tags: dify enterprise llm-platform ai-platform
  • 最后活动时间: 2026-07-21

kalosm ​

Rust编写的本地AI模型运行框架，支持即时部署和可控推理，涵盖LLM、语音识别等多种预训练模型。

  • Stars: ⭐️ 2.2k
  • Tags: rust llm local-ai whisper llama
  • 最后活动时间: 2026-09-14

floneum ​

Rust编写的本地AI模型推理框架，支持即时、可控的预训练模型运行。

  • Stars: ⭐️ 2.2k
  • Tags: Rust LLM Local AI Whisper
  • 最后活动时间: 2026-05-23

tfx ​

TensorFlow Extended 端到端生产级 ML 流水线平台，支持模型训练、验证和部署全流程。

  • Stars: ⭐️ 2.2k
  • Tags: tensorflow mlops ml-pipeline production
  • 最后活动时间: 2026-09-04

toolhive ​

企业级MCP服务器运行管理平台，专注于AI安全与基础设施部署，支持Kubernetes环境。

  • Stars: ⭐️ 2.2k
  • Tags: MCP AI Security Kubernetes
  • 最后活动时间: 2026-09-17

folib ​

全语言制品仓库，支持Huggingface等主流AI模型仓库的代理与同步。

  • Stars: ⭐️ 2.2k
  • Tags: aimodels artifact-repository huggingface docker-registry maven
  • 最后活动时间: 2026-07-30

codex2api ​

Codex2API 是一个基于 Go + Gin + React/Vite 的 Codex 反向代理与管理后台，支持 API 转发和额度管理。

  • Stars: ⭐️ 2.2k
  • Tags: api-proxy codex reverse-proxy infrastructure
  • 最后活动时间: 2026-09-16

tokenspeed ​

极速LLM推理引擎，专为光速推理优化，支持DeepSeek、Qwen、Kimi等主流大模型。

  • Stars: ⭐️ 2.1k
  • Tags: llm inference deepseek qwen speed-of-light
  • 最后活动时间: 2026-09-17

spikingjelly ​

基于PyTorch的开源脉冲神经网络(SNN)深度学习框架，支持神经形态计算。

  • Stars: ⭐️ 2.1k
  • Tags: 脉冲神经网络 PyTorch 深度学习框架
  • 最后活动时间: 2026-09-14

llama2.mojo ​

使用纯Mojo语言实现的Llama 2推理引擎，单文件高效运行，支持SIMD和向量化加速。

  • Stars: ⭐️ 2.1k
  • Tags: Mojo Llama2 Inference Performance
  • 最后活动时间: 2026-09-12

coreai-models ​

提供端侧AI模型导出方案、Python基础组件及Swift运行时工具集。助力在Apple生态中高效部署和运行AI模型。

  • Stars: ⭐️ 2.1k
  • Tags: on-device-ai swift model-export edge-ai
  • 最后活动时间: 2026-09-14

agent-router ​

基于 Envoy Gateway 构建的生成式 AI 统一接入网关，为 Kubernetes 环境提供 LLM 推理服务的统一访问与流量管理。

  • Stars: ⭐️ 2.1k
  • Tags: AI-Gateway Envoy Kubernetes LLM Inference
  • 最后活动时间: 2026-09-17

diffrax ​

基于JAX的可微分数值微分方程求解器，支持GPU加速与自动微分。

  • Stars: ⭐️ 2.1k
  • Tags: jax differential-equations neural-differential-equations
  • 最后活动时间: 2026-09-06

kubernetes-mcp-server ​

为 Kubernetes 和 OpenShift 提供的 MCP 服务器，让 AI Agent 能够管理容器编排。

  • Stars: ⭐️ 2.1k
  • Tags: mcp mcp-server kubernetes openshift containers
  • 最后活动时间: 2026-09-17

OnnxStream ​

轻量级ONNX推理库，支持在树莓派Zero 2上运行SDXL，支持Mistral、Whisper等多种模型。

  • Stars: ⭐️ 2.1k
  • Tags: ONNX Edge AI Stable Diffusion WASM
  • 最后活动时间: 2026-06-18

WAAS ​

Whisper即服务工具，提供GUI界面和带队列管理的API服务。

  • Stars: ⭐️ 2.1k
  • Tags: whisper api gui speech-to-text service
  • 最后活动时间: 2026-09-06

llama_deploy ​

LlamaIndex 官方部署工具，将智能体工作流快速部署到生产环境。

  • Stars: ⭐️ 2.1k
  • Tags: agents deployment llamaindex llm multi-agents
  • 最后活动时间: 2026-04-06

deepmd-kit ​

基于深度学习的分子动力学模拟框架，用于多体势能表示和材料科学计算，支持多种深度学习框架后端。

  • Stars: ⭐️ 2.0k
  • Tags: Deep Learning Molecular Dynamics Computational Chemistry
  • 最后活动时间: 2026-09-16

ai-gateway ​

基于Envoy Gateway构建的AI网关，统一管理生成式AI服务访问，支持多LLM提供商接入。

  • Stars: ⭐️ 2.0k
  • Tags: AI Gateway Envoy LLM
  • 最后活动时间: 2026-09-08

webdnn ​

最快的浏览器端深度神经网络运行框架，支持WebGPU加速推理。

  • Stars: ⭐️ 2.0k
  • Tags: deep-learning webgpu inference optimization
  • 最后活动时间: 2026-09-10

opacus ​

PyTorch差分隐私训练库，支持在保护数据隐私的前提下训练深度学习模型。

  • Stars: ⭐️ 2.0k
  • Tags: differential-privacy pytorch privacy-preserving-ml
  • 最后活动时间: 2026-07-13

ninfer ​

针对特定模型检查点和 GPU 优化高性能单 GPU 推理引擎。

  • Stars: ⭐️ 1.9k
  • Tags: gpu inference-engine llm-serving
  • 最后活动时间: 2026-09-16

torch-mlir ​

连接PyTorch生态与MLIR生态的编译器基础设施，优化模型部署流程。

  • Stars: ⭐️ 1.9k
  • Tags: pytorch mlir compiler model-deployment
  • 最后活动时间: 2026-09-16

flexflow-train ​

自动发现分布式深度神经网络训练的快速并行化策略，优化大规模模型训练效率。

  • Stars: ⭐️ 1.9k
  • Tags: distributed-training deep-learning parallelization neural-network
  • 最后活动时间: 2026-09-17

deepstream_python_apps ​

NVIDIA DeepStream SDK 的 Python 绑定和示例应用程序，用于构建高性能的 AI 视频分析管道。适用于边缘设备和服务器上的智能视频分析。

  • Stars: ⭐️ 1.9k
  • Tags: deepstream nvidia video-analytics edge-ai python
  • 最后活动时间: 2026-04-01

TensorRT-YOLO ​

NVIDIA TensorRT加速的YOLO模型部署工具包，支持多版本YOLO模型的高效推理部署。

  • Stars: ⭐️ 1.9k
  • Tags: tensorrt yolo object-detection inference
  • 最后活动时间: 2026-09-10

nndeploy ​

简单易用且高性能的 AI 部署框架，支持 TensorRT、ONNXRuntime、OpenVINO 等多种推理后端和低代码工作流编排。

  • Stars: ⭐️ 1.9k
  • Tags: 部署框架 TensorRT 多后端 LLM
  • 最后活动时间: 2026-08-15

sonar ​

一个大规模LLM推理引擎，支持CUDA、TPU等多种硬件加速及推测解码技术。专为高效部署大语言模型而设计。

  • Stars: ⭐️ 1.9k
  • Tags: llm-inference cuda tpu speculative-decoding
  • 最后活动时间: 2026-09-11

gollama ​

Go语言编写的Ollama模型管理工具，支持模型查看、删除等操作。

  • Stars: ⭐️ 1.8k
  • Tags: ollama llm gguf tui
  • 最后活动时间: 2026-07-20

local-llm ​

关于在本地运行大语言模型（LLM）的全面指南和资源集合。

  • Stars: ⭐️ 1.8k
  • Tags: llm local-llm model-serving
  • 最后活动时间: 2026-07-10

aioway ​

基于RDBMS理念的深度学习框架，支持声明式、可解释、可扩展的模型部署。

  • Stars: ⭐️ 1.8k
  • Tags: deep-learning pytorch scalable
  • 最后活动时间: 2026-09-17

APIPark ​

云原生高性能AI网关平台，统一管理OpenAI、Claude、DeepSeek等主流大模型API，提供负载均衡和灾备功能。

  • Stars: ⭐️ 1.8k
  • Tags: AI Gateway LLM Gateway API Management
  • 最后活动时间: 2026-09-09

uzu ​

高性能AI模型推理引擎，使用Rust编写，支持Metal加速。

  • Stars: ⭐️ 1.8k
  • Tags: Inference Rust High-Performance
  • 最后活动时间: 2026-09-16

dreamfactory ​

企业级API平台，提供安全的数据访问接口，支持本地部署LLM的API连接与角色权限管理。

  • Stars: ⭐️ 1.8k
  • Tags: api rest openapi laravel
  • 最后活动时间: 2026-08-18

aphrodite-engine ​

大规模LLM推理引擎，支持CUDA、ROCm、TPU等多种硬件加速，具备LoRA和推测解码等高级特性。

  • Stars: ⭐️ 1.8k
  • Tags: inference-engine llm cuda rocm tpu lora
  • 最后活动时间: 2026-07-04

beta9 ​

超快速无服务器GPU推理平台，专为AI/ML工作负载设计，支持自动扩缩容。

  • Stars: ⭐️ 1.8k
  • Tags: Serverless GPU LLM推理
  • 最后活动时间: 2026-09-16

Genie-TTS ​

GPT-SoVITS ONNX推理引擎与模型转换器，支持高效语音合成模型部署。

  • Stars: ⭐️ 1.8k
  • Tags: tts onnx voice-cloning gpt-sovits
  • 最后活动时间: 2026-08-30

TileRT ​

基于分块计算的 LLM 推理运行时，实现超低延迟的大语言模型推理服务。

  • Stars: ⭐️ 1.8k
  • Tags: llm-inference low-latency runtime optimization
  • 最后活动时间: 2026-08-13

turboquant ​

面向LLM推理的近最优KV缓存量化方案，支持3-bit键和2-bit值量化，集成Triton内核与vLLM。

  • Stars: ⭐️ 1.8k
  • Tags: llm quantization kv-cache inference triton vllm
  • 最后活动时间: 2026-09-03

local-studio ​

用于控制VLLM、Sglang、llama.cpp等本地大模型推理框架的控制面板。提供便捷的本地AI模型托管与管理服务。

  • Stars: ⭐️ 1.8k
  • Tags: ai local-ai vllm llamacpp hosting
  • 最后活动时间: 2026-09-14

react-native-executorch ​

基于ExecuTorch的React Native端侧AI推理框架，支持LLM、OCR、语音等多种模型。

  • Stars: ⭐️ 1.7k
  • Tags: executorch react-native on-device-ai llm-inference ocr
  • 最后活动时间: 2026-09-16

aphrodite-engine ​

大规模LLM推理引擎，支持CUDA、TPU、ROCm等多种硬件加速和推测解码。

  • Stars: ⭐️ 1.7k
  • Tags: inference-engine llm cuda tpu lora speculative-decoding
  • 最后活动时间: 2026-05-08

zilla ​

高性能多协议网关，支持将Apache Kafka与AI应用安全连接。通过HTTP、gRPC、MCP等协议实现实时数据流与AI代理的无缝集成。

  • Stars: ⭐️ 1.7k
  • Tags: api-gateway kafka ai-infrastructure mcp grpc
  • 最后活动时间: 2026-09-17

OpenMLDB ​

面向机器学习的特征工程数据库，提供训练推理一致性特征计算。

  • Stars: ⭐️ 1.7k
  • Tags: feature-store machine-learning-database mlops feature-engineering
  • 最后活动时间: 2026-09-11

katib ​

Kubernetes上的自动化机器学习平台，支持超参数调优和神经架构搜索，适用于大规模ML部署。

  • Stars: ⭐️ 1.7k
  • Tags: AutoML Kubernetes MLOps
  • 最后活动时间: 2026-09-14

mlrun ​

开源MLOps平台，用于快速构建和管理ML应用全生命周期，支持自动化ML流水线、模型服务和CI/CD集成。

  • Stars: ⭐️ 1.7k
  • Tags: MLOps Kubernetes Model-Serving
  • 最后活动时间: 2026-09-17

paddler ​

开源LLM负载均衡和服务平台，支持CPU/GPU自托管大规模部署，基于ggml生态构建，部署简单。

  • Stars: ⭐️ 1.7k
  • Tags: 负载均衡 LLM部署 自托管
  • 最后活动时间: 2026-09-16

TabPy ​

Tableau的Python集成框架，支持在Tableau可视化中实时执行Python代码和机器学习模型。

  • Stars: ⭐️ 1.7k
  • Tags: tableau python analytics model-serving
  • 最后活动时间: 2026-09-15

graalpython ​

高性能可嵌入的Python 3运行时，专为Java环境设计，支持在Java应用中运行Python AI/ML模型。

  • Stars: ⭐️ 1.6k
  • Tags: graalvm python java embeddable
  • 最后活动时间: 2026-09-16

llmgateway ​

统一管理多个LLM提供商API请求的网关，提供智能路由、速率限制、成本分析和安全防护功能。

  • Stars: ⭐️ 1.6k
  • Tags: API网关 多提供商 企业级
  • 最后活动时间: 2026-09-17

BiSeNet ​

双向分割网络实现，支持TensorRT、NCNN等多种推理框架部署。

  • Stars: ⭐️ 1.6k
  • Tags: semantic-segmentation pytorch tensorrt onnx
  • 最后活动时间: 2026-04-04

CompressAI ​

端到端压缩研究平台，提供PyTorch库和评估工具。

  • Stars: ⭐️ 1.6k
  • Tags: compression deep-learning pytorch
  • 最后活动时间: 2026-07-04

gomlx ​

Go语言加速机器学习框架，支持高性能ML模型训练与推理。

  • Stars: ⭐️ 1.6k
  • Tags: go golang machine-learning xla
  • 最后活动时间: 2026-09-13

inference ​

MLPerf推理基准参考实现，提供机器学习模型推理性能的标准化评测。

  • Stars: ⭐️ 1.6k
  • Tags: mlperf inference benchmark machine-learning
  • 最后活动时间: 2026-09-16

guidellm ​

LLM部署评估工具，帮助优化大模型在实际推理场景中的性能表现。

  • Stars: ⭐️ 1.6k
  • Tags: LLM Evaluation Deployment Inference
  • 最后活动时间: 2026-09-17

mcp-server-kubernetes ​

MCP服务器，让AI助手能够管理和操作Kubernetes集群，实现智能化的容器编排与运维。

  • Stars: ⭐️ 1.6k
  • Tags: Kubernetes MCP DevOps
  • 最后活动时间: 2026-09-14

vllm-mlx ​

专为 Apple Silicon 优化的推理服务器，支持 LLM 和多模态模型的连续批处理推理，原生 MLX 后端实现高达 400+ tok/s 性能。

  • Stars: ⭐️ 1.6k
  • Tags: Apple Silicon MLX 推理服务 多模态
  • 最后活动时间: 2026-09-17

xllm ​

一个高性能的推理引擎，专为LLM、VLM、DiT和REC模型优化，支持多种AI加速器。

  • Stars: ⭐️ 1.6k
  • Tags: inference-engine llm deepseek qwen glm
  • 最后活动时间: 2026-09-16

ADR ​

通过可观测性、安全基准测试和威胁检测来保护企业级AI智能体。已在Uber等企业部署，有效防御提示词注入等安全威胁。

  • Stars: ⭐️ 1.6k
  • Tags: ai-security llm-security agent-security threat-detection observability
  • 最后活动时间: 2026-09-16

mcp-gateway ​

Docker MCP CLI插件和网关，用于连接AI模型与外部工具和数据源的Model Context Protocol协议实现。

  • Stars: ⭐️ 1.6k
  • Tags: mcp docker ai-gateway model-context-protocol
  • 最后活动时间: 2026-09-16

streaming ​

高效神经网络训练的数据流库，支持大规模数据集流式处理。

  • Stars: ⭐️ 1.6k
  • Tags: streaming deep-learning pytorch dataset
  • 最后活动时间: 2026-06-25

wally ​

本地AI基础设施工具，可一键运行GLM-5.3-flash、DeepSeek、Qwen、Gemma等开源前沿大模型。

  • Stars: ⭐️ 1.5k
  • Tags: local-llm model-serving open-source-models deepseek qwen
  • 最后活动时间: 2026-09-17

mleap ​

ML管道生产部署工具，支持将Spark和scikit-learn模型导出为可移植格式，实现跨平台推理。

  • Stars: ⭐️ 1.5k
  • Tags: model-deployment spark production
  • 最后活动时间: 2026-09-14

tensorstore ​

用于高效读写大型多维数组的库，专为机器学习和科学计算场景优化，支持大规模张量数据存储。

  • Stars: ⭐️ 1.5k
  • Tags: tensor storage machine-learning data-structures numpy
  • 最后活动时间: 2026-08-05

Symbolics.jl ​

为下一代数值软件设计的符号编程库，支持高性能并行计算。适用于计算机代数系统和符号数学运算。

  • Stars: ⭐️ 1.5k
  • Tags: cas computer-algebra-system high-performance mathematics parallel-computing symbolic-computing symbolic-math
  • 最后活动时间: 2026-08-08

geomstats ​

流形几何结构上的计算与统计库，支持黎曼几何深度学习应用。

  • Stars: ⭐️ 1.5k
  • Tags: riemannian-geometry manifold deep-learning machine-learning statistics
  • 最后活动时间: 2026-08-21

rocketmq-rust ​

使用Rust重写的Apache RocketMQ，提供更安全、更低内存消耗的消息队列服务。支持MCP工具集成，适用于云原生AI应用的异步消息处理。

  • Stars: ⭐️ 1.5k
  • Tags: rocketmq rust mcp-server cloud-native messaging
  • 最后活动时间: 2026-09-17

akto ​

快速增长的 AI 安全平台，用于保护 AI Agent、MCP、LLM 与生成式 AI 应用，覆盖 OWASP 相关风险。

  • Stars: ⭐️ 1.5k
  • Tags: ai-security guardrails red-teaming llm
  • 最后活动时间: 2026-09-17

agentapi ​

为 Claude Code、Goose、Aider、Gemini、Amp、Codex 提供统一的 HTTP API 接口。

  • Stars: ⭐️ 1.5k
  • Tags: api claude-code codex gemini aider
  • 最后活动时间: 2026-09-13

mmengine ​

OpenMMLab 深度学习模型训练基础库，提供统一的训练框架。

  • Stars: ⭐️ 1.5k
  • Tags: ai deep-learning pytorch computer-vision
  • 最后活动时间: 2026-07-13

bittensor ​

去中心化机器学习网络，构建互联网规模的神经网络基础设施，支持P2P协作训练。

  • Stars: ⭐️ 1.5k
  • Tags: decentralized-ai machine-learning neural-networks blockchain p2p
  • 最后活动时间: 2026-06-12

paritok-4b-v1 ​

面向AI编程代理的非破坏性压缩网关，能有效减少Token消耗并增加上下文窗口容量。支持Claude Code、Cursor等多种主流编程助手。

  • Stars: ⭐️ 1.5k
  • Tags: ai-agents llm-gateway token-optimization developer-tools
  • 最后活动时间: 2026-09-10

concrete-ml ​

隐私保护机器学习框架，基于全同态加密技术，支持在加密数据上进行模型推理。

  • Stars: ⭐️ 1.5k
  • Tags: machine-learning privacy homomorphic-encryption scikit-learn
  • 最后活动时间: 2026-08-04

PaddleSharp ​

百度Paddle推理库和PaddleOCR的.NET/C#绑定，支持跨平台AI推理。

  • Stars: ⭐️ 1.4k
  • Tags: paddlepaddle ocr dotnet inference
  • 最后活动时间: 2026-08-30

qwen38-27b-rtx3090 ​

在单张 RTX 3090 上高效运行 Qwen3.8-27B 模型的推理方案，结合量化与投机解码实现极高并发吞吐量。包含完整的性能补丁、重量化脚本及基准测试。

  • Stars: ⭐️ 1.4k
  • Tags: llm-inference quantization speculative-decoding vllm rtx-3090
  • 最后活动时间: 2026-09-15

ollama-docker ​

简化Ollama部署的Docker Compose配置，轻松在容器化环境中运行大语言模型。

  • Stars: ⭐️ 1.4k
  • Tags: ollama docker llm local-ai
  • 最后活动时间: 2026-05-26

mlops-python-package ​

一个全面的MLOps Python项目模板，帮助快速启动和标准化机器学习运维流程与数据管道。

  • Stars: ⭐️ 1.4k
  • Tags: MLOps Python MLflow Template
  • 最后活动时间: 2026-09-14

kitops ​

CNCF开源DevOps工具，用于打包和版本管理AI/ML模型、数据集和代码。支持OCI标准，便于Kubernetes部署。

  • Stars: ⭐️ 1.4k
  • Tags: mlops model-serving kubernetes devops
  • 最后活动时间: 2026-09-16

openai-cpa ​

面向大规模并发工作负载的企业级分布式自动化平台，整合弹性集群编排、多渠道身份验证消息与实时运维遥测。统一管理 CPA / Sub2API / Image2API 等多仓库生命周期，提供高吞吐的 AI API 控制平面。

  • Stars: ⭐️ 1.4k
  • Tags: openai api automation orchestration control-plane
  • 最后活动时间: 2026-08-21

tabbyAPI ​

Exllama官方API服务器，兼容OpenAI接口格式，轻量高效，适合本地LLM推理部署。

  • Stars: ⭐️ 1.4k
  • Tags: llm-serving openai-compatible exllama api-server
  • 最后活动时间: 2026-09-13

xllm ​

高性能LLM推理引擎，针对多种AI加速器优化，支持DeepSeek、GLM、Qwen等主流大模型的高效部署。

  • Stars: ⭐️ 1.4k
  • Tags: Inference LLM Accelerator
  • 最后活动时间: 2026-07-05

KVCache-Factory ​

统一的自回归模型KV缓存压缩方法库，优化大模型推理内存占用与性能。

  • Stars: ⭐️ 1.4k
  • Tags: kv-cache llm inference-optimization
  • 最后活动时间: 2026-08-13

parallax ​

分布式模型服务框架，支持在任何环境构建AI推理集群。

  • Stars: ⭐️ 1.4k
  • Tags: distributed-inference llm-serving model-serving
  • 最后活动时间: 2026-07-01

DeepSeek-v4-Flash-DSpark-2x-DGX-Spark ​

面向双 DGX Spark 的 DeepSeek-v4-Flash 部署配方，指导如何在这类本地 AI 算力设备上高效运行大模型。

  • Stars: ⭐️ 1.4k
  • Tags: deepseek llm dgx-spark deployment inference
  • 最后活动时间: 2026-09-16

mlx-serve ​

专为Apple Silicon打造的原生LLM推理服务器，兼容OpenAI与Anthropic API。无需Python环境，内置具备聊天、智能体模式及工具调用功能的MLX Core macOS应用。

  • Stars: ⭐️ 1.4k
  • Tags: apple-silicon llm inference mlx macos
  • 最后活动时间: 2026-09-17

rtp-llm ​

阿里巴巴开源的高性能大语言模型推理引擎，专为多样化应用场景优化，提供卓越的推理性能。

  • Stars: ⭐️ 1.3k
  • Tags: LLM 推理引擎 阿里巴巴
  • 最后活动时间: 2026-09-17

Personal-AI-Router ​

家庭设备推理路由器，将 AI 推理任务虚拟化分发到家中已连接的多台设备上协同执行。

  • Stars: ⭐️ 1.3k
  • Tags: inference distributed-computing llm edge-ai
  • 最后活动时间: 2026-09-15

onnx-tensorflow ​

ONNX模型的TensorFlow后端，实现不同深度学习框架间的模型互转与部署。

  • Stars: ⭐️ 1.3k
  • Tags: ONNX TensorFlow 模型转换
  • 最后活动时间: 2026-08-23

TokenHub ​

为企业提供私有AI网关，统一管理AI模型访问与治理。使每个请求变得可控、可追溯且可归责。

  • Stars: ⭐️ 1.3k
  • Tags: ai ai-gateway enterprise gateway llm
  • 最后活动时间: 2026-09-15

pruna ​

模型优化框架，帮助开发者构建更快、更高效的AI模型，支持视觉、语言和语音模型。

  • Stars: ⭐️ 1.3k
  • Tags: model-optimization deep-learning llm computer-vision speech
  • 最后活动时间: 2026-09-11

cache-dit ​

PyTorch原生DiT推理引擎，支持混合缓存加速和大规模并行。专为扩散Transformer优化。

  • Stars: ⭐️ 1.3k
  • Tags: diffusion-transformer inference-engine cache optimization
  • 最后活动时间: 2026-09-07

datafusion-comet ​

Apache DataFusion Comet 是一个用于加速 Spark 计算引擎的高性能插件。它利用 Rust 和 Arrow 列式内存格式，显著提升数据处理和 AI 模型训练的数据准备效率。

  • Stars: ⭐️ 1.3k
  • Tags: arrow datafusion spark rust
  • 最后活动时间: 2026-09-16

kubeai ​

Kubernetes AI 推理运算符，支持 VLM、LLM、Embedding 和语音识别模型的生产级部署。

  • Stars: ⭐️ 1.3k
  • Tags: Kubernetes Inference LLM
  • 最后活动时间: 2026-09-03

MCPJungle ​

自托管的MCP网关，为AI代理提供统一的MCP服务器管理和注册服务。

  • Stars: ⭐️ 1.3k
  • Tags: MCP 网关 基础设施
  • 最后活动时间: 2026-08-02

clewdr ​

高性能LLM反向代理服务，支持多模型负载均衡。

  • Stars: ⭐️ 1.3k
  • Tags: llm proxy high-performance infrastructure
  • 最后活动时间: 2026-09-02

uni-api ​

统一管理多个LLM API提供商的网关服务，支持OpenAI、Claude、Gemini等后端，提供统一接口和负载均衡。

  • Stars: ⭐️ 1.3k
  • Tags: API网关 负载均衡 OpenAI兼容
  • 最后活动时间: 2026-09-17

nixl ​

NVIDIA推理传输库，优化AI模型推理过程中的数据传输性能。

  • Stars: ⭐️ 1.3k
  • Tags: nvidia inference gpu-optimization transfer-library
  • 最后活动时间: 2026-09-16

GPTQModel ​

LLM模型量化工具包，支持NVIDIA/AMD/Intel多硬件加速，集成vLLM和SGLang推理框架。

  • Stars: ⭐️ 1.3k
  • Tags: quantization llm vllm inference
  • 最后活动时间: 2026-09-16

dlpack ​

通用内存张量结构标准，实现深度学习框架间零拷贝数据交换。

  • Stars: ⭐️ 1.2k
  • Tags: tensor deep-learning interoperability memory
  • 最后活动时间: 2026-08-11

MO-Gymnasium ​

专为多目标强化学习设计的Gymnasium环境库，提供标准化的接口和测试环境。

  • Stars: ⭐️ 1.2k
  • Tags: reinforcement-learning gymnasium multi-objective-rl
  • 最后活动时间: 2026-09-09

index-tts-vllm ​

为IndexTTS添加vLLM支持，实现更快速的TTS推理。

  • Stars: ⭐️ 1.2k
  • Tags: vllm tts inference-optimization text-to-speech
  • 最后活动时间: 2026-04-13

dify-sandbox ​

一个轻量级、快速且安全的代码执行环境，支持多种编程语言。非常适合为大语言模型提供安全的代码解释器功能。

  • Stars: ⭐️ 1.2k
  • Tags: code-execution sandbox dify llm
  • 最后活动时间: 2026-07-31

gemini-business2api ​

将 Gemini Business 转换为 OpenAI 兼容接口，支持多账户负载均衡及图像、视频生成等多模态能力。

  • Stars: ⭐️ 1.2k
  • Tags: gemini openai api-proxy load-balancing multimodal
  • 最后活动时间: 2026-04-24

Comfy-WaveSpeed ​

ComfyUI的一体化推理优化解决方案。通用、灵活、高效的图像生成加速工具。

  • Stars: ⭐️ 1.2k
  • Tags: comfyui inference optimization image-generation
  • 最后活动时间: 2026-08-21

MInference ​

NeurIPS'24 Spotlight，通过动态稀疏注意力计算将长上下文LLM推理延迟降低10倍。

  • Stars: ⭐️ 1.2k
  • Tags: inference-optimization long-context sparse-attention llm
  • 最后活动时间: 2026-09-10

kubetorch ​

在Kubernetes上分布式运行AI工作负载的Python工具，像PyTorch一样简单管理ML基础设施。支持训练、推理和数据处理的无缝部署。

  • Stars: ⭐️ 1.2k
  • Tags: Kubernetes PyTorch Distributed AI ML Infrastructure
  • 最后活动时间: 2026-05-29

openinference ​

专为AI应用设计的OpenTelemetry可观测性工具，支持LangChain、LlamaIndex等主流框架的追踪与监控。

  • Stars: ⭐️ 1.2k
  • Tags: Observability OpenTelemetry LLMOps
  • 最后活动时间: 2026-09-16

R-KV ​

NeurIPS 2025论文实现，面向推理模型的冗余感知KV缓存压缩技术。

  • Stars: ⭐️ 1.2k
  • Tags: kv-cache reasoning-models llm compression
  • 最后活动时间: 2026-07-20

ai-hub-models ​

高通AI Hub提供的SOTA机器学习模型集合，针对高通设备优化延迟和内存，可直接部署。

  • Stars: ⭐️ 1.2k
  • Tags: deeplearning inference onnx pytorch tensorflow-lite
  • 最后活动时间: 2026-09-16

sglang-omni ​

SGLang Omni 是一个高性能多阶段流水线框架，专为全能模型（Omni Models）的推理与服务而设计。它能有效提升复杂AI模型的部署效率和执行性能。

  • Stars: ⭐️ 1.2k
  • Tags: sglang omni-models pipeline model-serving inference
  • 最后活动时间: 2026-09-17

kvpress ​

简化LLM KV缓存压缩，支持长上下文推理优化。

  • Stars: ⭐️ 1.2k
  • Tags: kv-cache compression llm long-context
  • 最后活动时间: 2026-09-16

truss ​

最简单的AI/ML模型生产部署工具。支持Stable Diffusion、Whisper等多种模型，一键打包部署到云端。

  • Stars: ⭐️ 1.2k
  • Tags: model-serving inference-server machine-learning
  • 最后活动时间: 2026-09-17

wllama ​

llama.cpp的WebAssembly绑定，实现浏览器端LLM推理能力。

  • Stars: ⭐️ 1.2k
  • Tags: wasm webassembly llm browser-inference
  • 最后活动时间: 2026-09-13

openfhe-development ​

开源全同态加密库，支持隐私保护计算和安全多方计算，适用于AI隐私保护场景。

  • Stars: ⭐️ 1.2k
  • Tags: cryptography homomorphic-encryption privacy fhe
  • 最后活动时间: 2026-09-17

OrcaRouter-Lite ​

自托管的LLM路由器，内置安全防护网。支持OpenAI兼容接口、BYOK和流式传输，适合需要自主控制AI调用的场景。

  • Stars: ⭐️ 1.2k
  • Tags: llm-router self-hosted openai-compatible ai-gateway
  • 最后活动时间: 2026-09-04

onnxmltools ​

将机器学习模型转换为ONNX格式的工具集，支持Keras、scikit-learn等框架。

  • Stars: ⭐️ 1.2k
  • Tags: onnx model-conversion interoperability machine-learning
  • 最后活动时间: 2026-09-01

GoModel ​

轻量级AI网关，提供统一的OpenAI兼容API，支持OpenAI、Anthropic、Gemini、Groq、xAI和Ollama等多家LLM提供商。

  • Stars: ⭐️ 1.2k
  • Tags: ai-gateway llm openai-compatible golang
  • 最后活动时间: 2026-09-17

hpc-ops ​

高性能LLM推理算子库，优化大模型推理性能。

  • Stars: ⭐️ 1.2k
  • Tags: llm inference high-performance
  • 最后活动时间: 2026-09-07

Kiro-Go ​

将Kiro账户转换为OpenAI/Anthropic兼容API的工具，支持多账户池化、流式传输和Web管理面板。

  • Stars: ⭐️ 1.2k
  • Tags: api-proxy openai-api anthropic model-serving
  • 最后活动时间: 2026-07-29

awesome-mojo ​

Mojo编程语言的精选资源列表，Mojo是专为AI开发设计的高性能编程语言，兼容Python生态。

  • Stars: ⭐️ 1.1k
  • Tags: mojo ai programming-language python-compatible
  • 最后活动时间: 2026-09-04

vllm-studio ​

LLM推理服务控制面板，支持VLLM、Sglang、llama.cpp、exllamav3等多种推理引擎的统一管理与监控。

  • Stars: ⭐️ 1.1k
  • Tags: vllm llamacpp sglang local-ai model-serving
  • 最后活动时间: 2026-06-12

mongodb-mcp-server ​

MCP 协议服务器，让 AI Agent 能够连接和操作 MongoDB 数据库及 Atlas 集群。

  • Stars: ⭐️ 1.1k
  • Tags: mcp mcp-server mongodb mongodb-atlas
  • 最后活动时间: 2026-09-17

search-and-learn ​

扩展开源模型推理时计算的资源配方。优化LLM推理性能与资源利用。

  • Stars: ⭐️ 1.1k
  • Tags: llm inference compute-optimization
  • 最后活动时间: 2026-05-26

frugally-deep ​

轻量级仅头文件C++库，用于在C++中推理Keras/TensorFlow模型，适合边缘部署。

  • Stars: ⭐️ 1.1k
  • Tags: keras tensorflow cpp model-inference edge-computing
  • 最后活动时间: 2026-05-06

onnxruntime-genai ​

ONNX Runtime 的生成式 AI 扩展，提供高效的模型推理与部署能力。

  • Stars: ⭐️ 1.1k
  • Tags: onnx generative-ai model-inference optimization
  • 最后活动时间: 2026-09-16

nobodywho ​

支持多平台的本地LLM推理引擎，可在任何设备上高效运行大语言模型，支持Godot游戏引擎和Flutter。

  • Stars: ⭐️ 1.1k
  • Tags: Inference Local AI Cross-platform
  • 最后活动时间: 2026-09-17

relay-pulse ​

企业级 LLM 中转服务可用性监控系统，实时追踪服务状态并提供可视化仪表板，保障 AI 服务稳定性。

  • Stars: ⭐️ 1.1k
  • Tags: LLM监控 服务可用性 可视化
  • 最后活动时间: 2026-09-16

litert-torch ​

支持PyTorch模型转换为LiteRT格式的工具，用于端侧部署优化。

  • Stars: ⭐️ 1.1k
  • Tags: pytorch model-conversion on-device tensorflow-lite
  • 最后活动时间: 2026-09-15

YOLOs-CPP ​

跨平台生产级C++推理引擎，支持YOLO v5-v12模型，统一API实现目标检测、分割、姿态估计等功能，基于ONNX Runtime优化。

  • Stars: ⭐️ 1.1k
  • Tags: yolo inference-engine onnx cpp object-detection
  • 最后活动时间: 2026-08-23

Fast-dLLM ​

无需训练即可加速扩散LLM推理的方法，支持KV缓存与并行解码。

  • Stars: ⭐️ 1.1k
  • Tags: llm inference acceleration kv-cache
  • 最后活动时间: 2026-05-30

ClawVault ​

AI安全控制平台，提供原子级访问控制，确保AI操作全程可视可控。

  • Stars: ⭐️ 1.1k
  • Tags: ai-security access-control openclaw
  • 最后活动时间: 2026-08-20

fizz-gateway-node ​

大模型API聚合网关，支持API集成、脱敏、安全与溯源，为企业级AI应用提供统一的模型调用管理。

  • Stars: ⭐️ 1.1k
  • Tags: api-gateway llm ai-gateway security
  • 最后活动时间: 2026-07-02

monarch ​

PyTorch单控制器架构，用于分布式训练和模型并行计算。

  • Stars: ⭐️ 1.1k
  • Tags: pytorch distributed model-parallelism
  • 最后活动时间: 2026-09-15

numbat ​

提供端点AI智能体活动的可见性，支持设备端检测、可选的预动作拦截和取证重建。专注于AI智能体的安全与监控。

  • Stars: ⭐️ 1.1k
  • Tags: agent-security ai-agent-security endpoint-detection
  • 最后活动时间: 2026-09-15

1Cat-vLLM ​

专为 Tesla V100 优化的 vLLM 分支，支持 AWQ 4-bit 量化与 CUDA 12.8 构建流程。验证了多 GPU 环境下 Qwen3.5 大模型的高效部署。

  • Stars: ⭐️ 1.1k
  • Tags: vllm cuda awq v100 model-serving
  • 最后活动时间: 2026-09-16

optimum-quanto ​

PyTorch 模型量化后端，支持高效模型部署和推理优化。

  • Stars: ⭐️ 1.1k
  • Tags: quantization pytorch model-optimization inference
  • 最后活动时间: 2026-08-25

opencv_zoo ​

OpenCV官方模型库，提供预训练模型和性能基准测试，支持DNN推理。

  • Stars: ⭐️ 1.1k
  • Tags: model-zoo opencv deep-learning benchmark
  • 最后活动时间: 2026-05-28

csghub-server ​

CSGHub后端服务，支持数据集和模型管理、模型推理、微调及应用空间运行。

  • Stars: ⭐️ 1.0k
  • Tags: 模型管理 推理服务 平台
  • 最后活动时间: 2026-09-17

chronon ​

专为AI/ML应用设计的数据服务平台，提供高效的数据管道和特征存储能力。

  • Stars: ⭐️ 1.0k
  • Tags: ml data-platform feature-store ai-infrastructure
  • 最后活动时间: 2026-09-17

ccflare ​

Claude Code的高性能代理服务，提供API转发与流量管理功能。

  • Stars: ⭐️ 1.0k
  • Tags: claude-api proxy anthropic-api claude-code
  • 最后活动时间: 2026-04-19

TorchBench ​

PyTorch官方性能评估基准测试集合，用于评估和优化PyTorch模型性能。

  • Stars: ⭐️ 1.0k
  • Tags: pytorch benchmark performance
  • 最后活动时间: 2026-09-16

TenSEAL ​

用于张量同态加密操作的Python库，支持隐私保护机器学习。基于Microsoft SEAL构建，实现加密状态下的深度学习计算。

  • Stars: ⭐️ 1.0k
  • Tags: Homomorphic Encryption Privacy-Preserving ML Tensor Operations
  • 最后活动时间: 2026-09-12

compose-for-agents ​

使用 Docker Compose 构建和运行 AI 智能体，提供开箱即用的编排示例。

  • Stars: ⭐️ 1.0k
  • Tags: ai-agents docker docker-compose llm self-hosted
  • 最后活动时间: 2026-09-02

AIHelms ​

企业级 AI 资源纳管平台，提供统一 AI 网关以纳管 OpenAI、Claude 等主流模型。支持成本归因、统一身份认证与安全审计，帮助企业高效治理 AI 资产并精准量化 ROI。

  • Stars: ⭐️ 1.0k
  • Tags: ai-gateway llm-governance enterprise-ai model-gateway fastapi vue3
  • 最后活动时间: 2026-09-10

K3Flight ​

基于 cPilot Runtime 的单文件 Linux 推理服务器，在 CPU 上以约 55GB 内存本地运行 Kimi K3 模型。

  • Stars: ⭐️ 1.0k
  • Tags: cpu-inference kimi-k3 local-llm low-memory moe
  • 最后活动时间: 2026-07-31

K3Flight ​

基于cPilot Runtime的单文件Linux推理服务器，支持在CPU上运行Kimi K3模型，仅需约55GB运行内存。专为低内存和边缘AI场景设计的本地大模型部署方案。

  • Stars: ⭐️ 1.0k
  • Tags: cpu-inference edge-ai inference-engine kimi-k3 local-llm low-memory moe
  • 最后活动时间: 2026-07-31

MinivLLM ​

轻量级vLLM复现实现，包含自包含的分页注意力和Flash Attention核心组件。

  • Stars: ⭐️ 1.0k
  • Tags: vllm inference paged-attention flash-attention
  • 最后活动时间: 2026-08-29

bedrock-access-gateway ​

为Amazon Bedrock提供OpenAI兼容的RESTful API接口，便于开发者无缝迁移和集成AWS大模型服务。

  • Stars: ⭐️ 1.0k
  • Tags: AWS Bedrock OpenAI Compatible API Gateway
  • 最后活动时间: 2026-09-04

checkpoint-engine ​

用于LLM推理引擎的轻量级中间件，支持动态更新模型权重。

  • Stars: ⭐️ 1.0k
  • Tags: llm-inference checkpoint model-serving middleware
  • 最后活动时间: 2026-09-15

ssd ​

轻量级推理引擎，支持推测解码(SSD)技术，加速大模型推理过程。

  • Stars: ⭐️ 1.0k
  • Tags: inference-engine speculative-decoding llm
  • 最后活动时间: 2026-05-10

onnx2tf ​

强大的模型转换工具，支持 ONNX 到 TFLite、TensorFlow、PyTorch 等多种格式的相互转换，支持 Core ML 导出。

  • Stars: ⭐️ 996
  • Tags: onnx tensorflow pytorch model-converter coreml
  • 最后活动时间: 2026-09-14

sherpa ​

基于下一代Kaldi的语音识别服务器框架，支持多种端到端ASR模型，提供WebSocket实时接口。

  • Stars: ⭐️ 992
  • Tags: ASR 实时语音 模型部署
  • 最后活动时间: 2026-09-17

AI-Gateway ​

基于Azure API Management和Microsoft Foundry的AI网关实验室，支持探索AI模型、MCP服务器和智能体开发。

  • Stars: ⭐️ 987
  • Tags: AI Gateway MCP Agents Azure
  • 最后活动时间: 2026-09-16

zzz-api ​

稳定的OpenAI、Claude等API代理服务，支持多种AI模型接口调用。

  • Stars: ⭐️ 985
  • Tags: api-proxy openai claude gemini
  • 最后活动时间: 2026-09-13

NyaProxy ​

统一的AI服务API管理网关，支持OpenAI、Gemini、Anthropic等主流AI平台，提供负载均衡、速率限制和安全访问能力。

  • Stars: ⭐️ 984
  • Tags: API Proxy Load Balancer Multi-LLM
  • 最后活动时间: 2026-07-20

ztoken-pro ​

稳定省钱的AI API接口代理服务，支持OpenAI、Claude、Gemini等多种官方接口形式。为企业和开发者提供便捷的API调用方案，无需复杂账号配置即可直接使用。

  • Stars: ⭐️ 979
  • Tags: openai claude gemini api-proxy openai-api
  • 最后活动时间: 2026-07-10

Nanoflow ​

面向吞吐量的高性能LLM服务框架。针对CUDA优化，专为大规模语言模型推理设计。

  • Stars: ⭐️ 977
  • Tags: llm-serving inference cuda high-performance
  • 最后活动时间: 2026-03-29

proxy ​

支持将 Claude Code 请求路由至多个上游提供商（如 AWS Bedrock 等）的代理服务，具备自动模型选择与格式转换功能。

  • Stars: ⭐️ 975
  • Tags: claude claude-code aws-bedrock proxy llm
  • 最后活动时间: 2026-09-11

ccNexus ​

专为Claude Code和Codex CLI设计的智能API网关，支持端点轮换、用量监控，并可无缝集成OpenAI、Gemini等多个AI平台。

  • Stars: ⭐️ 973
  • Tags: API Gateway Claude Code Load Balancing
  • 最后活动时间: 2026-08-31

comfy-cli ​

ComfyUI官方命令行管理工具，简化Stable Diffusion工作流的安装、更新与环境配置。

  • Stars: ⭐️ 970
  • Tags: ComfyUI CLI Stable Diffusion
  • 最后活动时间: 2026-09-17

JSTprove ​

快速、可验证的AI推理框架，基于零知识机器学习(zkML)技术，为AI模型提供可验证的计算证明。

  • Stars: ⭐️ 970
  • Tags: zkml verifiable-ai zero-knowledge
  • 最后活动时间: 2026-04-23

NVFlare ​

NVIDIA开发的联邦学习应用运行环境，支持去中心化的隐私保护机器学习训练和推理。

  • Stars: ⭐️ 969
  • Tags: federated-learning privacy distributed-ml
  • 最后活动时间: 2026-09-15

fal ​

快速部署开源机器学习模型的高性能推理平台，支持大规模生产环境服务。

  • Stars: ⭐️ 960
  • Tags: model-serving ml-inference production-ml
  • 最后活动时间: 2026-09-16

UniRL ​

一个用于统一多模态模型强化学习的框架。支持基于SGLang和vLLM的高效模型服务与训练。

  • Stars: ⭐️ 958
  • Tags: ai-infrastructure reinforcement-learning sglang vllm
  • 最后活动时间: 2026-09-17

YOLOs-CPP ​

跨平台生产级C++推理引擎，支持YOLO v5-v12模型，统一API实现目标检测、分割、姿态估计等功能，基于ONNX Runtime优化。

  • Stars: ⭐️ 952
  • Tags: yolo inference-engine onnx cpp object-detection
  • 最后活动时间: 2026-04-13

qwen2API ​

将通义千问（Qwen）网页端转换为 API 接口的项目，支持 Docker 快速部署。

  • Stars: ⭐️ 949
  • Tags: qwen api-proxy openai-compatible docker
  • 最后活动时间: 2026-06-13

wassette ​

安全导向的WebAssembly组件运行时，通过MCP协议支持AI模型部署。

  • Stars: ⭐️ 947
  • Tags: mcp wasm wasm-component wasmtime
  • 最后活动时间: 2026-09-15

nitro ​

Nitro 是 Jan 团队推出的轻量级高性能本地 AI 推理引擎，可在消费级硬件上快速运行大语言模型。它内置兼容 OpenAI API 的服务器，是构建本地 AI 应用的理想后端。

  • Stars: ⭐️ 946
  • Tags: llm inference local-ai model-serving openai-api
  • 最后活动时间: 2026-08-31

tensorrtllm_backend ​

NVIDIA Triton推理服务器的TensorRT-LLM后端，提供高性能LLM推理部署能力。

  • Stars: ⭐️ 944
  • Tags: tensorrt triton llm-inference nvidia
  • 最后活动时间: 2026-09-16

mistral-common ​

Mistral模型官方推理预处理库。提供标准化的模型输入处理流程。

  • Stars: ⭐️ 944
  • Tags: mistral llm inference preprocessing
  • 最后活动时间: 2026-09-14

Paddle2ONNX ​

飞桨模型转换为ONNX格式的工具，支持分类、检测、OCR等多种模型导出。

  • Stars: ⭐️ 943
  • Tags: onnx paddlepaddle model-conversion deployment
  • 最后活动时间: 2026-03-18

workbuddy2api ​

WorkBuddy 的 OpenAI 兼容反向代理，支持 OAuth 登录、多账号轮转、工具调用与流式响应，便于统一接入大模型服务。

  • Stars: ⭐️ 937
  • Tags: OpenAI Reverse-Proxy API-Gateway LLM
  • 最后活动时间: 2026-09-17

model_server ​

专为OpenVINO优化的可扩展推理服务器。支持边缘和云端部署，提供DAG流水线能力。

  • Stars: ⭐️ 931
  • Tags: openvino inference edge-ai kubernetes
  • 最后活动时间: 2026-09-17

oryx ​

基于Apache Spark和Kafka的Lambda架构框架，支持大规模实时机器学习应用。

  • Stars: ⭐️ 931
  • Tags: apache-spark apache-kafka machine-learning lambda-architecture
  • 最后活动时间: 2026-03-27

chatllm.cpp ​

纯C++实现的本地LLM推理框架，支持CPU和GPU实时聊天推理，轻量高效。

  • Stars: ⭐️ 928
  • Tags: LLM Inference C++ Local
  • 最后活动时间: 2026-09-07

xmanager ​

机器学习实验管理平台，支持大规模实验组织和追踪。

  • Stars: ⭐️ 921
  • Tags: experiment-management machine-learning deepmind
  • 最后活动时间: 2026-09-16

pplx-garden ​

Perplexity开源的推理技术生态园，提供多种AI模型推理技术方案。助力开发者高效部署和优化大模型推理服务。

  • Stars: ⭐️ 920
  • Tags: inference llm-serving open-source perplexity
  • 最后活动时间: 2026-09-02

MindAct ​

MindSpore 与 Hugging Face 的桥梁，可在 MindSpore 上无缝运行任意 Transformers/Diffusers 模型并获得加速。兼容 LLM、扩散模型与视觉语言模型，是国产深度学习框架生态的重要推理方案。

  • Stars: ⭐️ 920
  • Tags: MindSpore HuggingFace Transformers Diffusers LLM DeepLearning Inference
  • 最后活动时间: 2026-09-01

ZhiLight ​

高性能LLM推理加速引擎，针对Llama及其变体模型进行深度优化。

  • Stars: ⭐️ 908
  • Tags: Inference CUDA LLM Serving
  • 最后活动时间: 2026-03-18

Merlin ​

NVIDIA开源的端到端GPU加速推荐系统库，覆盖特征工程到生产部署。

  • Stars: ⭐️ 907
  • Tags: recommender-system gpu-acceleration deep-learning nvidia
  • 最后活动时间: 2026-07-22

mosec ​

高性能ML模型服务框架，支持动态批处理和CPU/GPU流水线。用Rust编写核心，充分利用计算资源。

  • Stars: ⭐️ 902
  • Tags: model-serving inference gpu rust
  • 最后活动时间: 2026-09-08

MLServer ​

多功能机器学习推理服务器，支持Scikit-learn、XGBoost、LightGBM等多种框架的多模型部署。

  • Stars: ⭐️ 899
  • Tags: model-serving inference mlflow scikit-learn xgboost
  • 最后活动时间: 2026-09-16

coderunner ​

为AI代理设计的本地沙箱环境，支持安全隔离的代码执行和容器化运行，保障AI代码执行的安全性。

  • Stars: ⭐️ 893
  • Tags: Sandbox Claude Code MCP Containerization
  • 最后活动时间: 2026-08-13

restheart ​

面向AI代理的MongoDB后端服务，支持MCP协议，为智能体提供数据持久化解决方案。

  • Stars: ⭐️ 887
  • Tags: ai-agents mcp-server mongodb database
  • 最后活动时间: 2026-09-15

vllm-studio ​

VLLM、Sglang、llama.cpp等LLM推理引擎的可视化控制面板，简化本地AI模型部署与管理。

  • Stars: ⭐️ 884
  • Tags: vllm llm inference local-ai dashboard
  • 最后活动时间: 2026-05-08

hyper-mcp ​

快速安全的MCP服务器，支持WebAssembly插件扩展，为AI应用提供灵活架构。

  • Stars: ⭐️ 881
  • Tags: MCP WebAssembly 插件化
  • 最后活动时间: 2026-09-17

dmlc-core ​

分布式机器学习核心组件库，为XGBoost等框架提供可扩展的基础设施支持。

  • Stars: ⭐️ 878
  • Tags: distributed-ml xgboost scalable
  • 最后活动时间: 2026-09-14

MCP ​

Jina AI官方远程MCP服务器，为AI应用提供模型上下文协议支持。

  • Stars: ⭐️ 856
  • Tags: mcp mcp-server jina-ai
  • 最后活动时间: 2026-09-15

vmlx ​

MLX 模型压缩与缓存系统，支持 L2 磁盘缓存、L1 分页和连续批处理优化。

  • Stars: ⭐️ 854
  • Tags: mlx llm kvcache-optimization mcp-server openai-api
  • 最后活动时间: 2026-09-17

darknet ​

经典开源深度学习框架，YOLO目标检测算法的原始实现，广泛用于实时目标检测应用。

  • Stars: ⭐️ 850
  • Tags: yolo object-detection neural-networks computer-vision
  • 最后活动时间: 2026-08-30

px-kvstore ​

专为AI应用设计的键值存储解决方案，支持大规模模型推理和数据缓存场景。

  • Stars: ⭐️ 849
  • Tags: key-value-store ai-infrastructure data-storage high-performance
  • 最后活动时间: 2026-07-06

mesh-llm ​

基于llama.cpp的分布式LLM推理参考实现，支持跨机器分布式推理，提供端到端演示。

  • Stars: ⭐️ 846
  • Tags: llm distributed-inference llama.cpp
  • 最后活动时间: 2026-04-23

onprem ​

离线环境LLM应用工具包，专为处理敏感数据和受限环境设计，支持本地化部署。

  • Stars: ⭐️ 845
  • Tags: llm offline privacy local-deployment
  • 最后活动时间: 2026-09-15

RTNeural ​

实时神经网络推理引擎，专为低延迟音频处理和嵌入式系统设计。

  • Stars: ⭐️ 844
  • Tags: real-time-inference neural-network audio-processing embedded
  • 最后活动时间: 2026-08-20

yokai ​

模块化、可观测的Go后端框架，内置MCP服务器支持，便于构建AI集成应用。

  • Stars: ⭐️ 842
  • Tags: go mcp mcp-server framework observability
  • 最后活动时间: 2026-07-16

Stan Math Library ​

C++模板库，支持任意阶自动微分（前向、反向和混合模式），内置概率建模、线性代数和方程求解函数。

  • Stars: ⭐️ 839
  • Tags: Automatic Differentiation C++ Probabilistic Modeling
  • 最后活动时间: 2026-09-17

Yatai ​

Kubernetes上的大规模模型部署平台。与BentoML深度集成，简化容器化模型服务管理。

  • Stars: ⭐️ 839
  • Tags: model-deployment kubernetes bentoml mlops
  • 最后活动时间: 2026-05-30

llamafarm ​

一站式AI模型部署平台，支持本地或远程快速部署模型、Agent、RAG和数据库管道。

  • Stars: ⭐️ 838
  • Tags: 模型部署 MLOps RAG
  • 最后活动时间: 2026-06-10

mcp-gateway ​

MCP服务器的反向代理和管理层，支持Kubernetes环境下的可扩展、会话感知的状态路由和生命周期管理。

  • Stars: ⭐️ 836
  • Tags: MCP LLM Infrastructure Kubernetes
  • 最后活动时间: 2026-09-11

speculators ​

用于在vLLM中构建、评估和存储LLM推理投机解码算法的统一库。

  • Stars: ⭐️ 836
  • Tags: llm inference vllm speculative-decoding
  • 最后活动时间: 2026-09-16

free-ai ​

提供兼容 OpenAI 的免费 AI API，支持 50+ 模型、流式输出、工具调用和图像生成。无需信用卡，通过 Discord 即可注册使用。

  • Stars: ⭐️ 835
  • Tags: ai-api openai-compatible llm-api api-gateway free-api
  • 最后活动时间: 2026-08-07

llm-server-docs ​

完整的本地私有LLM服务器部署文档，支持聊天、RAG、MCP、图像生成和TTS等功能。

  • Stars: ⭐️ 833
  • Tags: LLM Server Self-hosted Docker
  • 最后活动时间: 2026-06-30

llama3.java ​

纯Java实现的Llama 3推理引擎，支持SIMD加速，适合Java生态的LLM部署。

  • Stars: ⭐️ 817
  • Tags: llm java llama3 inference
  • 最后活动时间: 2026-04-24

lws ​

Kubernetes API用于部署LLM推理工作负载，支持Leader-Worker模式的Pod组复制管理。

  • Stars: ⭐️ 817
  • Tags: llm-inference kubernetes model-serving
  • 最后活动时间: 2026-09-17

deltafin ​

支持在单台设备上运行完整的 Kimi K3 模型，并提供兼容 OpenAI API 的本地服务器，方便进行聊天和代码代理开发。

  • Stars: ⭐️ 816
  • Tags: kimi kimi-k3 local-ai local-llm model-serving
  • 最后活动时间: 2026-08-06

kronk ​

Go语言本地开源模型推理引擎，集成llama.cpp，提供OpenAI兼容的高层API。

  • Stars: ⭐️ 815
  • Tags: llm-inference go llama-cpp local-ai openai-compatible
  • 最后活动时间: 2026-09-16

ThinkWatch ​

企业级 AI 堡垒机，提供安全的 AI API 和 MCP 访问代理，支持 RBAC、审计日志、限流和成本追踪。

  • Stars: ⭐️ 814
  • Tags: ai-gateway mcp-security ai-security mcp-gateway
  • 最后活动时间: 2026-09-15

hoop ​

一个高性能网关，为MCP、LLM、数据库和容器提供统一的访问策略与安全执行。

  • Stars: ⭐️ 813
  • Tags: mcp llm gateway proxy security
  • 最后活动时间: 2026-09-16

OmniInfer ​

跨设备的高效隐私LLM和VLM推理引擎，支持本地化部署。

  • Stars: ⭐️ 812
  • Tags: llm-inference vlm local-ai privacy
  • 最后活动时间: 2026-09-15

catwalk ​

LLM推理提供商和模型的集合工具，支持多种推理后端和模型格式，便于快速切换和部署。

  • Stars: ⭐️ 801
  • Tags: LLM Inference Model Serving
  • 最后活动时间: 2026-09-17

Qwen2API ​

将 QwenLM 大语言模型转换为 API 服务的工具，让模型能力更易集成和调用。

  • Stars: ⭐️ 795
  • Tags: qwen llm api model-serving
  • 最后活动时间: 2026-09-12

edgejs ​

专为边缘计算和AI工作负载设计的安全JavaScript运行时。提供高效、轻量级的模型部署与执行环境。

  • Stars: ⭐️ 794
  • Tags: edge-computing javascript-runtime ai-workloads model-serving
  • 最后活动时间: 2026-09-08

reverb ​

高效易用的机器学习数据存储和传输系统，专为ML研究设计。

  • Stars: ⭐️ 793
  • Tags: data-storage reinforcement-learning tensorflow
  • 最后活动时间: 2026-08-31

MagiAttention ​

面向超长上下文和异构数据训练的分布式注意力机制，实现线性可扩展性。

  • Stars: ⭐️ 789
  • Tags: distributed-attention long-context training scalability
  • 最后活动时间: 2026-04-21

one-api-pro ​

基于 one-api 架构级重构的企业级 AI API 网关，统一聚合 30+ 大模型接口。支持套餐订阅、多活集群、精确计费与渠道成本管控，适合企业多员工、多模型的统一管理与私有化部署。

  • Stars: ⭐️ 786
  • Tags: LLM API-Gateway AI-Gateway Model-Serving Billing One-API
  • 最后活动时间: 2026-09-17

clove ​

Claude.ai 反向代理服务，帮助开发者更灵活地调用 Claude API 服务。

  • Stars: ⭐️ 772
  • Tags: claude reverse-proxy api
  • 最后活动时间: 2026-03-28

gateway-api-inference-extension ​

Kubernetes Gateway API的推理扩展，为AI模型推理提供标准化的流量管理和路由能力。

  • Stars: ⭐️ 768
  • Tags: Kubernetes Inference API Gateway
  • 最后活动时间: 2026-09-15

SwiftLM ​

专为Apple Silicon设计的原生MLX Swift LLM推理服务器，支持OpenAI兼容API和100B+ MoE模型。

  • Stars: ⭐️ 768
  • Tags: mlx swift llm-inference apple-silicon openai-api on-device-ai
  • 最后活动时间: 2026-09-05

moon-bridge ​

一个用Go编写的协议转换与模型路由代理工具。对外暴露OpenAI Responses API，支持Anthropic、Google Gemini等多种上游协议的自动路由与转换。

  • Stars: ⭐️ 762
  • Tags: model-serving api-proxy llm openai anthropic
  • 最后活动时间: 2026-08-24

rvllm ​

高性能 Rust 实现的 LLM 推理引擎，可作为 vLLM 的直接替代方案。

  • Stars: ⭐️ 754
  • Tags: llm inference rust vllm serving
  • 最后活动时间: 2026-07-04

LightCompress ​

强大的大模型压缩工具包，支持LLM、VLM和视频生成模型的量化、剪枝和Token缩减。已被EMNLP 2024和AAAI 2026收录。

  • Stars: ⭐️ 749
  • Tags: Model Compression Quantization LLM Pruning
  • 最后活动时间: 2026-05-14

mlx-omni-server ​

基于Apple MLX框架的本地推理服务器，提供OpenAI兼容API，专为Apple Silicon优化。

  • Stars: ⭐️ 745
  • Tags: mlx local-inference openai-api apple-silicon
  • 最后活动时间: 2026-05-09

io ​

TensorFlow SIG-IO维护的数据集、流媒体和文件系统扩展库。

  • Stars: ⭐️ 739
  • Tags: tensorflow dataset streaming filesystem
  • 最后活动时间: 2026-06-25

mlops-coding-course ​

MLOps实战课程，教授如何构建、开发与维护企业级机器学习运维代码库。

  • Stars: ⭐️ 736
  • Tags: mlops machine-learning devops best-practices
  • 最后活动时间: 2026-08-24

yolort ​

YOLOv5跨平台推理运行时，支持TensorRT、ONNXRuntime、TVM等多种加速器部署。

  • Stars: ⭐️ 730
  • Tags: yolo inference tensorrt onnxruntime pytorch
  • 最后活动时间: 2026-04-10

mcpcan ​

MCP服务集中管理平台，支持容器化部署、服务监控和令牌验证，解决MCP服务安全与快速部署问题。

  • Stars: ⭐️ 729
  • Tags: MCP Container Kubernetes Platform
  • 最后活动时间: 2026-04-03

candle-vllm ​

高效的本地LLM推理和服务平台，提供OpenAI兼容的API服务器。

  • Stars: ⭐️ 726
  • Tags: inference llm api-server
  • 最后活动时间: 2026-09-17

mcp-proxy ​

MCP代理服务器，通过单一HTTP端点聚合和提供多个MCP资源服务。

  • Stars: ⭐️ 723
  • Tags: mcp mcp-server claude modelcontextprotocol
  • 最后活动时间: 2026-09-15

zerobox ​

轻量级跨平台进程沙箱工具，为AI智能体提供文件、网络和凭证控制的安全隔离环境。

  • Stars: ⭐️ 717
  • Tags: sandbox security llm-sandbox mcp process-isolation rust
  • 最后活动时间: 2026-05-17

ServerlessLLM ​

面向所有人的无服务器LLM服务框架。支持HuggingFace模型，降低大模型部署门槛。

  • Stars: ⭐️ 715
  • Tags: serverless llm-serving huggingface model-serving
  • 最后活动时间: 2026-09-04

llama-benchy ​

一个类似于 llama-bench 的性能基准测试工具，支持对各类大语言模型后端进行推理性能评估。

  • Stars: ⭐️ 715
  • Tags: llama benchmark llm inference
  • 最后活动时间: 2026-07-10

geotorch ​

PyTorch约束优化工具包，支持流形优化、正交性约束和正定矩阵等高级优化场景。

  • Stars: ⭐️ 710
  • Tags: pytorch optimization manifold deep-learning
  • 最后活动时间: 2026-06-07

Talos ​

Talos网络的GPU工作节点客户端，通过WebSocket提供开源模型推理服务并报告正常运行时间以获取奖励。

  • Stars: ⭐️ 710
  • Tags: ai gpu llm ollama distributed-computing
  • 最后活动时间: 2026-07-08

Gemini-FastAPI ​

将 Gemini 模型封装为 OpenAI 兼容的 API 接口，方便开发者无缝切换使用。

  • Stars: ⭐️ 708
  • Tags: fastapi gemini openai-api api-wrapper
  • 最后活动时间: 2026-09-07

kale ​

Kubeflow流水线的数据科学工具包，简化机器学习工作流的部署与管理。

  • Stars: ⭐️ 703
  • Tags: kubeflow kubeflow-pipelines machine-learning
  • 最后活动时间: 2026-09-15

pegainfer ​

纯 Rust + CUDA 实现的 LLM 推理引擎，无需 PyTorch，兼容 OpenAI API，支持从 Qwen3 到 Kimi-K2 的模型部署。

  • Stars: ⭐️ 702
  • Tags: rust cuda inference-engine llm-serving openai-api
  • 最后活动时间: 2026-09-16

triton-client ​

NVIDIA Triton推理服务器客户端库，支持Python、C++、Java等多语言模型部署与调用。

  • Stars: ⭐️ 701
  • Tags: triton inference-server model-serving grpc
  • 最后活动时间: 2026-09-15

stablehlo ​

向后兼容的ML计算算子集，受HLO/MHLO启发，用于跨框架模型移植。

  • Stars: ⭐️ 697
  • Tags: ml-compiler portable-ml hlo
  • 最后活动时间: 2026-09-11

UncommonRoute ​

智能LLM路由代理，实现82%成本节省，可作为OpenAI的即插即用替代方案。

  • Stars: ⭐️ 696
  • Tags: llm model-routing cost-optimization openai router
  • 最后活动时间: 2026-06-26

long-context-attention ​

统一序列并行注意力机制USP，支持长上下文Transformer模型的训练与推理。

  • Stars: ⭐️ 693
  • Tags: ring-attention sequence-parallel llm-training llm-inference
  • 最后活动时间: 2026-09-16

agentsight ​

基于eBPF的系统级AI智能体性能分析与追踪工具。提供深度的LLM可观测性，帮助开发者监控和优化智能体运行状态。

  • Stars: ⭐️ 693
  • Tags: agent ebpf llm observability
  • 最后活动时间: 2026-09-13

timber ​

经典ML模型的AOT编译器，将XGBoost、LightGBM等模型编译为C99推理代码，比Python快336倍。

  • Stars: ⭐️ 687
  • Tags: Model Serving Compiler Inference
  • 最后活动时间: 2026-04-16

ml-metadata ​

ML工作流元数据记录与检索工具，帮助管理机器学习开发流程。

  • Stars: ⭐️ 685
  • Tags: ml-metadata ml-pipeline workflow
  • 最后活动时间: 2026-08-14

ITensors.jl ​

Julia语言的高效张量计算与张量网络库，广泛应用于机器学习、量子计算和物理模拟领域。

  • Stars: ⭐️ 683
  • Tags: tensor-computations tensor-networks julia machine-learning
  • 最后活动时间: 2026-08-20

python_backend ​

NVIDIA Triton 推理服务器的官方 Python 后端，让开发者能够用 Python 轻松实现模型的预处理、后处理及其他推理业务逻辑。是构建 AI 模型服务管线的重要基础设施组件。

  • Stars: ⭐️ 683
  • Tags: triton inference-server model-serving python nvidia
  • 最后活动时间: 2026-09-11

databuff ​

AI原生的OpenTelemetry APM工具，利用多智能体在链路、指标和服务拓扑中进行根因分析。帮助开发者高效监控和排查微服务问题。

  • Stars: ⭐️ 681
  • Tags: ai-native apm opentelemetry observability multi-agent
  • 最后活动时间: 2026-09-16

icechunk ​

云原生事务性张量存储引擎，专为AI/ML工作负载设计，支持xarray和Zarr格式的高效数据管理。

  • Stars: ⭐️ 680
  • Tags: tensor-storage xarray zarr cloud-native
  • 最后活动时间: 2026-09-16

vidur ​

大规模LLM推理仿真框架，用于优化和模拟生产环境下的模型部署。

  • Stars: ⭐️ 679
  • Tags: inference simulation llm transformer vllm
  • 最后活动时间: 2026-08-24

OpenTinker ​

RL-as-a-Service基础设施平台，专为基础模型提供强化学习服务能力。

  • Stars: ⭐️ 677
  • Tags: RL Infrastructure Foundation Models
  • 最后活动时间: 2026-03-21

Fooocus-API ​

基于FastAPI的Fooocus API服务，为图像生成提供便捷的接口调用能力。

  • Stars: ⭐️ 672
  • Tags: fooocus api sdxl stable-diffusion fastapi
  • 最后活动时间: 2026-08-04

backend.ai ​

一个流线型的容器化计算集群平台，支持主流ML框架和多种编程语言，提供CUDA GPU、TPU、NPU等异构加速器支持。

  • Stars: ⭐️ 669
  • Tags: ML Infrastructure GPU Computing Container Platform
  • 最后活动时间: 2026-09-17

nest-simulator ​

脉冲神经网络模拟器，用于计算神经科学和类脑计算研究，支持大规模神经元网络仿真。

  • Stars: ⭐️ 668
  • Tags: neuroscience spiking-neural-networks simulation
  • 最后活动时间: 2026-09-15

agentos ​

沙箱的轻量级替代方案，可在隔离的Linux虚拟机中运行任何编程智能体，并内置智能体编排功能。

  • Stars: ⭐️ 667
  • Tags: sandbox agent-orchestration linux-vm wasm
  • 最后活动时间: 2026-09-12

zerogravity ​

兼容OpenAI、Anthropic和Gemini的代理服务，模拟真实Antigravity流量访问Google服务。

  • Stars: ⭐️ 658
  • Tags: OpenAI Anthropic Gemini Proxy
  • 最后活动时间: 2026-04-16

ai-dial-core ​

AI DIAL核心组件，提供统一的API接口访问多种聊天模型、嵌入模型和AI助手。

  • Stars: ⭐️ 658
  • Tags: Model Gateway API Proxy LLM Serving
  • 最后活动时间: 2026-09-03

libonnx ​

轻量级纯C99 ONNX推理引擎，专为嵌入式设备设计，支持硬件加速。

  • Stars: ⭐️ 652
  • Tags: ONNX Inference Embedded C99
  • 最后活动时间: 2026-07-07

NadirClaw ​

开源LLM路由器和AI成本优化器，自动将简单提示路由到便宜/本地模型，复杂提示路由到高级模型。兼容OpenAI API，可节省40-70%的AI API成本。

  • Stars: ⭐️ 652
  • Tags: llm-router ai-cost-optimization openai-proxy model-routing self-hosted
  • 最后活动时间: 2026-09-14

ck ​

社区驱动的AI/ML自动化与基准测试平台，基于MLPerf方法论帮助优化AI工作负载在不同硬件和软件环境中的性能。

  • Stars: ⭐️ 651
  • Tags: mlperf mlops benchmarking automation ai-optimization
  • 最后活动时间: 2026-09-14

llama-cpp-rs ​

llama.cpp 的 Rust 语言绑定，提供高效的本地 LLM 推理能力。

  • Stars: ⭐️ 650
  • Tags: llm rust inference llama-cpp
  • 最后活动时间: 2026-09-14

model-runner ​

Docker官方推出的模型运行工具，支持在Docker容器中快速部署和运行AI大语言模型，简化本地AI开发流程。

  • Stars: ⭐️ 650
  • Tags: docker llm model-serving inference
  • 最后活动时间: 2026-09-14

hugot ​

Golang语言的ONNX Transformer推理管道，支持在Go环境中运行NLP模型。

  • Stars: ⭐️ 648
  • Tags: golang onnx transformer-inference
  • 最后活动时间: 2026-09-16

lollms_hub ​

多实例Ollama代理服务器，提供API网关、负载均衡、速率限制和密钥安全管理功能。

  • Stars: ⭐️ 645
  • Tags: ollama api-gateway load-balancer proxy llm-serving
  • 最后活动时间: 2026-04-23

my-free-code ​

开源的多提供商AI网关，为Claude Code等编码智能体提供模型路由、流式输出、工具调用、推理与故障回退能力，并支持本地模型。适合需要统一接入多家模型服务的开发者。

  • Stars: ⭐️ 637
  • Tags: ai-gateway claude-code multi-provider model-routing llm
  • 最后活动时间: 2026-09-09

yolobox ​

AI模型安全运行沙盒工具，让你的AI模型在隔离环境中运行，保护主目录安全。

  • Stars: ⭐️ 635
  • Tags: ai-sandbox yolo containerization
  • 最后活动时间: 2026-08-26

mimo2codex ​

将 OpenAI Codex 的 Responses API 实时翻译为上游 Chat Completions API 的本地代理工具。支持多种主流大模型，实现不同 provider 之间的自动路由。

  • Stars: ⭐️ 635
  • Tags: codex deepseek proxy llm openai
  • 最后活动时间: 2026-07-04

casbin-gateway ​

专为AI和MCP服务设计的安全网关，支持HTTP代理和OAuth认证，为LLM应用提供企业级安全防护。

  • Stars: ⭐️ 634
  • Tags: AI Security LLM Gateway MCP Proxy
  • 最后活动时间: 2026-09-16

dlstreamer ​

Intel开源的深度学习流媒体分析框架，基于GStreamer构建云端和边缘媒体分析管道。

  • Stars: ⭐️ 633
  • Tags: deep-learning gstreamer inference openvino edge-ai
  • 最后活动时间: 2026-09-17

SINQ ​

新型快速高质量量化方法，可在保持精度的同时压缩大语言模型。

  • Stars: ⭐️ 630
  • Tags: quantization llm-compression model-optimization
  • 最后活动时间: 2026-05-08

llms ​

LLM客户端、服务器API和UI工具集，提供完整的模型服务解决方案。

  • Stars: ⭐️ 628
  • Tags: LLM API Server
  • 最后活动时间: 2026-09-02

pegainfer ​

纯Rust与CUDA构建的LLM推理引擎，无需PyTorch依赖。支持OpenAI兼容API，可高效服务从Qwen3到Kimi-K2等多种大模型。

  • Stars: ⭐️ 628
  • Tags: rust cuda llm inference-engine model-serving
  • 最后活动时间: 2026-08-06

setup-gateway ​

面向 Claude Code、OpenCode 与 Codex CLI 的零依赖 OpenAI 兼容网关配置器，支持 LiteLLM/OpenRouter，并提供交互式与 CI 配置、原子备份恢复及内置自检。

  • Stars: ⭐️ 628
  • Tags: gateway openai-compatible litellm openrouter claude-code
  • 最后活动时间: 2026-08-05

ollama_proxy_server ​

Ollama多实例代理服务器，提供API密钥安全管理、智能负载均衡和用户权限管理，适合团队协作部署。

  • Stars: ⭐️ 623
  • Tags: Ollama Proxy Load Balancer
  • 最后活动时间: 2026-04-23

optimistix ​

基于JAX+Equinox的非线性优化库，支持根查找、最小二乘等优化任务。

  • Stars: ⭐️ 621
  • Tags: optimization jax deep-learning equinox
  • 最后活动时间: 2026-08-11

ai00_server ​

一体化 RWKV 运行时服务，集成嵌入、RAG、AI 智能体等功能，兼容 OpenAI API。

  • Stars: ⭐️ 620
  • Tags: rwkv llm rag openai-api aiagents
  • 最后活动时间: 2026-06-09

openinfer ​

纯Rust与CUDA构建的LLM推理引擎，无需PyTorch依赖。兼容OpenAI API，支持从Qwen3到Kimi-K2等多种模型的高效服务部署。

  • Stars: ⭐️ 620
  • Tags: rust cuda llm-serving inference-engine openai-api
  • 最后活动时间: 2026-08-02

informers ​

Ruby语言的高性能Transformer推理库，支持命名实体识别、问答和情感分析任务。

  • Stars: ⭐️ 615
  • Tags: ruby transformer-inference nlp
  • 最后活动时间: 2026-06-29

ejml ​

高性能Java线性代数库，支持密集矩阵、稀疏矩阵、实数和复数矩阵运算，是机器学习和AI开发的基础数学库。

  • Stars: ⭐️ 614
  • Tags: linear-algebra matrix machine-learning java
  • 最后活动时间: 2026-07-31

litData ​

通过优化和修复数据加载流程来显著加速模型训练。专为提升AI开发效率而设计的数据基础设施工具。

  • Stars: ⭐️ 609
  • Tags: Data Loading Machine Learning Training Optimization Data Pipeline
  • 最后活动时间: 2026-07-28

Patch-NetVLAD ​

CVPR2021论文实现，多尺度融合局部全局描述符用于地点识别。基于深度学习的视觉定位方案，适用于SLAM和机器人导航场景。

  • Stars: ⭐️ 593
  • Tags: place-recognition visual-localization deep-learning netvlad computer-vision
  • 最后活动时间: 2026-07-15

Awesome-DiT-Inference ​

Diffusion Transformer推理优化论文与代码合集，涵盖采样加速、量化、并行计算等核心技术。

  • Stars: ⭐️ 591
  • Tags: DiT 推理优化 量化 Diffusion
  • 最后活动时间: 2026-06-13

agentos ​

沙箱的轻量级替代方案，可在隔离的Linux虚拟机中运行任何编程智能体，并内置智能体编排功能。

  • Stars: ⭐️ 588
  • Tags: sandbox agent-orchestration linux-vm wasm
  • 最后活动时间: 2026-07-04

BMInf ​

大模型高效推理框架，支持在有限GPU资源上运行大规模预训练模型。

  • Stars: ⭐️ 585
  • Tags: large-models inference gpu deep-learning
  • 最后活动时间: 2026-07-07

openvino.genai ​

基于OpenVINO运行时的生成式AI推理框架，提供简洁的C++/Python API，支持高效部署大语言模型。

  • Stars: ⭐️ 585
  • Tags: generative-ai openvino inference llm
  • 最后活动时间: 2026-09-16

stp ​

简单定理证明器，一个针对位向量优化的高效SMT求解器，常用于密码学和符号执行。

  • Stars: ⭐️ 584
  • Tags: smt-solver theorem-prover bitvectors symbolic-execution
  • 最后活动时间: 2026-08-11

awesome-sandbox ​

精选的AI代码沙盒环境资源列表，为AI模型执行和测试提供安全隔离的环境。

  • Stars: ⭐️ 582
  • Tags: sandbox ai code-execution isolated-environment
  • 最后活动时间: 2026-08-12

commandcode-proxy ​

将 Command Code API 转为兼容 OpenAI 与 Anthropic 的反向代理，便于现有客户端与工具无缝接入。

  • Stars: ⭐️ 580
  • Tags: reverse-proxy openai-compatible anthropic api-gateway
  • 最后活动时间: 2026-09-16

onnx2tflite ​

模型转换工具，支持ONNX到Keras或TFLite的转换，便于模型部署和量化。

  • Stars: ⭐️ 579
  • Tags: onnx tflite model-conversion deployment
  • 最后活动时间: 2026-06-21

clip.cpp ​

纯C/C++实现的CLIP模型推理库，无额外依赖，支持高效图像搜索和嵌入提取。

  • Stars: ⭐️ 569
  • Tags: clip cpp ggml image-search multimodal
  • 最后活动时间: 2026-08-24

bunqueue ​

基于 Bun 构建的高性能任务队列，支持 SQLite 持久化、死信队列和定时任务。专为 AI 智能体和自动化工作流设计，提供轻量级的任务调度与后台处理能力。

  • Stars: ⭐️ 568
  • Tags: ai-agents task-queue bun background-jobs cron-scheduler
  • 最后活动时间: 2026-09-09

Adrian ​

开源的运行时AI智能体安全工具，用于实时监控和控制AI代理。能够捕获恶意工具调用、提示词注入和策略漂移，在代理执行操作前进行拦截。

  • Stars: ⭐️ 565
  • Tags: agent-security agentic-ai ai-governance llm-security runtime-security
  • 最后活动时间: 2026-09-15

tessera ​

一个从头构建的LLM蒸馏与服务引擎，包含自定义Triton/CUDA内核、FSDP蒸馏、分页KV连续批处理和推测解码等高级特性。

  • Stars: ⭐️ 564
  • Tags: llm inference-engine knowledge-distillation cuda triton rust
  • 最后活动时间: 2026-06-05

crater ​

云原生 AI 训练与推理平台，支持 Kubernetes 部署，集成 PyTorch、TensorFlow、vLLM 等主流框架。

  • Stars: ⭐️ 558
  • Tags: kubernetes ai-training inference pytorch vllm ray
  • 最后活动时间: 2026-09-13

HolisticTraceAnalysis ​

用于分析PyTorch执行追踪的库，帮助开发者优化深度学习模型的性能瓶颈。

  • Stars: ⭐️ 555
  • Tags: pytorch profiling tracing performance deep-learning
  • 最后活动时间: 2026-09-11

mcp-registry ​

Docker 官方的 MCP（Model Context Protocol）注册表，方便开发者管理和部署模型上下文协议服务。

  • Stars: ⭐️ 554
  • Tags: mcp docker registry model-serving
  • 最后活动时间: 2026-09-16

LLM-API-Key-Proxy ​

通用 LLM 网关代理，提供兼容 OpenAI/Anthropic 的统一 API 端点，支持多提供商转换与智能负载均衡。

  • Stars: ⭐️ 553
  • Tags: llm api-gateway proxy load-balancing
  • 最后活动时间: 2026-09-16

KsanaLLM ​

KsanaLLM 是一个高性能的大语言模型（LLM）推理引擎，针对主流开源模型进行深度优化，提供高效的模型部署与在线服务能力。

  • Stars: ⭐️ 548
  • Tags: LLM Inference Model-Serving Deep-Learning
  • 最后活动时间: 2026-08-27

aiproxy ​

高性能AI网关，支持OpenAI、Claude、Gemini等协议作为入口。具备智能错误处理、多渠道管理、多租户隔离及全面监控功能。

  • Stars: ⭐️ 545
  • Tags: ai-gateway proxy openai claude gemini llm
  • 最后活动时间: 2026-09-14

jpmml-sklearn ​

将Scikit-Learn机器学习流水线转换为PMML格式的Java库，便于模型部署与跨平台迁移。

  • Stars: ⭐️ 540
  • Tags: pmml scikit-learn model-deployment machine-learning
  • 最后活动时间: 2026-06-30

melior ​

Rust语言的MLIR绑定库，为机器学习编译器基础设施提供原生支持，适用于构建高性能AI模型优化工具。

  • Stars: ⭐️ 540
  • Tags: mlir llvm rust compiler
  • 最后活动时间: 2026-09-11

aikit ​

开源大模型微调、构建和部署的一站式工具，支持Docker和Kubernetes环境下的LLM服务化。

  • Stars: ⭐️ 539
  • Tags: LLM Deployment Docker
  • 最后活动时间: 2026-09-14

lineax ​

基于JAX和Equinox的线性求解器库，为深度学习提供高效的线性代数运算支持。

  • Stars: ⭐️ 539
  • Tags: jax linear-algebra equinox solver
  • 最后活动时间: 2026-04-20

vLLM-Moet ​

vLLM 补丁与手写 SM120 SASS 内核，在消费级 Blackwell 显卡上通过 2-bit MoE 专家与 FP4 delta 缓存恢复精度，达到官方 FP4 检查点的质量。

  • Stars: ⭐️ 538
  • Tags: vllm moe fp4 quantization blackwell inference
  • 最后活动时间: 2026-08-28

FlagScale ​

基于开源项目构建的大模型工具包，提供模型训练、推理和部署的完整解决方案。

  • Stars: ⭐️ 537
  • Tags: large-language-models llm-toolkit model-inference
  • 最后活动时间: 2026-09-14

dario ​

本地运行的OpenAI/Anthropic兼容代理，可将Claude与ChatGPT订阅同时供给Cursor、Cline、Aider、Claude Code等工具。支持限额自动故障转移、多账号池化与漂移检测，保障长时Agent任务稳定。

  • Stars: ⭐️ 537
  • Tags: llm-proxy api-gateway claude openai-compat cursor
  • 最后活动时间: 2026-09-17

taOS ​

自托管的AI智能体操作系统，默认离线运行，保障数据隐私与硬件自主权。支持多框架群聊、本地大模型推理及消费级硬件自动集群。

  • Stars: ⭐️ 535
  • Tags: self-hosted local-llm ai-agents llm-inference vllm
  • 最后活动时间: 2026-09-17

traceml ​

Polyaxon的ML追踪与可视化引擎，支持数据漂移检测、模型可解释性分析和交互式仪表盘。

  • Stars: ⭐️ 534
  • Tags: MLOps Visualization Drift Detection
  • 最后活动时间: 2026-09-15

smg ​

基于 Rust 的引擎无关 LLM 网关，全面兼容 OpenAI 与 Anthropic API，支持 vLLM、SGLang、TensorRT-LLM 等多种推理后端。首创 gRPC 管线与 KV 缓存感知路由，内置多租户认证、MCP 与 WASM 插件支持。

  • Stars: ⭐️ 533
  • Tags: llm-gateway inference openai anthropic vllm mcp rust routing
  • 最后活动时间: 2026-09-17

skops ​

HuggingFace出品的Python库，帮助分享和部署scikit-learn机器学习模型。

  • Stars: ⭐️ 527
  • Tags: MLOps scikit-learn Deployment
  • 最后活动时间: 2026-09-16

model_analyzer ​

Triton推理服务器模型分析工具，帮助理解模型的计算和内存需求。

  • Stars: ⭐️ 527
  • Tags: inference gpu performance-analysis deep-learning
  • 最后活动时间: 2026-09-16

cosmos-framework ​

NVIDIA Cosmos 世界模型的官方推理与训练框架，为物理 AI（Physical AI）提供高性能的模型运行与训练支持。适合从事世界模型与机器人仿真研究的开发者。

  • Stars: ⭐️ 527
  • Tags: NVIDIA World-Models Physical-AI Inference Training
  • 最后活动时间: 2026-09-15

OpenArc ​

面向 Intel 设备的推理引擎，支持通过 OpenAI 兼容端点部署 LLM、VLM、Whisper 及嵌入等多种模型。

  • Stars: ⭐️ 524
  • Tags: openvino intel inference-engine llm-serving openai-api
  • 最后活动时间: 2026-09-17

vattention ​

一种用于大语言模型服务的动态内存管理系统，无需依赖PagedAttention即可高效运行。旨在优化LLM推理时的显存分配与资源调度。

  • Stars: ⭐️ 523
  • Tags: llm memory-management model-serving inference
  • 最后活动时间: 2026-08-24

dbt-data-reliability ​

用于捕获元数据和测试结果以检测异常的dbt数据可靠性包。它为Elementary Cloud的全面数据和AI控制平面提供支持。

  • Stars: ⭐️ 523
  • Tags: data-observability data-pipelines dbt anomaly-detection
  • 最后活动时间: 2026-09-08

d-inference ​

利用闲置 Mac 设备构建的私有推理网络，实现分布式大模型推理。

  • Stars: ⭐️ 522
  • Tags: inference distributed llm macos
  • 最后活动时间: 2026-09-16

OnnxSlim ​

一个用于优化ONNX模型的工具包，能有效精简模型结构并提升推理性能。非常适合在模型部署前进行轻量化处理。

  • Stars: ⭐️ 518
  • Tags: onnx onnxruntime optimization model-serving
  • 最后活动时间: 2026-09-07

FAST ​

高性能医学图像处理与神经网络推理可视化框架，支持GPU加速和流式处理。

  • Stars: ⭐️ 516
  • Tags: Medical Imaging Deep Learning Inference Visualization
  • 最后活动时间: 2026-09-16

floe-guard ​

专为 AI 语音智能体设计的预算网关与花费计量器，支持实时监控 STT、TTS 及 LLM 调用成本并强制熔断。

  • Stars: ⭐️ 516
  • Tags: ai-agents cost-tracking voice-ai telephony
  • 最后活动时间: 2026-08-21

prometheus-mcp-server ​

一个模型上下文协议（MCP）服务器，允许AI代理和LLM通过标准化接口查询和分析Prometheus指标。

  • Stars: ⭐️ 515
  • Tags: ai mcp prometheus llm devops
  • 最后活动时间: 2026-08-05

dotLLM ​

使用 .NET 编写的 LLM 推理引擎。

  • Stars: ⭐️ 515
  • Tags: dotnet inference-engine llm-serving
  • 最后活动时间: 2026-07-30

zinc ​

基于Zig语言编写的本地大语言模型推理引擎，专为AMD GPU和Apple Silicon优化。支持Qwen3等模型的高效本地部署与运行。

  • Stars: ⭐️ 514
  • Tags: llm inference amd-gpu local-ai
  • 最后活动时间: 2026-09-14

restai ​

开源AIaaS平台，支持多种公共和本地LLM，集成RAG、嵌入、图像音频生成、聊天部署等完整功能。

  • Stars: ⭐️ 512
  • Tags: ai-platform llm rag ollama openai-api
  • 最后活动时间: 2026-09-08

ome ​

Open Model Engine (OME) 是一个 Kubernetes Operator，用于 LLM 推理服务、GPU 调度与模型生命周期管理，兼容 SGLang、vLLM、TensorRT-LLM 和 Triton 等主流推理引擎。

  • Stars: ⭐️ 508
  • Tags: kubernetes llm-serving gpu-scheduling vllm sglang model-serving
  • 最后活动时间: 2026-09-16

llmman ​

灵活的 LLM 运行时，可将任意智能体（如 Claude Code、Codex）运行在任意模型上，模型以标准 OCI 镜像存储分发。支持 llama.cpp、vLLM、MLX 等多种推理后端，实现智能体与模型解耦。

  • Stars: ⭐️ 506
  • Tags: llm oci agents vllm llama-cpp
  • 最后活动时间: 2026-09-17

streamlit-fastapi-model-serving ​

使用Streamlit和FastAPI构建PyTorch模型服务Web应用的示例项目。

  • Stars: ⭐️ 504
  • Tags: pytorch fastapi streamlit model-serving docker
  • 最后活动时间: 2026-03-27

rust-autograd ​

Rust语言实现的张量计算与自动微分库，提供类似TensorFlow的可微分操作能力。

  • Stars: ⭐️ 503
  • Tags: autograd rust tensor deep-learning
  • 最后活动时间: 2026-06-02

SDKs & APIs ​

Omega-AI ​

基于Java的深度学习框架，支持自动求导、多线程与GPU运算(CUDA/CUDNN)，可快速搭建神经网络。

  • Stars: ⭐️ 860
  • Tags: deeplearning neural-network java cuda ai
  • 最后活动时间: 2026-09-02

未分类 (Others) ​

phoenix ​

开源AI可观测性平台，支持LLM应用追踪、实验评估和性能监控，帮助开发者调试和优化AI系统。

  • Stars: ⭐️ 11.5k
  • Tags: LLMOps Observability Evaluation
  • 最后活动时间: 2026-09-17

zarr-python ​

Python实现的分块压缩N维数组库，广泛用于机器学习和科学计算中的大规模数据存储与处理。

  • Stars: ⭐️ 2.1k
  • Tags: arrays data-storage scientific-computing
  • 最后活动时间: 2026-09-15

fann ​

快速人工神经网络库，用C语言实现的轻量级神经网络框架，适合嵌入式系统和实时应用。

  • Stars: ⭐️ 1.8k
  • Tags: neural-network machine-learning c embedded
  • 最后活动时间: 2026-07-06

ml-compiler-opt ​

LLVM机器学习引导优化基础设施，利用ML技术提升编译器优化效果。

  • Stars: ⭐️ 798
  • Tags: llvm compiler-optimization machine-learning
  • 最后活动时间: 2026-08-23

OpenHuFu ​

开源数据联邦系统，支持多数据库间的安全协作查询，集成联邦学习与差分隐私技术保障数据安全。

  • Stars: ⭐️ 731
  • Tags: federated-learning differential-privacy data-federation privacy-preserving
  • 最后活动时间: 2026-07-23

xprof ​

专为机器学习设计的性能分析与调优工具，帮助开发者优化ML模型的运行效率和资源利用率。

  • Stars: ⭐️ 577
  • Tags: profiling machine-learning performance-analysis
  • 最后活动时间: 2026-09-14