Herramientas LLM de grado de producción
Programación Modo
Debido a la poderosa comprensión y capacidad de generación de esta ola de LLM, la programación imperativa que presta atención a los detalles ya no parece necesaria, y la programación declarativa que se centra en el proceso o la capacidad de tubería de la orquestación lógica de negocio se ha convertido en el modo de "programación" dominante. Por lo tanto, vemos que los novatos, incluidos LCEL, DSPy y el kernel semántico, están comenzando a prestar atención "alza" y centrarse principalmente en la capacidad de orquestación lógica de negocio, lo que puede indicar un enfoque DAG similar a Airflow.¿Se convertirá en una nueva generación de paradigmas de programación?
En general
Herramientas Prompt
LangSmith y Azure Prompt Flow
Lenguaje de programación
Python o JavaScript
Marco de desarrollo / herramienta de orquestación
El kernel semítico o Langchain
API Framework / Arquitectura de Service Box
FastAPI o Next.js
Proveedores de Cloud Hosting
Render (AWS Lamada) o Vercel
Construir aplicaciones LLM
| 分类 | Name | Star数量 | 备注 | 学习 |
|---|---|---|---|---|
| 框架 | LangChain | 77 | 【必学】 | * |
| LlamaIndex | 29 | 【必学】专注于RAG，Python，JS SDK比较差 | * | |
| Semantic-kernel | 17 | 【不确定？】C#，Python，Java | ? | |
| haystack | 13 | 有了LangChain可能就不需要这个了 | ||
| DSPy | 7 | 太学术了？The framework for programming—not prompting—foundation models | ||
| Agent | SuperAgent | 4 | 这个感觉很专业，有时间再学习 | ? |
| Rift | 3 | 专门针对程序员 | ||
| AutoGen | 22 | |||
| Camel | 4 | |||
| GPTs | OpenGPTs | 6 | LangChain出品 | |
| 低代码 | LangFlow | LangChain可视化 | ||
| LiteLLM | ||||
| Flowise | 21 | |||
| Langflow | 14 | |||
| PromptChainer | 商业 | 感觉做的很专业 | ||
| RAG | vectara | 闭源 | 非常专业的RAG商业软件；也有开源项目；用户可以将PDF、Word、PPT、RTF等文件数据上传至Vectara平台中，构建数据搜索引擎。 |
Archivar y observar
| 分类 | Name | Star数量 | 备注 |
|---|---|---|---|
| 观察 | Obsidian Copilot | 一个有趣的方法，用于如何使用语义搜索和 OpenSearch 的 BM25 实现 | |
| Tanuki | 一个使用装饰器进行数据验证的 LLM 框架 | ||
| griptape | 1.5 | 一个具有稍微更好的内部编码标准的 langchain 替代品 | |
| guidance | 16 | 比传统的提示或链接更有效地控制现代语言模型 | |
| intructor | 3.6 | ||
| Llmflows | 0.5 | langchain 的另一个替代品，但在定义工作流程方面有一个有趣的方法 | |
| txtai | 6.5 | 有用于聊天、医学/科学论文工作流程、开发者语义搜索以及标题和故事文本语义搜索的衍生产品 | |
| LiteLLM | 5.7 | 一个简单、轻量级的 LLM 封装器 | |
| 归档 | Chidori | 1.2 | |
| AutoChains | 已经3个月没更新 | ||
| MiniChain | 1.2 | 已经3个月没更新 | |
| SimpleAIChat | 3.3 | 已经7个月没更新 |
Monitorización y análisis
Los servicios de LLM a nivel de producción requieren:
-
Debugging de Prompt
-
Gestión de versiones prompt
-
Indicadores relevantes para el sistema de prueba / verificación
-
Datos de gestión
-
Monitoreo y estadísticas de varias métricas: visitas, tiempo de respuesta, tasas de token, etc.
| 分类 | Name | Star数量 | 备注 |
|---|---|---|---|
| SaaS | LangSmith | N/A | |
| 开源 | LangFuse | 2 | |
| 开源 | Prompt Flow | 7 | |
| Helicone | 1.2 |
Plataforma de mantenimiento de aplicaciones LLM de nivel productivo
-
-
- LangSmith * *: Plataforma oficial de LangChain, servicio SaaS, * * No de código abierto * *
-
-
-
- [LangFuse] (https://github.com/langfuse/langfuse) * *: * * código abierto * * + SaaS, LangSmith Ping, puede integrar LangChain, acoplar OpenAI API (2.1K)
-
-
-
- Flujo rápido tab=readme-ov-file)**: Microsoft * * código abierto * * + Servicios de nube de Azure AI con integración del Kernel Semántico (7.4K)
-
Flujo inmediato
Aprendiendo
https://microsoft.github.io/promptflow/how-to-guides/quick-start.html
Componentes de UI
LangUI(1.6K)
agentlabs(0.5K)
Otros
| 分类 | Name | Star数量 | 备注 |
|---|---|---|---|
| LCEL | |||
| Python 模板语言 | Jinja2 | ||
Referendum
| 分类 | Name | Star数量 | 备注 | |
|---|---|---|---|---|
| 框架 | Obsidian Copilot | 一个有趣的方法，用于如何使用语义搜索和 OpenSearch 的 BM25 实现 | ||
| Tanuki | 个使用装饰器进行数据验证的 LLM 框架 | |||
| LiteLLM | 5.7 | 一个简单、轻量级的 LLM 封装器 | ||
| AutoChain | 1.7 | langchain 的另一个替代品 | ||
| griptape | 1.5 | 一个具有稍微更好的内部编码标准的 langchain 替代品 | ||
| txtai | 6.5 | has spinoffs for chat, workflows for medical/scientific papers, semantic search for developers and semantic search for headlines and story text 有用于聊天、医学/科学论文工作流程、开发者语义搜索以及标题和故事文本语义搜索的衍生产品 | ||
| Llmflows | 0.5 | langchain 的另一个替代品，但在定义工作流程方面有一个有趣的方法 | ||
| guidance | 16 | 比传统的提示或链接更有效地控制现代语言模型 | * | |
| 库 | intructor | 3.6 | * |
-
- E2B: Marcos y herramientas para productos de IA * *
| Category | Tools/Platforms |
|---|---|
| Monitoring, Observability, Analytics | Langsmith, Helicone, langfuse, context |
| Frontend | AgentLabs |
| Runtime for LLMs | E2B |
| Building frameworks & platforms | Langchain, Haystack by deepset, Superagent, Poe, GenWorlds, LiteLLM, Rift by Morph, AutoGen, Vercel AI SDK, OpenGPTs, Huggging Face Agents, Fixie |
| Data integration, memory management | vectara, LlamaIndex, ABACUS.AI, cadea, SID Memory |
| API and routers for LLMs | Genoss GPT, Martian, OpenRouter |
| Libraries for building AI products | CAMEL, ChatterBot（5年没更新了） |
| Orchestration | AGIXT |
| Building & deploying LLMs | BANANA |
