Инструменты LLM для производства
Способы программирования
Из-за сильного понимания и генерирующей способности этой волны LLM, командное программирование, которое заботится о деталях, похоже, больше не требуется, а декларативное программирование, которое сосредоточивается на процессах или возможностях pipeline бизнес-логики, стало основным «программированием», поэтому мы видим, что новички, включая LCEL, DSPy, Semantic-kernel, начинают сосредоточиваться «вверх», сосредоточиваясь на возможностях бизнес-логики, или это предвещает подход DAG, похожий на Airflow, Станет ли это новым поколением программистов?
Общая сумма
Инструмент Prompt
LangSmith и Azure Prompt Flow
Языки программирования
Python или JavaScript
Разработка рамок / инструментов для организации
Langchain или семитское ядро
Фреймворк API / архитектура сервисной коробки
FastAPI или Next.js
Провайдер облачного хостинга
Render (AWS Lamada) или Vercel
Создание приложений LLM
| 分类 | Name | Star数量 | 备注 | 学习 |
|---|---|---|---|---|
| 框架 | LangChain | 77 | 【必学】 | * |
| LlamaIndex | 29 | 【必学】专注于RAG，Python，JS SDK比较差 | * | |
| Semantic-kernel | 17 | 【不确定？】C#，Python，Java | ? | |
| haystack | 13 | 有了LangChain可能就不需要这个了 | ||
| DSPy | 7 | 太学术了？The framework for programming—not prompting—foundation models | ||
| Agent | SuperAgent | 4 | 这个感觉很专业，有时间再学习 | ? |
| Rift | 3 | 专门针对程序员 | ||
| AutoGen | 22 | |||
| Camel | 4 | |||
| GPTs | OpenGPTs | 6 | LangChain出品 | |
| 低代码 | LangFlow | LangChain可视化 | ||
| LiteLLM | ||||
| Flowise | 21 | |||
| Langflow | 14 | |||
| PromptChainer | 商业 | 感觉做的很专业 | ||
| RAG | vectara | 闭源 | 非常专业的RAG商业软件；也有开源项目；用户可以将PDF、Word、PPT、RTF等文件数据上传至Vectara平台中，构建数据搜索引擎。 |
Архивирование и наблюдение
| 分类 | Name | Star数量 | 备注 |
|---|---|---|---|
| 观察 | Obsidian Copilot | 一个有趣的方法，用于如何使用语义搜索和 OpenSearch 的 BM25 实现 | |
| Tanuki | 一个使用装饰器进行数据验证的 LLM 框架 | ||
| griptape | 1.5 | 一个具有稍微更好的内部编码标准的 langchain 替代品 | |
| guidance | 16 | 比传统的提示或链接更有效地控制现代语言模型 | |
| intructor | 3.6 | ||
| Llmflows | 0.5 | langchain 的另一个替代品，但在定义工作流程方面有一个有趣的方法 | |
| txtai | 6.5 | 有用于聊天、医学/科学论文工作流程、开发者语义搜索以及标题和故事文本语义搜索的衍生产品 | |
| LiteLLM | 5.7 | 一个简单、轻量级的 LLM 封装器 | |
| 归档 | Chidori | 1.2 | |
| AutoChains | 已经3个月没更新 | ||
| MiniChain | 1.2 | 已经3个月没更新 | |
| SimpleAIChat | 3.3 | 已经7个月没更新 |
Мониторинг и анализ
Услуги LLM на производственном уровне требуют:
-
Отладка Prompt
-
Prompt Управление версиями
-
Показатели, относящиеся к системе испытаний / верификации
-
Управление наборами данных
-
Мониторинг и статистика различных показателей: посещения, время отклика, стоимость токенов и т. д.
| 分类 | Name | Star数量 | 备注 |
|---|---|---|---|
| SaaS | LangSmith | N/A | |
| 开源 | LangFuse | 2 | |
| 开源 | Prompt Flow | 7 | |
| Helicone | 1.2 |
Производственный уровень LLM App обслуживание платформы
-
-
- LangSmith * *: Официальная платформа LangChain, сервис SaaS, * * Не открытый исходный код * *
-
-
-
- [LangFuse] (https: / / github.com / langfuse / langfuse) * *: * * Открытый исходный код * * + SaaS, LangSmith, интеграция с LangChain, стыковка с OpenAI API (2.1K)
-
-
-
- [Prompt Flow] (https: / / www.example.com tab = readme-ov-file) * *: Microsoft * * с открытым исходным кодом * * + облачный сервис Azure AI с интеграцией Semantic Kernel (7.4K)
-
Быстрый поток
Обучение
https://microsoft.github.io/promptflow/how-to-guides/quick-start.html
Компоненты пользовательского интерфейса
LangUI(1.6K)
agentlabs(0.5K)
Прочие
| 分类 | Name | Star数量 | 备注 |
|---|---|---|---|
| LCEL | |||
| Python 模板语言 | Jinja2 | ||
Референс
| 分类 | Name | Star数量 | 备注 | |
|---|---|---|---|---|
| 框架 | Obsidian Copilot | 一个有趣的方法，用于如何使用语义搜索和 OpenSearch 的 BM25 实现 | ||
| Tanuki | 个使用装饰器进行数据验证的 LLM 框架 | |||
| LiteLLM | 5.7 | 一个简单、轻量级的 LLM 封装器 | ||
| AutoChain | 1.7 | langchain 的另一个替代品 | ||
| griptape | 1.5 | 一个具有稍微更好的内部编码标准的 langchain 替代品 | ||
| txtai | 6.5 | has spinoffs for chat, workflows for medical/scientific papers, semantic search for developers and semantic search for headlines and story text 有用于聊天、医学/科学论文工作流程、开发者语义搜索以及标题和故事文本语义搜索的衍生产品 | ||
| Llmflows | 0.5 | langchain 的另一个替代品，但在定义工作流程方面有一个有趣的方法 | ||
| guidance | 16 | 比传统的提示或链接更有效地控制现代语言模型 | * | |
| 库 | intructor | 3.6 | * |
-
- E2B: Фреймворки и инструменты для продуктов ИИ * *
| Category | Tools/Platforms |
|---|---|
| Monitoring, Observability, Analytics | Langsmith, Helicone, langfuse, context |
| Frontend | AgentLabs |
| Runtime for LLMs | E2B |
| Building frameworks & platforms | Langchain, Haystack by deepset, Superagent, Poe, GenWorlds, LiteLLM, Rift by Morph, AutoGen, Vercel AI SDK, OpenGPTs, Huggging Face Agents, Fixie |
| Data integration, memory management | vectara, LlamaIndex, ABACUS.AI, cadea, SID Memory |
| API and routers for LLMs | Genoss GPT, Martian, OpenRouter |
| Libraries for building AI products | CAMEL, ChatterBot（5年没更新了） |
| Orchestration | AGIXT |
| Building & deploying LLMs | BANANA |
