vllm本地 QWQ-32B模型，app.llm:ask_tool:260 - API error: Connection error.

[HanJu-Chen]

我本地用vllm启动了一个QWQ-32B模型，报错。

2025-03-10 12:20:50.186 | WARNING | main:main:19 - Processing your request...
2025-03-10 12:20:50.186 | INFO | app.agent.base:run:137 - Executing step 1/30
2025-03-10 12:20:51.414 | ERROR | app.llm:ask_tool:260 - API error: Connection error.
2025-03-10 12:20:53.777 | ERROR | app.llm:ask_tool:260 - API error: Connection error.
2025-03-10 12:20:56.502 | ERROR | app.llm:ask_tool:260 - API error: Connection error.
2025-03-10 12:21:01.356 | ERROR | app.llm:ask_tool:260 - API error: Connection error.
2025-03-10 12:21:04.680 | ERROR | app.llm:ask_tool:260 - API error: Connection error.
2025-03-10 12:21:08.060 | ERROR | app.llm:ask_tool:260 - API error: Connection error.

config配置为：

Global LLM configuration

[llm]
model = "QwQ-32b"
base_url = "http://101.223.8.9:8012/v1"
api_key = ""
max_tokens = 4096
temperature = 0.0

Optional configuration for specific LLM models

[llm.vision]
model = "QwQ-32b"
base_url = "http://101.223.8.9:8012/v1"
api_key = ""

[snowffer]

用Ollama遇到了相同的问题

[toolatetosleep]

我试着随便填入api_key = "aaa" ,就可以了，看来不能留空
另外我运行的ollama版本， model = "qwq"

I tried randomly filling in api_key = "aaa" and it worked, seems like it can't be left blank.
Also, for the ollama version I'm running, model = "qwq".

[Thibault00]

It works for me using Requesty + Groq

https://requesty.ai/router

[kiminbean]

什么是功能 API 调用？
功能 API 调用是允许 LLM 与外部工具或 API 交互的函数。 举个例子、
要回答 "多伦多天气如何？"这个问题，您可能需要调用天气 API。 有些 LLM 经过微调，能够生成这些调用，通常是通过建议使用 JSON 格式输出的函数调用。
除了文本生成外，这种功能还允许 LLM 访问实时数据或执行外部操作，在 openmanus 等代理系统中至关重要。

qwq:latest 模型的局限性
如果你查看一下 ollama 官方库中的 qwg 模型，你会发现它的标签是 "chat, text-generation"（聊天、文本生成），而不包括 "tools"（工具）标签。 0 从 ollama 模型库中你可以看到，qwg 模型主要针对对话和文本生成进行了优化，并不明确支持特征调用。
另一方面，根据 Ollama 博客，Llama 3.1 等模型支持工具调用，这表明特定模型经过训练可处理功能调用。 qwq 模型的模板（qwq template）中提到了工具，但这只表明该模型具有理解工具的潜力，并不清楚它是否真的支持功能调用。

与 openmanus 的兼容性问题
openmanus 使用 LLM 创建行动计划，这可能需要调用外部函数才能执行。 然而，如果您的 qwa:latest 模型不支持这些函数调用，openmanus 将无法完成任务。
在 OpenManus GitHub 问题中，用户报告了 phi-4
mini 和 llava:7b 模型的功能调用。 这证明 openmanus 希望模型支持功能调用，但尚未确认对 QWG 模型的明确支持。

Key Points

•	연구에 따르면, ollama의 qwq:latest 모델은 외부 함수 또는 API 호출을 지원하지 않는 것으로 보입니다.
•	이는 openmanus에서 여행 계획 작성과 같은 작업에 필요한 기능 호출을 수행할 수 없음을 의미합니다.
•	사용자는 기능 호출을 지원하는 다른 모델을 선택해야 할 가능성이 높습니다.

왜 ollama가 기능 API 호출을 지원하지 않는다고 하는지

ollama가 qwq:latest 모델을 사용해 openmanus에서 여행 계획을 요청할 때 기능 API 호출을 지원하지 않는다고 말하는 것은, 이 모델이 외부 함수나 API를 호출할 수 있는 능력이 없음을 나타냅니다.여행 계획 작성은 실시간 정보(예: 항공편 가격, 호텔 가용성 등)를 얻기 위해 외부 API 호출이 필요할 수 있습니다. 그러나 qwq:latest 모델은 이러한 기능을 지원하지 않으므로, openmanus는 이 작업을 수행할 수 없습니다.따라서 사용자는 기능 호출을 지원하는 다른 모델, 예를 들어 Llama 3.1과 같은 모델을 선택해야 할 수 있습니다.

다음 단계

openmanus 문서나 지원 포럼에서 호환 가능한 모델 목록을 확인하고, 필요에 따라 설정을 조정하세요. 예를 들어, Ollama 도구 지원 블로그에서 지원되는 모델에 대한 정보를 찾을 수 있습니다.

긴 보고서: 상세 설명

ollama의 qwq:latest 모델을 openmanus에서 여행 계획 작성에 사용하려고 할 때, ollama가 기능 API 호출을 지원하지 않는다고 하는 이유와 그 의미를 자세히 살펴보겠습니다. 이 보고서는 관련 정보를 체계적으로 정리하여 사용자가 문제를 이해하고 해결할 수 있도록 돕습니다.

배경: openmanus와 ollama의 역할

openmanus는 MetaGPT의 기여자들에 의해 개발된 오픈소스 AI 에이전트 시스템으로, 작업 자동화를 위해 대형 언어 모델(LLM)을 사용합니다. 이 시스템은 특히 복잡한 작업, 예를 들어 여행 계획 작성과 같은 작업을 수행할 때 외부 API 호출이 필요할 수 있습니다.한편, ollama는 다양한 LLM을 로컬 머신에서 실행할 수 있게 해주는 플랫폼으로, 사용자가 Llama, Mistral, Qwen 시리즈 등 여러 모델을 실행할 수 있습니다. 여기서 qwq:latest 모델은 Qwen 시리즈의 추론 모델로, 특히 어려운 문제 해결에 강점이 있는 것으로 알려져 있습니다.

기능 API 호출이란?

기능 API 호출은 LLM이 외부 도구나 API와 상호작용할 수 있게 해주는 기능입니다. 예를 들어, “토론토의 날씨는 어떤가요?“라는 질문에 답하려면 날씨 API를 호출해야 할 수 있습니다. 일부 LLM은 이러한 호출을 생성할 수 있도록 세밀하게 조정되어 있으며, 이는 주로 JSON 형식의 출력으로 함수 호출을 제안하는 방식으로 이루어집니다.이 기능은 LLM이 텍스트 생성 외에도 실시간 데이터에 접근하거나 외부 작업을 수행할 수 있게 해주며, openmanus와 같은 에이전트 시스템에서 필수적일 수 있습니다.

qwq:latest 모델의 한계

ollama의 공식 라이브러리에서 qwq 모델을 확인해보면, 이 모델은 “chat, text-generation” 태그가 붙어 있으며, “tools” 태그는 포함되지 않습니다. Ollama 모델 라이브러리에서 확인할 수 있듯이, qwq 모델은 주로 대화와 텍스트 생성에 최적화되어 있으며, 기능 호출을 명시적으로 지원하지 않는 것으로 보입니다.반면, Llama 3.1과 같은 모델은 Ollama 블로그에 따르면 도구 호출을 지원하며, 이는 특정 모델이 기능 호출을 처리할 수 있도록 훈련되었음을 나타냅니다. qwq 모델의 경우, 템플릿에서 도구에 대한 언급이 있긴 하지만(qwq 템플릿), 이는 모델이 도구를 이해할 수 있는 잠재력을 가진다는 것을 보여줄 뿐, 실제로 기능 호출을 지원하는지 명확하지 않습니다.

openmanus와의 호환성 문제

openmanus는 LLM을 사용하여 작업 계획을 생성하고, 이를 실행하기 위해 외부 함수 호출이 필요할 수 있습니다. 예를 들어, 여행 계획 작성 시 항공편 검색, 호텔 예약 등을 위해 외부 API를 호출해야 할 수 있습니다. 그러나 qwq:latest 모델이 이러한 기능 호출을 지원하지 않으면, openmanus는 해당 작업을 완료할 수 없습니다.OpenManus GitHub 이슈에서 사용자가 phi-4 mini와 llava:7b 모델을 기능 호출에 사용하려고 시도한 사례를 볼 수 있습니다. 이는 openmanus가 기능 호출을 지원하는 모델을 기대한다는 증거입니다. 그러나 qwq 모델에 대한 명시적인 지원은 확인되지 않았습니다.

결론 및 권장 사항

결론적으로, ollama가 qwq:latest 모델이 기능 API 호출을 지원하지 않는다고 말하는 것은 이 모델이 openmanus에서 필요한 외부 함수 호출을 생성할 수 없음을 의미합니다. 이는 여행 계획 작성과 같은 작업에서 실시간 데이터 접근이나 외부 작업 실행이 제한될 수 있음을 나타냅니다.사용자는 기능 호출을 지원하는 다른 모델, 예를 들어 Llama 3.1이나 다른 “tools” 태그가 있는 모델을 선택해야 합니다. Ollama 도구 지원 블로그에서 지원되는 모델 목록을 확인하고, openmanus 설정에서 적합한 모델을 구성하세요.

표: 모델과 기능 호출 지원 비교

모델태그기능 호출 지원 여부qwq:latestchat, text-generation지원하지 않음Llama 3.1tools (추정)지원phi-4 mini미확인가능성 있음이 표는 모델의 태그와 기능 호출 지원 여부를 요약한 것으로, qwq:latest 모델이 기능 호출을 지원하지 않는다는 점을 강조합니다.

추가 고려 사항

openmanus의 최신 업데이트나 커뮤니티 포럼에서 qwq 모델과의 호환성에 대한 논의가 있을 수 있으므로, OpenManus GitHub에서 관련 이슈를 확인하는 것이 좋습니다. 또한, ollama의 API 문서(Ollama API 문서)에서 모델별 기능 호출 지원 여부를 더 자세히 알아볼 수 있습니다.

Key Citations

•	Ollama 도구 지원 블로그
•	OpenManus GitHub
•	Function Calling with LLMs
•	Ollama 모델 라이브러리
•	qwq 템플릿

[kiminbean]

[llm]
model = "qwq:latest"
base_url = "http://101.223.8.9:8012"
api_key = "ollama" or "aaa" or "hsbdjdbd" is ok
max_tokens = 4096
temperature = 0.0