请教有无本地AI（免费）可提供API接口的？

呼呼呼

请教有无本地AI（免费）可提供API接口的？

即：下载到本地运行，可提供api接口。

问：哪个对编程支持比较好？ 哪个对文本处理比较好？（比如写总结，翻译之类的）

一开始想直接用在线付费的，但是费用不好控制。如果有能下载到本地的免费的最好了。不考虑“精度”，便宜免费能凑合用就行。但是一定需要API接口

scoopy

问AI呀

finger|regnif

ollama?

xmessa

本地的 DS呗 可以直接用OPENAI的接口

Mushroomm

一定需要API接口，那就ollama了。几十个free llm随意挑。这个星期OpenAI刚release的gpt-oss:20b看起来不错，正准备装在laptop上试一下
编程可以试试codellama. 文本处理就用gpt-oss:20b. ollma一起serve起来，api request中想用哪个用哪个。

呼呼呼

谢谢答复。 再深入一下：

有无人测试本地AI实际使用过程中的功耗情况？  已知不同设备功耗不同。只是大致。

比如：电源待机时实际功耗；响应不同任务时的实际功耗？  （24小时待机，对耗电敏感）

zn7726

呼呼呼 发表于 2025-8-8 14:55
谢谢答复。 再深入一下：

有无人测试本地AI实际使用过程中的功耗情况？  已知不同设备功耗不同。只是大致 ...

你对耗电敏感对初期硬件投入不敏感吗？

这些大语言模型，在windows上跑要大显存显卡，估计要2000-3000起吧。在Mac上要大内存，mac的内存你懂的，都是金子做的。

我在公司发的M1 16G MBP试过ollama，好像试过一个10几b的模型，卡到死。7b的勉强。CPU和内存都满，而且我下载两个LLM后本地硬盘也基本满了，不知道瓶颈是哪个。写代码还是用网络上的买quote吧，模型不行你就别指望回复质量高了。如果只是问问问题，修改下英文文件，就用免费的chatgpt就行了，别用API了。

xmessa

zn7726 发表于 2025-8-8 15:04
你对耗电敏感对初期硬件投入不敏感吗？

这些大语言模型，在windows上跑要大显存显卡，估计要2000-3000起 ...

显存不够 所以卡

辰哥

Gemini cli 2.5的就行。装Linux上 多搞几个Google账户来回换着用
每次聊天不要超5个问题 总结一下后 重开一个聊天框继续

jaszhou

本地不可行，硬件达不到。如果本地可以，为什么微软要花那么多钱去买GPU.

xxxxyyyy

mac studio 512GB统一内存欢迎你

这是我的帖子，本地跑大模型的设备
https://www.oursteps.com.au/bbs/ ... mp;tid=1871371&