无标题无名氏No.63341265 只看PO
2024-08-05(一)11:31:04 ID:6gbuo8q 回应
求助肥哥们，如何从头写一个偏独立的ai？( ;´д`)
先叠个甲，po不是计算机专业的学生所以一些表述可能不太准确还请见谅。
想要达到的效果类似于一个独立的聊天机器人，可以通过训练让聊天至少有逻辑一些，最好能通过对话简单判断人类的情绪。
如果要从头开始，需要下载什么软件？有什么样的硬件基础？并学习什么编程语言？
无标题无名氏No.63363977
2024-08-06(二)23:25:39 ID: 6gbuo8q (PO主)
大问题，昨天还能跑qwen2，今天卡得要死。
我下了anythingLLM来管理，发了个你好，回应你好两个字就花了半分钟。
和昨天区别也太大了点吧( ﾟ∀。)
昨天可是能流畅回答我问题的，限制他发挥的是显示速度，今天就变成这样是我做错了什么吗( ﾟ∀。)
无标题无名氏No.63364270
2024-08-06(二)23:51:30 ID: 6gbuo8q (PO主)
只能先从攒钱和学习Python开始了，跑个简单的对话都能把显存顶满，肯定是不行的( ´_ゝ`)
无标题无名氏No.63364877
2024-08-07(三)00:38:45 ID: LJv9Fby
只是让ai改变“自己是谁”的认知这种程度，不需要训练模型，参数微调就能做到
po可以搜一下lora方法，虽然它并不精确，但却是使用显存最少的方法了，有可能在本地实现
其他方法都要使用不少计算资源，只能搞云服务了
无标题无名氏No.63365046
2024-08-07(三)00:58:46 ID: srhhMab
( ﾟ∀。)我有一计，po考虑一下已有的大模型微调。
现在gpt支持3.5-turbo的微调，如果难以访问gpt的api也可以考虑接入国内大模型，比如说chatglm或者讯飞星火。
然后po只需要准备一些数据集，具体格式大概是：
Q: 你想问大模型什么问题 or 你想跟模型说什么话。
A: 大模型期望说出什么话 or 你期待大模型给出什么东西。
其中，为了让训练效果更佳，可以在微调数据集中进行一些 prompt 工程，就比如说你可以在问题前面加入一些句子完善基础设定，或者在模型回答前让模型先思考一下。
我这里推一篇论文，你在谷歌或者百度上搜"ReAct + llm" 即可。还是挺有意思的。
无标题无名氏No.63365499
2024-08-07(三)02:50:35 ID: 83YvGLK
>>No.63351008
请问现在商业没有短期记忆的需求吗？这段时间接触了character.AI 幻幻等，产生了研究长期记忆的想法，可能研究生研究这个，但是还没开始去了解，目前对AI相关的了解也不多就只有吴恩达的机器学习网课，是老版用Octave做项目的版本，如果想要研究长期记忆的话，需要从哪里了解，以及是不是有这方面的需求？
无标题无名氏No.63365723
2024-08-07(三)04:01:53 ID: YfgpobQ
看开头我就在猜你是不是想养自己的牛肉( ﾟ∀。)
不过我的建议是：写一段足够好的prompt就是现阶段比较好的解决方案。
即使是7b模型的finetune，需要的知识、数据和算力也比较夸张。neuro虽然基础模型可能很小（从速度和早期胡言乱语程度判断），但是ved有时间有钱有数据，这是普通人很难匹敌的
换个角度来想，如果你真能自己调出一个7b版ai主播，那这个聪明的多的模型可能让你挣得比v还多——毕竟剩下的vlm适配和tts看起来都不存在什么特别难的地方
或许这有些打击你的信心，但是我确实认为这件事的开销远超一个正常人能为兴趣做到的事情
还是不想放弃？那建议等。等的同时祈祷皮衣黄未来几代计算卡提升高点，这样你说不定能在五年或者十年后以很低的价格买到机房拆下来的卡