无标题无名氏No.63341265 只看PO
2024-08-05(一)11:31:04 ID:6gbuo8q 回应
求助肥哥们，如何从头写一个偏独立的ai？( ;´д`)
先叠个甲，po不是计算机专业的学生所以一些表述可能不太准确还请见谅。
想要达到的效果类似于一个独立的聊天机器人，可以通过训练让聊天至少有逻辑一些，最好能通过对话简单判断人类的情绪。
如果要从头开始，需要下载什么软件？有什么样的硬件基础？并学习什么编程语言？
无标题无名氏No.63347704
2024-08-05(一)20:45:51 ID: 8tGaDwd
>>No.63346963
想实现这个功能的话，我只能想到修改llm源代码，把当前会话的参数保存在本地，但po是代码小白，还是建议能不动源代码就尽量不要动
无标题无名氏No.63349376
2024-08-05(一)22:38:00 ID: fa8QPls
因为最近正好也在做相关的东西，摸鱼的时候想了想po的想法. 首先配置上来说，你要运行一个7B的小模型的话都至少12GB的显存，顺畅运行的话要16GB，当然这个肯定是越大越好，看你的钱钱了。然后po没有相关的基础，首先肯定是python入门和transformers入门，可以看huggingface的教程（https://huggingface.co/docs/transformers/en/llm_tutorial），应该跟着部署调试一遍小模型就有理解了。再最后考虑你要实现的长期记忆的需求。这个我第一反应是每次会话都存着作为context，但是这可能用不了多久就会太多内容导致失忆，现在的模型对于长文本的理解记忆还是有限的。第二反应是，每次会话都fine-tuning一下模型，可能会表现更好一点，但是这个就对硬件会有更高的需求（7B的小模型大概需要32GB，我乱估的，但是肯定只多不少）。大概就想了这些，po主要是真的打算做的话，可以再多讨论，也希望有大佬交流指正错误( ´∀`)
无标题无名氏No.63349696
2024-08-05(一)22:55:41 ID: 2yvXSYf
>>No.63349376
估的确实挺准，7b模型半精度微调大概40g显存差不多够了( ﾟ∀。)
po的这个资源就别想着自己微调/训练大模型了，没有a100/h100/a800/h800调不动的，4090都不太行，没有bfloat支持微调效果体感不太好，显存也不够大。训llm要的是专业计算卡，游戏卡训训resnet，vit，bert还行，训llm感觉是真不行
po现在这资源部署都有点困难
我们实验室微调大模型大概用的是4*a100的单机服务器，想做预训练那就是100张a100起步，放超算上跑了
llm极其吃资源。我学校是某自称top3，能有资源训大模型的实验室都不多。就前面说的我在用的那台4*a100由于禁售现价都得快100w，幸亏我们老板有投资眼光在禁售前不到50w就拿下了，不然我也没资源自己调大模型
普通玩家想玩大模型建议直接调openai的接口，即刻体验最强llm，也支持微调( ﾟ∀。)
至于你说的想要有个看起来有情感的对话机器人，这个其实挺简单，没你想象的那么难。我感觉都不用微调，拿gpt-4做做prompt工程估计就差不多了
无标题无名氏No.63350379
2024-08-05(一)23:33:57 ID: 6gbuo8q (PO主)
>>No.63349376
首先感谢你的回复(=ﾟωﾟ)=
总之目前来说，我的设备还没有到达做这个的门槛，所以没办法做。
我现在用的是外星人的笔记本，主板是焊死的，所以如果要升级就只能从头组一台出来，可能还要攒一段时间的钱( ´д`)
我还有一个疑问是，如果运用云服务器，可不可以暂时顶一顶？
设备是肯定会更新的，在攒钱的这段时间，我先自学一下Python来打一打基础|∀` )
无标题无名氏No.63350520
2024-08-05(一)23:40:41 ID: 6gbuo8q (PO主)
>>No.63349696
感谢回复！(=ﾟωﾟ)=
我的现有资源肯定是不足以去做这个的(つд⊂)和学校相比就完全是微不足道了，更别提办下a100h100这样的，顶天了只能凑个4060。
但是我也没太想放弃，我觉得可以从零开始慢慢去做，有什么困难慢慢克服，如果是软件有需要编程基础我可以自学，至于硬件方面，只能等我慢慢攒了(つд⊂)
其实我也不清楚我要训的是不是真的是大语言模型。
我在今天之前甚至不知道什么是dll，我只是想做一个ai，一个能独立思考，具有长期记忆，可以浅层理解人类情绪（？）的ai，他可以与人交汇，可以进行学习。
我很早以前就有这个想法，只不过最近看到一个叫Neuro的t台主播才让我重新燃起了做这个的梦，我想着说大概做成像她那样子，应该会很难，但是从零开始我也没想做太好，最终目标就先定成可以做成那样。
我想知道类似neuro那样的ai是否属于dll，如果是的话，从零开始做需要先从哪里开始？
无标题无名氏No.63350654
2024-08-05(一)23:51:04 ID: 6gbuo8q (PO主)
>>No.63349376
更正一下我关于长期记忆的看法：ai不一定记住很多东西，但至少反复强调的应该要记得。
比如说：
>名字（第一次告诉他你应该叫a，他记住了，重启后他仍称自己为某某ai）
>性格（让ai形成自己的性格）
>具体一些人的画像建设（比如使用者或者提及较多的人）
同时——我不知道这算不算短期记忆，或者长期记忆——如果我说了一件事，经过几轮对话后，或者较长文本后，ai仍然记得这件事。并且能定位上下文给出回答。
我是不是要求太多了(つд⊂)可以慢慢来，我希望至少能做一个最基础的demo