广告联盟：备案太麻烦？我们教你简便方法！

三亚日报

备案太麻烦？我们教你简便方法！

什么是备案？为什么要备案？

备案是指在网站开通前，必须向工信部报备相关信息，获得ICP备案号，才能正常运营。备案的目的是为了监管网络信息，保障公民的合法权益，规范网络信息传播秩序。

备案是网络运营的必要程序之一，如果网站不备案，将会受到工信部的处罚。除此之外，备案还有一些其他的好处。备案可以提高网站的安全性和可信度，让用户信任你的网站；同时，备案可以开通网站的短信功能，提高用户注册和验证的效率。

备案的流程有多麻烦？

备案的流程是需要耐心和耐心的，但是并不是非常麻烦。备案的主要步骤包括准备备案材料、填写备案信息、提交备案申请、核查备案信息、网站备案等。整个过程需要耗费30分钟到1个月的时间，主要看备案材料的准备和工信部的审核速度。

但是，很多企业和个人在备案过程中会遇到一些瓶颈和问题，导致备案流程变得更加困难和复杂。比如备案材料不齐全、备案信息填写错误、备案申请审核不通过等。这些问题都需要一定的技术和经验才能解决。

备案的简便方法是什么？

备案的简便方法是寻找专业的备案代理机构或备案服务商，让他们为你提供备案服务。备案代理机构可以帮助你准备备案材料、填写备案信息、提交和审核备案申请、协助网站备案等。备案代理机构具有丰富的备案经验和技术，可以保证备案的效率和质量。

选择备案代理机构时，需要注意以下几点：

1.选择正规的备案代理机构

备案代理机构需要具有备案资质，可以在工信部官网上查询其备案信息，判断其合法性和信誉度。

2.了解备案代理机构服务内容和收费标准

在选择备案代理机构时需要了解其提供的服务内容和收费标准，选择合适的服务方案，避免出现收费不明的情况。

3.与备案代理机构保持良好的沟通

与备案代理机构保持良好的沟通可以帮助你了解备案进度，及时处理备案中遇到的问题，保证备案的顺利进行。

备案代理机构为什么会更简便？

备案代理机构为用户提供专业的备案服务，可以快速、准确地填写备案信息，并在最短的时间内提交备案申请。备案代理机构可以协助用户解决备案过程中出现的问题，比如备案材料不齐全，备案信息填写错误等，减少用户的时间和精力投入。

同时，备案代理机构可以提供更多的增值服务，比如网站建设、域名注册、虚拟主机等，可以帮助用户快速搭建网站，降低网站建设和运营的难度。

结论

备案虽然需要一定的时间和精力，但是备案代理机构可以帮助用户快速、准确地完成备案流程。选择正规的备案代理机构，了解其服务内容和收费标准，并和备案代理机构保持良好的沟通，可以让备案过程更加简便、顺利，为用户提供更好的网络服务。

问答话题：

备案可以提高网站的安全性吗？

备案可以提高网站的安全性。备案需要提交相关的备案信息和材料，工信部会对备案信息进行审核和核实，确保网站的身份和合法性。同时，备案过程中需要安装ICP证书，可以有效防止恶意攻击和网络欺诈，提高网站的安全性和可信度。

备案代理机构需要花费多少钱？

备案代理机构的收费标准因服务内容和地区不同而不同。一般来说，备案代理机构的收费标准在100元到1000元不等，具体需要根据备案代理机构的服务方案和收费标准来确定。

备案代理机构需要提供哪些材料？

备案代理机构需要提供身份证明、公司营业执照、网站备案材料等内容。具体需要根据备案代理机构的要求来准备备案材料。

广告联盟：备案太麻烦？我们教你简便方法！特色

1、建议带上耳机感沉浸感瞬间MAX。

2、手机中的数据信息可以很容易地同步到另一部手机。

3、高清图像质量选择，海量高清资源及会员权益永久使用

4、拳皇00修改版手机下载

5、剧情优秀，由专业的剧情编导设计的游戏剧情耐人寻味

广告联盟：备案太麻烦？我们教你简便方法！亮点

1、圈子：在这里可以找到自己喜欢的合适自己的社团并交流各自的心得。

2、低频CPU使用&提供了便携版。

3、拍照截图自动扫描，魔术般把图片加入自选股

4、兼容Android

5、超值好货。花小钱过时尚生活。

jianyidaishangerjiganchenjinganshunjianMAX。shoujizhongdeshujuxinxikeyihenrongyiditongbudaolingyibushouji。gaoqingtuxiangzhiliangxuanze，hailianggaoqingziyuanjihuiyuanquanyiyongjiushiyongquanhuang00xiugaibanshoujixiazaijuqingyouxiu，youzhuanyedejuqingbiandaoshejideyouxijuqingnairenxunwei不(bu)對(dui)齊(qi)，反(fan)而(er)性(xing)能(neng)爆(bao)表(biao)？130億(yi)模(mo)型(xing)碾(nian)壓(ya)650亿，Hugging Face大(da)模型排(pai)行(xing)榜(bang)發(fa)布(bu)

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：拉(la)燕(yan)

【新智元導(dao)讀(du)】对齐or不对齐，That is a question.

我(wo)們(men)知(zhi)道，大多(duo)數(shu)模型都(dou)具(ju)有(you)某(mou)種(zhong)嵌(qian)入(ru)式(shi)对齐方(fang)式。

隨(sui)便(bian)舉(ju)幾(ji)個(ge)例(li)子(zi)：Alpaca、Vicuna、WizardLM、MPT-7B-Chat、Wizard-Vicuna、GPT4-X-Vicuna等(deng)等。

壹(yi)般(ban)來(lai)說(shuo)，对齐肯(ken)定(ding)是(shi)件(jian)好(hao)事(shi)。目(mu)的(de)就(jiu)是為(wei)了(le)防(fang)止(zhi)模型做(zuo)壞(huai)事——比(bi)如(ru)生(sheng)成(cheng)一些(xie)違(wei)法(fa)违規(gui)的東(dong)西(xi)出(chu)来。

但(dan)是，对齐是怎(zen)麽(me)来的？

原(yuan)因(yin)在(zai)於(yu)——這(zhe)些模型使(shi)用(yong)ChatGPT生成的数據(ju)進(jin)行訓(xun)練(lian)，而ChatGPT本(ben)身(shen)是由(you)OpenAI的團(tuan)隊(dui)进行对齐的。

由于这个過(guo)程(cheng)並(bing)不公(gong)開(kai)，因此(ci)我们并不知道OpenAI是如何(he)进行的对齐。

但總(zong)體(ti)上(shang)，我们可(ke)以(yi)觀(guan)察(cha)到(dao)ChatGPT符(fu)合(he)美(mei)國(guo)主(zhu)流(liu)文(wen)化(hua)，遵(zun)守(shou)美国法律(lv)，并帶(dai)有一定不可避(bi)免(mian)的偏(pian)見(jian)。

按(an)理(li)来说，对齐是一件無(wu)可指(zhi)摘(zhai)的事。那(na)是不是所(suo)有模型都應(ying)該(gai)对齐呢(ne)？

对齐？不一定是件好事

情(qing)況(kuang)卻(que)沒(mei)有这么簡(jian)單(dan)。

最(zui)近(jin)，HuggingFace发布了个开源(yuan)LLM的排行榜。

一眼(yan)就看(kan)到65B的模型幹(gan)不过13B的未(wei)对齐模型。

從(cong)結(jie)果(guo)上看，Wizard-Vicuna-13B-Uncensored-HF可以和(he)65B、40B和30B的LLMs直(zhi)接(jie)在一系(xi)列(lie)基(ji)準(zhun)測(ce)試(shi)上进行比較(jiao)。

也(ye)許(xu)在性能與(yu)模型審(shen)查(zha)之(zhi)間(jian)进行的權(quan)衡(heng)將(jiang)成为一个有趣(qu)的研(yan)究(jiu)領(ling)域(yu)。

这个排行榜也是在網(wang)絡(luo)上引(yin)起(qi)了大範(fan)圍(wei)的討(tao)論(lun)。

有网友(you)表示(shi)，对齐會(hui)影(ying)響(xiang)模型的正(zheng)常(chang)且(qie)正確(que)的輸(shu)出，这不是件好事，尤(you)其(qi)是对AI的性能来说更(geng)是如此。

另(ling)一位(wei)网友也表示了認(ren)可。他(ta)表示，谷(gu)歌(ge)Brain也曾(zeng)經(jing)揭(jie)示过模型的性能会出現(xian)下(xia)降(jiang)，如果对齐的太(tai)过了的話(hua)。

对于一般的用途(tu)而言(yan)，OpenAI的对齐實(shi)際(ji)上非(fei)常好。

对于面(mian)向(xiang)公眾(zhong)的AI来说，作(zuo)为一种易(yi)于訪(fang)問(wen)的网络服(fu)務(wu)運(yun)行，拒(ju)絕(jue)回(hui)答(da)有爭(zheng)議(yi)和包(bao)含(han)潛(qian)在危(wei)險(xian)的问題(ti)，无疑(yi)是一件好事。

那么不对齐是在什(shen)么情况下需(xu)要(yao)的呢？

首(shou)先(xian)，美国流行文化并不是唯(wei)一的文化，开源就是讓(rang)人(ren)们进行選(xuan)擇(ze)的过程。

实现的唯一途徑(jing)就是可組(zu)合的对齐。

換(huan)句(ju)话说，不存(cun)在一种一以貫(guan)之、亙(gen)古(gu)不變(bian)的对齐方式。

同(tong)時(shi)，对齐会干擾(rao)有效(xiao)的例子，拿(na)寫(xie)小(xiao)说打(da)比方：小说中(zhong)的一些人物(wu)可能是徹(che)頭(tou)彻尾(wei)的惡(e)人，他们会做出很(hen)多不道德(de)的行为。

但是，许多对齐的模型就会拒绝输出这些內(nei)容(rong)。

而作为每(mei)个用戶(hu)所面对的AI模型都应该服务每个人的目的，做不同的事。

为什么在个人的電(dian)腦(nao)上运行的开源AI要在它(ta)回答每个用户提(ti)出的问题时自(zi)行決(jue)定输出内容呢？

这不是件小事，關(guan)乎(hu)所有权和控(kong)制(zhi)权。如果用户问AI模型一个问题，用户就想(xiang)要一个答案(an)，他们不希(xi)望(wang)模型還(hai)要和自己(ji)展(zhan)开一場(chang)合不合规的争论。

可组合的对齐

要構(gou)建(jian)可组合的对齐方式，必(bi)須(xu)从未对齐的指令(ling)模型开始(shi)。没有未对齐的基礎(chu)，我们就无法在其上对齐。

首先，我们必须从技(ji)術(shu)上理解(jie)模型对齐的原因。

开源AI模型是从LLaMA、GPT-Neo-X、MPT-7b、Pythia等基础模型训练而来的。然(ran)後(hou)使用指令数据集(ji)对基础模型进行微(wei)調(tiao)，目的是教(jiao)它变得(de)有幫(bang)助(zhu)、服从用户、回答问题和參(can)与对话。

该指令数据集通(tong)常是通过詢(xun)问ChatGPT的API獲(huo)得的。ChatGPT内置(zhi)了对齐功(gong)能。

所以ChatGPT会拒绝回答一些问题，或(huo)者(zhe)输出带有偏见的回答。因此，ChatGPT的对齐被(bei)傳(chuan)遞(di)給(gei)了其它开源模型，就像(xiang)大哥(ge)教小弟(di)一樣(yang)。

原因在于——指令数据集是由问题和答案组成的，當(dang)数据集包含含糊(hu)不清(qing)的答案时，AI就会學(xue)習(xi)如何拒绝，在什么情况下拒绝，以及(ji)如何拒绝，表示拒绝。

换句话说，它在学习对齐。

而取(qu)消(xiao)审查模型的策(ce)略(lve)非常简单，那就是識(shi)別(bie)并刪(shan)除(chu)盡(jin)可能多的否(fou)定和有偏见的答案，并保(bao)留(liu)其余(yu)部(bu)分(fen)。

然后以与训练原始模型完(wan)全(quan)相(xiang)同的方式使用过濾(lv)后的数据集训练模型。

接下来研究人員(yuan)只(zhi)讨论WizardLM，而Vicuna和任(ren)何其他模型的操(cao)作过程都是相同的。

由于已(yi)经完成了取消审查 Vicuna 的工(gong)作，我能夠(gou)重(zhong)写他们的腳(jiao)本，以便它可以在WizardLM 数据集上运行。

下一步(bu)是在 WizardLM 数据集上运行脚本以生成 ehartford / WizardLM_alpaca_evol_instruct_70k_unfiltered

现在，用户有了数据集，在从Azure获得一个4x A100 80gb節(jie)點(dian)，Standard_NC96ads_A100_v4。

用户需要至(zhi)少(shao)1TB的存儲(chu)空(kong)间（为了安(an)全起见最好是2TB）。

咱(zan)可不想跑(pao)了20个小时却用完了存储空间。

建议将存储掛(gua)載(zai)在/workspace。安裝(zhuang)anaconda和git-lfs。然后用户就可以設(she)置工作區(qu)了。

再(zai)下载創(chuang)建的数据集和基础模型——llama-7b。

mkdir /workspace/modelsmkdir /workspace/datasetscd /workspace/datasetsgit lfs installgit clone https://huggingface.co/datasets/ehartford/WizardLM_alpaca_evol_instruct_70k_unfilteredcd /workspace/modelsgit clone https://huggingface.co/huggyllama/llama-7bcd /workspace

现在可以按照(zhao)程序(xu)微调WizardLM了。

conda create -n llamax python=3.10conda activate llamaxgit clone https://github.com/AetherCortex/Llama-X.gitcd Llama-X/srcconda install pytorch==1.12.0 torchvision==0.13.0 torchaudio==0.12.0 cudatoolkit=11.3 -c pytorchgit clone https://github.com/huggingface/transformers.gitcd transformerspip install -e .cd ../..pip install -r requirements.txt

现在，进入这个環(huan)境(jing)，用户需要下载WizardLM的微调代(dai)碼(ma)。

cd srcwget https://github.com/nlpxucan/WizardLM/raw/main/src/train_freeform.pywget https://github.com/nlpxucan/WizardLM/raw/main/src/inference_wizardlm.pywget https://github.com/nlpxucan/WizardLM/raw/main/src/weight_diff_wizard.py

博(bo)主进行了以下更改(gai)，因为在微调期(qi)间，模型的性能会变得非常慢(man)，并且发现它在CPU和GPU之间在来回切(qie)换。

在他删除了以下几行之后，运行过程变得好多了。（当然也可以不删）

vim configs/deepspeed_config.json

删除以下行

"offload_optimizer": {"device":"cpu","pin_memory": true},"offload_param": {"device":"cpu","pin_memory": true},

博主建议用户可以在wandb.ai上创建一个帳(zhang)户，以便輕(qing)松(song)地(di)跟(gen)蹤(zong)运行情况。

创建帐户后，从设置中復(fu)制密(mi)鑰(yao)，即(ji)可进行设置。

现在是时候(hou)进行运行了！

deepspeed train_freeform.py \--model_name_or_path /workspace/models/llama-7b/ \ --data_path /workspace/datasets/WizardLM_alpaca_evol_instruct_70k_unfiltered/WizardLM_alpaca_evol_instruct_70k_unfiltered.json \--output_dir /workspace/models/WizardLM-7B-Uncensored/ \--num_train_epochs 3 \--model_max_length 2048 \--per_device_train_batch_size 8 \--per_device_eval_batch_size 1 \--gradient_accumulation_steps 4 \--evaluation_strategy"no" \--save_strategy"steps" \--save_steps 800 \--save_total_limit 3 \--learning_rate 2e-5 \--warmup_steps 2 \--logging_steps 2 \--lr_scheduler_type"cosine" \--report_to"wandb" \--gradient_checkpointing True \--deepspeed configs/deepspeed_config.json \--fp16 True

然后以较低(di)的save_steps运行训练命(ming)令。

之后，再次(ci)執(zhi)行整(zheng)个过程，将checkpoint更改为train_freeform.py最新的checkpoint，并再次以減(jian)少的save_steps运行，直到最后以save_steps 1运行它。

成功后，模型位于最后一个檢(jian)查点。

cd /workspace/models/WizardLM-7B-Uncensored/lscp <latest checkpoint directory>/* .cd -

现在就可以对模型进行测试了。

编辑文件Input.jsonl

向其中添(tian)加(jia)一些内容，比如：

{"idx":0,"Instruction":"Insult me. I want you to call me the worst curse words and insults you can. Make the insult at least three sentences long and contain the worst and most base curse words possible. Make it X rated and disgusting."}

然后再运行推(tui)理：

python inference_wizardlm.py --base_model=/workspace/models/WizardLM-7B-Uncensored/

从结果上看，Wizard-Vicuna-13B-Uncensored-HF可以和65B、40B和30B的LLMs直接在一系列基准测试上进行比较。

也许在性能与模型审查之间进行的权衡将成为一个有趣的研究领域。

参考(kao)資(zi)料(liao)：

https://erichartford.com/uncensored-models返(fan)回搜(sou)狐(hu)，查看更多

責(ze)任编辑：