超强编程助手 CodeGPT!自用
推荐它的三个理由
在 IDE 内的使用和 Github Copilot 一样方便,并且更省钱
支持切换各个商用模型,也支持本地模型接入,第一时间把开源新模型接入到开发工作流里
可以构建自己领域知识的Agent,专人专用,比如 SQL 专家或者接口文档喂进去
可以看下创始人的推,有不少展示片段:Daniel San
基本功能介绍插件商城可以直接搜索到,安装后左侧sidebar和右下角toolbox都有入口
针对研发流程的常见功能了,用惯了 copilot 是一致的,包括修复、解释、重构、完善注释、单元测试。
基本使用方式就 /explain @文件 这样,等于需要AI向你解释某个文件中代码的用途。
基本使用方式也可以是 /explain + Import Selection 这样,等于需要AI向你解释选中的代码片段的用途。
模型可以自由切换,商用的对应需要折腾下连接下api key (都熟门熟路了吧)
蛮推荐搞个 LM Studio 直接本地管理所有模型和日志的,好用,但要折腾下 😀
除了选择模型直接对话,也可以选择 CodeGP ...
Test-Time-Training layers (TTT)
Test-Time-Training layers (TTT)三句话介绍
TTT 层的优势是具有线性复杂度和表达性隐藏状态的序列建模层。
其在处理长文本和提高硬件效率方面非常有潜力。
关键思路是让隐藏状态改为机器学习模型,并将更新规则设为自监督学习的一步。
背景
Transformer 在长时间下表现良好,但具有二次复杂度
Transformer 有一个KV缓存,它会随着时间的推移不断增长。这个状态不会压缩任何历史上下文,但随着上下文长度的增加,成本也会越来越高。
对Transformer来说,每个token索引的平均复杂度在其32k上下文中不断减少。
RNN 层具有线性复杂度,但在长上下文中的性能受到隐藏状态的表达能力的限制
RNN 层必须将上下文压缩为固定大小的隐藏状态,作为一种压缩启发式,更新规则需要发现成千上万甚至数百万个token之间的底层结构和关系。
像 Mamba 这样的 RNN 层,会随着时间的推移压缩成一个固定大小的状态,它们虽然效率很高,但很难真正利用额外的条件信息。
TTT 的诞生
团队成员想:既然这样,为什么不把上下文压缩到模型的权重中 ...
2024 年 6 月总结
不要在人还没起来的时候按掉闹钟啊不能这么自信..我也是个拖延症患者 ( ╯□╰ )
所见与所想01
“No battle was ever won according to plan, but no battle was ever won without one.”
很多人的日子是走一步看一步,他们管这个叫活在当下,认为别人总是想的太多。
我觉得这样不对,活在当下不是没有追求地随性接受,而是充分思考和准备后,在那个当下做好那个当下的事情,这一切是有计划的,这个小时午休就是午休,下个小时考试就是考试,因为这个下午要考试,所以前一周的每一天应该如何地安排复习计划。
计划会被破坏,计划是不准确的,这对于任何一个反复精力过完整规划的人来说都是常识,这个常识就是 —— 没有一场战斗是按计划赢得的,但没有一场战斗是没有计划的。
所以我会去思考和规划,不是一定要执行,而是让每个当下的我有个执行的安全垫,那个当下的她永远知道该干什么,并且如果状态很好又或不好,她很清楚可以有所变化,因为有一条路径,即使这条路径每个月都会变化,每年都会大改,也没有关系,在那个当下,才可以心安理得地睡觉,并且睡得很香。
0 ...
2024 年 5 月总结
咖啡因和酒精填满了白天与黑夜去看见各式各样的人还是回到自己的桌前
这个月写下的很多情绪躁动的心喷涌的呐喊我想都是他人的映射
所见与所想01有人说自己没有办法再工作了,不是说这辈子没法工作,而是每过一阵子的工作,就变成无法忍耐,发现自己变成了一块回转寿司,甚至像是长毛了回转寿司,依然在餐桌上回转着。我遇到了好几个年轻人,意识到自由意志的存在却苦于生存之中,遇不到心仪的事业,也不甘心麻木地活着。有时候想说你们的要求太高了,但这话也没法说出口,想要一份心仪的工作是很纯粹美好的希望,投入工作让工作变成喜欢的样子显得太艰难了,大家都喜欢短平快,看多了外显的美好有害身心健康啊。
In every job that must be done,There is an element of fun.You find the fun and snap!The job’s a game.
02对工作麻木的一种表征就是开始唯物质财富论,完全物化自己的时间和精力,甚至开始否定和批判曾经的热血和激情是一种愚蠢。
曾经身处其中会因为学习到新东西而欣喜、因为解决问题而满意、因为收获感激而欣慰,现在这些东西难道都不存在 ...
Node process.on 事件监听整理
123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051// Begin reading from stdin so the process does not exit.process.stdin.resume();// only works when there is no task running// because we have a server always listening port, this handler will NEVER executeprocess.on("beforeExit", (code) => { console.log("Process beforeExit event with code: ", code);});// only works when the process normally exits// on windows, ctrl-c wil ...
2024 年 4 月总结
乞丐死时不会有彗星滑过,星空只为王子的离去闪耀。人心就是这么傲慢。
所见与所想01当技术变得隐形的时候才是最强大的。 我们现在在这个房间当中有大量的技术存在,比如电灯、水管、风扇、通风管道等,我们意识不到他们的存在,这意味着这些技术已经成功了。同理,我们一直在谈 AI,说明它还没有成功,如果说我们已经无法意识到 AI 的存在了,那么就说明 AI 成功了。
02有一种说法劝诫人们要关爱自己的身体健康,它说道“健康是 1,其他所有成就、财富、爱情等等都是后面的 0”,它构建了一种认知模型是你必须要追求健康才能享受后面的一切。最近我对这个构建有了些新的想法,我想或许健康不是 1,健康是 100,请把这 0-1 的尺度拉大到更宽旷的 0-10、0-100、甚至 0-1000。我想我们的健康初始是 100 分那当然很好,但活着并不是为了健康,每个个体的精力总是有限的,我们应该追求的东西绝对不应该是健康,舍弃 20 分的健康是为了其他领域的东西,80xxxx 也是很不错的状态,60xxxx 当然也不错,只是当忽略舍弃到一定的程度,比如 20xxxx,那么人生的总体体验分就会非常低,所以,放手去做一 ...
2024年3月总结
Make every day counted.I like this sentence.
所见与所想01好难好难好难去在当下表达我非常非常非常的开心和喜悦,冲动地想让所有人都知道的快乐,瞬间就会想到和担心他人的处境,基于他人的处境下我的开心或许是刺眼的,而这又会给我带来麻烦。我还记得小时候给自己的人生信念是“我要不管不顾地活着”,某种角度来说我觉得我到了,某种角度来说意识到了无法不管不顾也让我坚定了一些“退让”,或者说我心甘情愿想要顾着,好像,我的亲密关系间的滋养也是在这些过程中产生的。
02“你和你的朋友在不知不觉中一起走向了愚蠢的虚无、失败和痛苦,为了一时的享乐而牺牲了未来。你们心照不宣地约定,要避重就轻地活在当下的放纵里,并且不要点破彼此的这种行为,这样双方都可以更轻松地逃避责任。” —— 虽然作者这段话就是在描述小时候的我,但我依然想争辩一下,将社会意义上非常重要的事情踩于脚下的放纵其实是非常充满力量的,而这种团体共识更是一种“宗教”式的连接,选择虚无并不愚蠢,选择虚无也是一种真相,只是选择虚无确实不聪明。
03我们对于传统、宗教等大众共识文化的革命和远离,最开始是为了避免很多 ...
2024年2月总结
重复,重复,重复吧。重复后才有理解,相信直觉!
思考01自由时间太多会让人极度不舒服,符合我及身边人的经验直觉,996不是没有道理的,在把有能力的人累趴之前,这个人是非常充实的,要称之为“福报”也尚不可。我身边确实有明显的两拨人,在工作强度很高的环境下充分爽的人,以及抱怨耗尽的人,这里的度或许只差每天多1小时的自由时间。—— 谨慎所有 kill time 的活动,那只是用最偷懒的方式说服自己的精神世界我有可掌控的时间。
02随着年纪渐长,接触的人越多,越发现太多成年人都不喜欢自己,越是不喜欢自己的人表现上就是有更多的渴求,渴望权力的认可、渴求被爱的密切、渴求被看到的羡慕,然后活的越来越狭隘、越来越不自在,越来越丧失一种真诚的能力,有些可悲。
03小而美的企业,安全的现金流、赚最有效率的一部分的钱;大而强的企业,增长的资产负债表滚动起发展的雪球,布局方方面面构建垄断。前者像个身体健康的普通工人,只要环境还需要ta就可以安安心心的干下去;后者像个努力拼搏的潜力股,只要身体素质能撑住,就能干到大领导。没有谁对谁错,作为个体,打工就是组织这个群体中的一个细胞,拼搏总是比稳妥的代价 ...
2024年1月总结
😷😷😷💤💤💤
思考与探索01
增长或者说发展,掩盖了很多的问题。
对于企业内是这样,对于个人也是。有时候想转移一些问题,那就构建增长出来。如果增长将不可持续,很多问题都必须实打实地面对。
02
瑜伽的正位是给打破惯性的指导标准,但每一个持续习练者,早晚都会突破它。
这一过程和瑜伽哲学是一致的,不断的打破执念再构建执念,从小执发展向大执,但只要还在这一轮回中我执本身就是轮回。
生活与娱乐半个多月都在生病的颓废中,在那个状态中整个人根本提不起劲,每天早上一身虚汗,起不来,没有能量动弹,一边原谅自己该好好休息,一边又因为无能事事懊恼烦躁。
这次生病来的很突然,睡眠中突然的胃痛,被饥饿感直接弄成了急性胃炎,这么多年胃部都健健康康一下都不知道该怎么办。整个人发着烧,胃部又被揪着,什么都思考不了真是糟糕。然后就是胃差不多缓过来的那几天,身体还有些虚寒,忽然又感染了什么病毒,从喉咙痒和疼变成了持续的高烧和咳嗽,总之也是难受地活着,现在还没好透。
想想虽然身体很难受,但是昏沉着窝在被窝当个废物也非常的温暖,抛开这些那些的自我约束,只是呆在活着这种状态中,欲望和期待都变得小了许多。 ...
2023年12月总结
冬日,暖洋洋,冷飕飕七天连轴转,回到大学时
思考与探索01
瑜伽经中认为“无明”是一切痛苦的根源,因它产生我见、执着、厌恶、贪生怕死…
某个顿悟,对某事物认知的”无明(avidyā)“只需要回答这两点
你相信它是简单的还是复杂的?
你认为它是简单的还是复杂的?
在一次次与他人的交流中,反复验证着这个判断。”向明“的状态是有明显的共性的,即认识到事情远比个人可认知的范围复杂,并不断去深化认识和思考这种复杂性。
反过来说,以我有限的人生经历,我发现人们有时口头说着明白事情有多复杂,但是底色上依然是不愿意相信的。 —— “亲密关系很复杂啦,求姻缘很有用的。” 而有时候人们相信一件事情很复杂,却想用最标签化/简化的方式对待它。—— “中医是个复杂的学问,你这个情况这么补就好啦。”
或许这个判断标准也可以这么说,
你的理性充分明白事情的复杂性吗?
你的直觉充分接受事情的复杂性吗?
我想,这一切还有一个最原始的点,你相信万事万物都具有你无法掌握的复杂性吗? —— 而这是一个事实。
02在瑜伽经文的学习中粗浅地探讨了一元论与二元论,正好最近听了孟岩的一期播客也聊这个话题 ...