OpenAI o1 preview 一周回顾
9月12日 OpenAI 发布 o1 模型的预览版本和迷你版本,对观察和探索了一周的信息做个整理。
2024 年 8 月总结
宏观是我们必须接受的,微观才是我们可以有所作为的。
生命是旷野,但职业发展是网格,尽量每次只移动一步
书评《不上班咖啡馆》
语音端点检测技术(VAD)
语音识别技术之语音活性检测介绍
2024 年 7 月总结
我从来不输,要么赢,要么成长。
超强编程助手 CodeGPT!自用
推荐它的三个理由 在 IDE 内的使用和 Github Copilot 一样方便,并且更省钱 支持切换各个商用模型,也支持本地模型接入,第一时间把开源新模型接入到开发工作流里 可以构建自己领域知识的Agent,专人专用,比如 SQL 专家或者接口文档喂进去 可以看下创始人的推,有不少展示片段:Daniel San 基本功能介绍插件商城可以直接搜索到,安装后左侧sidebar和右下角toolbox都有入口 针对研发流程的常见功能了,用惯了 copilot 是一致的,包括修复、解释、重构、完善注释、单元测试。 基本使用方式就 /explain @文件 这样,等于需要AI向你解释某个文件中代码的用途。 基本使用方式也可以是 /explain + Import Selection 这样,等于需要AI向你解释选中的代码片段的用途。 模型可以自由切换,商用的对应需要折腾下连接下api key (都熟门熟路了吧) 蛮推荐搞个 LM Studio 直接本地管理所有模型和日志的,好用,但要折腾下 😀 除了选择模型直接对话,也可以选择...
Test-Time-Training layers (TTT)
Test-Time-Training layers (TTT)三句话介绍 TTT 层的优势是具有线性复杂度和表达性隐藏状态的序列建模层。 其在处理长文本和提高硬件效率方面非常有潜力。 关键思路是让隐藏状态改为机器学习模型,并将更新规则设为自监督学习的一步。 背景 Transformer 在长时间下表现良好,但具有二次复杂度 Transformer 有一个KV缓存,它会随着时间的推移不断增长。这个状态不会压缩任何历史上下文,但随着上下文长度的增加,成本也会越来越高。 对Transformer来说,每个token索引的平均复杂度在其32k上下文中不断减少。 RNN 层具有线性复杂度,但在长上下文中的性能受到隐藏状态的表达能力的限制 RNN 层必须将上下文压缩为固定大小的隐藏状态,作为一种压缩启发式,更新规则需要发现成千上万甚至数百万个token之间的底层结构和关系。 像 Mamba 这样的 RNN 层,会随着时间的推移压缩成一个固定大小的状态,它们虽然效率很高,但很难真正利用额外的条件信息。 TTT 的诞生 ...
2024 年 6 月总结
不要在人还没起来的时候按掉闹钟啊不能这么自信..我也是个拖延症患者 ( ╯□╰ ) 所见与所想01 “No battle was ever won according to plan, but no battle was ever won without one.” 很多人的日子是走一步看一步,他们管这个叫活在当下,认为别人总是想的太多。 我觉得这样不对,活在当下不是没有追求地随性接受,而是充分思考和准备后,在那个当下做好那个当下的事情,这一切是有计划的,这个小时午休就是午休,下个小时考试就是考试,因为这个下午要考试,所以前一周的每一天应该如何地安排复习计划。 计划会被破坏,计划是不准确的,这对于任何一个反复精力过完整规划的人来说都是常识,这个常识就是 ——...
2024 年 5 月总结
咖啡因和酒精填满了白天与黑夜去看见各式各样的人还是回到自己的桌前 这个月写下的很多情绪躁动的心喷涌的呐喊我想都是他人的映射 所见与所想01有人说自己没有办法再工作了,不是说这辈子没法工作,而是每过一阵子的工作,就变成无法忍耐,发现自己变成了一块回转寿司,甚至像是长毛了回转寿司,依然在餐桌上回转着。我遇到了好几个年轻人,意识到自由意志的存在却苦于生存之中,遇不到心仪的事业,也不甘心麻木地活着。有时候想说你们的要求太高了,但这话也没法说出口,想要一份心仪的工作是很纯粹美好的希望,投入工作让工作变成喜欢的样子显得太艰难了,大家都喜欢短平快,看多了外显的美好有害身心健康啊。 In every job that must be done,There is an element of fun.You find the fun and snap!The job’s a...
Node process.on 事件监听整理
123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051// Begin reading from stdin so the process does not exit.process.stdin.resume();// only works when there is no task running// because we have a server always listening port, this handler will NEVER executeprocess.on("beforeExit", (code) => { console.log("Process beforeExit event with code: ", code);});// only works when the process normally exits// on windows, ctrl-c...