2024/10 Review
抛开社会语境下的爱,回归存在感体验的爱,确实是完满的溢出。
2024/09 Review
保持清醒,减少糖分,思考问题,精神亢奋
李晓钟峨眉山瑜伽静修十日记录|璐慧
呼吸在体内流动,指尖的酥麻感,脊柱的灵活感,肌肉的伸展感,我的身体,这个肉身本身就充满了能量。
OpenAI o1 preview 一周回顾
9月12日 OpenAI 发布 o1 模型的预览版本和迷你版本,对观察和探索了一周的信息做个整理。
2024 年 8 月总结
宏观是我们必须接受的,微观才是我们可以有所作为的。
生命是旷野,但职业发展是网格,尽量每次只移动一步
书评《不上班咖啡馆》
语音端点检测技术(VAD)
语音识别技术之语音活性检测介绍
2024 年 7 月总结
我从来不输,要么赢,要么成长。
超强编程助手 CodeGPT!自用
推荐它的三个理由 在 IDE 内的使用和 Github Copilot 一样方便,并且更省钱 支持切换各个商用模型,也支持本地模型接入,第一时间把开源新模型接入到开发工作流里 可以构建自己领域知识的Agent,专人专用,比如 SQL 专家或者接口文档喂进去 可以看下创始人的推,有不少展示片段:Daniel San 基本功能介绍插件商城可以直接搜索到,安装后左侧sidebar和右下角toolbox都有入口 针对研发流程的常见功能了,用惯了 copilot 是一致的,包括修复、解释、重构、完善注释、单元测试。 基本使用方式就 /explain @文件 这样,等于需要AI向你解释某个文件中代码的用途。 基本使用方式也可以是 /explain + Import Selection 这样,等于需要AI向你解释选中的代码片段的用途。 模型可以自由切换,商用的对应需要折腾下连接下api key (都熟门熟路了吧) 蛮推荐搞个 LM Studio 直接本地管理所有模型和日志的,好用,但要折腾下 😀 除了选择模型直接对话,也可以选择...
Test-Time-Training layers (TTT)
Test-Time-Training layers (TTT)三句话介绍 TTT 层的优势是具有线性复杂度和表达性隐藏状态的序列建模层。 其在处理长文本和提高硬件效率方面非常有潜力。 关键思路是让隐藏状态改为机器学习模型,并将更新规则设为自监督学习的一步。 背景 Transformer 在长时间下表现良好,但具有二次复杂度 Transformer 有一个KV缓存,它会随着时间的推移不断增长。这个状态不会压缩任何历史上下文,但随着上下文长度的增加,成本也会越来越高。 对Transformer来说,每个token索引的平均复杂度在其32k上下文中不断减少。 RNN 层具有线性复杂度,但在长上下文中的性能受到隐藏状态的表达能力的限制 RNN 层必须将上下文压缩为固定大小的隐藏状态,作为一种压缩启发式,更新规则需要发现成千上万甚至数百万个token之间的底层结构和关系。 像 Mamba 这样的 RNN 层,会随着时间的推移压缩成一个固定大小的状态,它们虽然效率很高,但很难真正利用额外的条件信息。 TTT 的诞生 ...