Su Aiwen 's Homepage

最近は仕事関係でtensorflowに触れ始めたが、色々慣れない操作やトラップがあって、まだ忘れていないうちに記録する PCに複数のCUDA環境を作るTFをインストールしようと思った時、なんと… windows OSでTF-gpuをデプロイしたいならば、最高でも2.10しかない。もっと高いバージョンを使いたいならば、WSLのUBUTUNディストリビューションを使う他ない。（WSL２のブログまだ中途半端なのであまり自信ない・・・） 公開されているTFモデルでもこれから検証しようモデルでも、どちらでも結構古いモデルが多い気がする。だから古いTFでも対応できるはずかなという気持ちで、今度TF2.10.0のインストールを目指す。 GUDA要件確認GPUに依存するライブラリをインストールする前に必ず確認するもの 対応するCUDAバージョン 対応するcudnnバージョン 他の依頼関係 必ずどこかにある。ホームページではパッとわかる場所ではないが、Googleすれば出る。tensorflowはソースからビルトでCUDAバージョン要件を見つけられる。 https://www.tensorflow. ...

モデルの切り替えdevice = torch.device("cuda:0"/"cpu")model.to(device)data.to(device) GPUの特徴非同期GPUは並列化処理ができるため、複数のタスクを同時に進めることが可能になります。 https://miro.medium.com/v2/resize:fit:1100/format:webp/0*T6wK4QDVadTLbIl- It may makes: GPU実行はまだ終わってないのに、end=time.time()は実行された Warm-upが必須 warm-up = dry-on空運転は一回必要 the main reason for a dry-run is to put your CPU and GPU on maximum performance state ベストパフォーマンスに至るまでに計測するのは正確でない e.g. 計算が始まってから少し時間を空けて計測を始める 空運転の方法 CPU and GPU are very quick to ...

从去年diffusion的崛起陆陆续续的看了很多文章和应用，也有在自己的研究上加入一些元素。但是浑浑噩噩下来其实对于dm的历史以及进化过程很是浅显， 笔记也非常零碎，借此文章对笔记进行一些整理 符号T：定量。确定的时间步长。 t：变量。对应的时间步。 生成模型生成模型的根本其实就是：将训练数据和生成数据的分布尽可能接近 如果将一个个的sample看做是一个个人类，那么控制的参数则有性别，年龄，身高，器官的大小……这些数据的分布情况都决定了AI创造的的新种族是否与人类相似。如果这个种族的平均身高只有120，那必然怎么看都只能算侏儒群体。 将两个数据的分布靠近的方法可以分为下面两类： 直接计算： 严密计算：Flow-based 使用易于计算的上限值计算：VAE,diffusion 间接达成 GAN 在两种方法中，以GAN为首的间接达成的方法曾经一直是主流。其通过增加分辨器的方式进行对抗学习，”逼迫“生成器必须提取非常抽象的特征以生成无法被识别出来真假的sample。但是它的缺点是不够精细，生成样本的质量参差不齐。最近以Diffusion为主的直接计算法又再次登上舞台，但是只 ...

课程：https://www.deeplearning.ai/short-courses/chatgpt-prompt-engineering-for-developers/ 课程代码：https://github.com/ArslanKAS/Prompt-Engineering-by-OpenAI 文档：https://platform.openai.com/docs/api-reference/introduction Overview clear not equal short。有时必要的增加prompt的长度能下达更精准的命令。 使用区分符号如三引号，tag符号等。避免对模型产生误导。 解决复杂问题时要引导模型step by step的解决问题。模型有跳过说明性文字而直接看结果的倾向，可能导致错误答案。 要给模型思考时间。如提示他直到计算出答案前不要决定结果。 避免让模型直接生成名字等。模型有生成不存在的答案的倾向。必要时可以向模型提供相关的情报信息引导它生成真实存在的名字。 提示工程和深度学习的过程一样，是递归的。我们应该根据具体问题具体分析，在一次次的实验中找到最优prom ...

参考深度学习花书 第三章 概率与信息论【常用统计量，分布】 第五章 机器学习基础【参数选择，最大似然估计】 第六章 深度前馈网络【输出单元】 概率统计期望离散: $E[f(x)]=\sum_xP(x)f(x)$ 连续： $E[f(x)]=\int P(x)f(x)dx$ 默认地，我们假设E表示对括号内的所有随机变量求平均 性质：线性 E(af(x)+bg(x)+c)=aE(f(x))+bE(g(x))+c方差对x依照概率分布采样时，随机变量x的函数值会呈现多大的差异 离散： Var(f(x))=E[(f(x)-E[f(x)])^2] 协方差两个变量线性相关性的强度以及这些变量的尺度 Cov(f(x),g(y))=E[(f(x)-E[f(x)])(g(y)-E[g(y)])]随机变量组成的向量之间可构成协方差矩阵，其对角元素为方差 Cov(x)_{i,j}=Cov(x_i, x_j) 变量的尺度：1. 绝对值越大，变化越大 2. 若为正，则两个变量都倾向于取较于均值更大的值 相关性：若为0，则无线性相关；若不为0，则一定相关 注意：相关性比独立性的要求更弱。相关性无法判断非线性相关性，而 ...

参考深度学习花书 第四章 数值计算【梯度下降，约束优化】 第八章 深度学习中的优化【优化问题，优化算法】 主要整理了1. 梯度的定义和性质，以及如何运用到寻找函数的极值点 2. 寻找极值点中，如果我们需要添加额外条件，需要使用到约束优化 3. 深度网络的优化学习中的挑战和应用 4. 基于梯度，当今流行的深度网络优化算法 梯度梯度定义梯度不仅可以表现为一个函数 $y=f(x)$，他的定义式还可以解读为“表明如何缩放输入的小变化才能在输出获得相应的变化”： f(x+\epsilon) \approx f(x)+\epsilon f'(x)因此梯度对我们的优化问题非常有用：她告诉我们如何通过更改x来略微的调整y → 梯度下降法 一次梯度当我们有多个输入(一个函数多个变量)时，梯度是元素为 $\frac{\partial}{\partial x_i}f(x)$ 的向量 当我们有多个输入和多个输出 (多个函数多个变量)时 Jacobian 矩阵：相比于只有多个输入的情况，我们将同一个输出函数对于不同的变量的偏导写到行上，不同输出函数写到列上；因此构成了矩阵 J=\frac{\partia ...

内容参考： [1] How ChatGPT actually works : https://www.assemblyai.com/blog/how-chatgpt-actually-works/?continueFlag=49271bb2584143248da2304817eb2d87 [2] 强化学习一基础部分 : https://zhuanlan.zhihu.com/p/555303537 术语说明 Capability（能力） Allignment（对齐性/泛化性） 传统语言模型的缺陷现在流行的语言模型训练方式有Next-token-prediction （下文预测）和 masked-language-modeling （遮挡预测）， 如大名鼎鼎的transformer。这种方式使得模型能够学习完美构成的语句，却无法真正理解更高级别的语义内容。其特点是能力高，泛化度低。比起人类的复杂的判断系统（语境，常识等），语言模型更多而仅仅依靠上下文的出现概率（likelihood）进行判断。常见的缺点有： 缺少帮助性：无法遵循人类的指引（Instroduction） 捏造性：错误信 ...

求解决策过程(decision process)最优化的数学方法。 剑指10-1. 斐波那契数列写一个函数，输入 n ，求斐波那契（Fibonacci）数列的第 n 项（即 F(N)）。斐波那契数列的定义如下：F(0) = 0, F(1) = 1F(N) = F(N - 1) + F(N - 2), 其中 N > 1.斐波那契数列由 0 和 1 开始，之后的斐波那契数就是由之前的两数相加而得出。答案需要取模 1e9+7（1000000007），如计算初始结果为：1000000008，请返回 1。 避免重复计算因此使用动态算法 class Solution: def fib(self, n: int) -> int: a, b = 0, 1 for _ in range(n): a, b = b, a + b return a % 1000000007 剑指10-2. 青蛙跳台阶一只青蛙一次可以跳上1级台阶，也可以跳上2级台阶。求该青蛙跳上一个 n 级的台阶总共有多少种跳法。答案需要取模 1e ...

本来是想看Ruth Fong这位作者的一些关于可解释模型的一些论文，但是无意中看到她作为共作的讨论数据集的性别刻板印象的论文，沉迷于此看了一天倒是忘记了最开始是要看别的来着… Meister, Nicole, et al. “Gender Artifacts in Visual Datasets.” arXiv preprint arXiv:2206.09191 (2022). 标题：Gender Artifacts in Visual Datasets论文地址：https://arxiv.org/abs/2206.09191关键词：AI fairness, gender bias, dataset analysis 0. 摘要我们已经知道性别偏差会出现在大型图像集中并且会影响下游任务模型。许多前序工作已经提出弱化这种偏差影响的手法比如尝试将性别情感相关的情报从图片里删除。为了理解这些手法的可行性和使用性，我们调查了大型图片集中究竟有哪些性别伪影（gender artifacts）。我们定义，性别伪影应该是一个 可视的并且会被现代模型学习到的 能以人类思维解释的 与性别相关的线 ...

基本概念栈：先进后出 栈顶，栈底，进栈，出栈 实现方式：顺序栈（数组），链栈（链表） 两种实现方式的区别，仅限于数据元素在实际物理空间上存放的相对位置，顺序栈底层采用的是数组，链栈底层采用的是链表 应用：浏览器的回退（page.history），IDE的括号匹配 相关题目：虽然栈的运作机制很简单实现功能也较少，但由于不同于其他结构的先进后出的结构，通过主栈加辅栈的组合也能实现不错的功能 剑指09. 用两个栈实现一个队列 剑指30. 包含min函数的栈 队列：先进先出 实现方式： 列表：list和list.pop(0) python库：collections.dqueue和dqueue.popleft() 时间复杂度的不同：list 是列表，数组移除头部元素的方式是把后面的元素全部往前移动一位，所以复杂度是 O(N) ； deque 是双端队列，底层是链表，因此头部和尾部是等价的，插入删除都是 O(1) 应用：遍历树或图时 相关题目： 链表 相关题目： 利用链表有序的特点进行遍历： 剑指16. 从尾到头打印链表 剑指18. 删除链表的节点 但是也因为有序的特点 ...