Julio

2018 飘着

Mon, 31 Dec 2018 00:00:00 +0000

眼看着2018就要结束了，倒不是非写个命题作文，但是整理整理过去一年的感悟还是很值得的。不过也不能就叫年终总结吧，想着今年暑假没能回去，也在外飘了1整年了，所以今年就飘着吧。

正经事

今年结束了四年的本科生活，记得是过完春节返校后，开始想起要要找工作了，于是悻然总结总结了这几年自己的所知所学，投了几份简历，幸而在家外企暂时安顿下来。不过其实仔细说起来，临毕业的最后那几个月估计是这一年里过得最充实与伤感的。记得陈老师特意问了问我未来的打算，大概没把Research做完，也是挺惋惜的吧。提前约了同学拍了毕业照，对照着大一和他们拍过的照片，感觉每个人的变化都相当大，但是该黑的绝对还是得黑的呀。还记得，Cecilia毕业前告诉我她想法后我的惊讶，在那之后，我们没再见过面的遗憾；还记得离校的最后一晚和盛哥在楼道喝啤酒聊未来的感慨；还记得毕业典礼前一晚，风雨操场的通宵狂欢；还记得舍友卧谈会那会儿的悠闲。离校最后一晚，约她一起去操场闲逛，算是和大学的一段感情做了告别，感慨我们彼此没有好好把握，有太多的也许。。。

Books & Moive in 2018

Fri, 21 Dec 2018 00:00:00 +0000

读书（文学类）

《守望的距离》.周国平
《蒙元入侵前夜的中国日常生活》.谢和耐
《月亮与六便士》.威廉·萨默塞特·毛姆
《刀锋》.威廉·萨默塞特·毛姆
《总结：毛姆写作生活回忆》.威廉·萨默塞特·毛姆
《人性的枷锁》.威廉·萨默塞特·毛姆
《群上回唱》.卡勒德·胡赛尼
《我是猫》.夏目漱石
《我脑袋里的怪东西》.奥尔罕·帕慕克
《人间失格》.太宰治
《萤火虫小巷》.克莉丝汀汉娜
《浮世画家》.石黑一雄
《百年孤独》.马尔克斯
《米格尔街》.奈保尔
《查泰莱夫人的情人》.DH劳伦斯
《岛上书店》.加布瑞埃泽拉文
《连城诀》.金庸
《阿莱夫》.博尔赫斯
《自深深处》.奥斯卡王尔德
《情人》. 杜拉斯
《野性的呼唤》. 杰克伦敦
《红楼梦》.曹雪芹
《巴黎评论》作家访谈

读书（自我提高及工具书）

《Tensorflow机器学习指南》
《MySQL必知必会》
瑞·达里奥《原则》

多读自我提高类书籍本意在于掌握必须的知识与提升自身逻辑思考能力。

《红楼梦》Dream of the Red Chamber

Sun, 24 Jun 2018 00:00:00 +0000

曹雪芹在红楼梦第五回，借宝玉神游太虚幻境，道出书中女子各自的命运结局，虽已告知告知宝玉众人命运结局，当局者亦浑然不觉，只能看着剧中人一步一步走向那个已经注定的宿命。想罢，人生亦如是，命运总是在可解与不可解之间徘徊。

仙姑笑道：“吾居离恨天之上，灌愁海之中，乃放春山遣香洞太虚幻境警幻仙姑是也：司人间之风情月债，掌尘世之女怨男痴。因近来风流冤孽，缠绵于此处，是以前来访察机会，布散相思。今忽与尔相逢，亦非偶然。此离吾境不远，别无他物，仅有自采仙茗一盏。亲酿美酒一瓮，素练魔舞歌姬数人，新填《红楼梦》仙曲十二支，试随吾一游否？

概率论的两个问题-球盒模型、匹配问题

Wed, 20 Jun 2018 00:00:00 +0000

怎样利用“数数”的基本公式，来正确（不漏、不重）数出具体问题的数，并不是件容易的事儿。

基础概念

1. 可重复组合数

从 $n$ 种不同的元素中取 $m$ 个元素（方法是从 $n$ 个元素中每次取出一个后，放回，再取另外一个，直到取出 $m$ 个元素）有 $C_{n+m-1}^m$ 个不同的结果。

证明（顺便提到球盒模型用到的“隔板法”）：
首先明确，所谓有重复组合就是不考虑取出的元素的顺序，通俗来说，你第一次取出 $1$ 号元素第二次取出 $3$ 号元素和你第一次取出 $3$ 号元素第二次取出 $1$ 号元素是一样的情况。
可以把该过程看作是一个“放球模型”； $n$ 个不同的元素看作是 $n$ 个格子，去掉头尾之后中间一共有 $n-1$ 块相同的隔板；用 $m$ 个相同的小球代表取 $m$ 次；则原问题可以简化为将 $m$ 个不加区别的小球放进 $n$ 个格子里面，问有多少种放法；
注意到格子的头尾两块隔板无论什么情况下位置都是不变的，故去掉不用考虑；相当于 $m$ 个相同的小球和 $n-1$ 块相同的隔板先进行全排列：一共有 $(m+n-1)!$ 种排法，再由于m个小球和（n-1）块隔板是分别不加以区分的，所以除以重复的情况：$m!(n-1)!$;
于是答案就是：$\frac{(m+n-1)!}{m!(n-1)!}=C_{n+m-1}^{m}$。

Schwarz不等式知识归纳

Sun, 10 Jun 2018 00:00:00 +0000

Schwarz 不等式是个应用广泛的不等式，常见于线性代数的内积空间，数学分析的无穷级数，连续函数的积分以及概率论中的方差、协方差。

一般表述为

$\vert \langle x,y\rangle \vert ^2 \leq \langle x,x\rangle \dot \langle y,y \rangle$

在欧几里得空间$\mathcal{R^n}$中，$$(\sum_{i=1}^{n}x_i y_i)^2 \leq (\sum_{i=1}^{n}x_i^2)(\sum_{i=1}^{n}y_i^2)$$

理解拓扑空间的紧性

Sat, 28 Apr 2018 00:00:00 +0000

文章转载自链接

关于空间的紧性，我们在之前的分析中已经见过了：例如在实数轴上的有界闭区间就是典型的紧集，紧集具有很多优良的性质，比如我们知道在有界闭区间上的连续函数一定是一致连续的，并且能取到最大值和最小值。所以，在将空间的概念推广到一般的拓扑空间之后，我们也希望将紧性这一优良性质也带到拓扑空间中来。为此，我们需要找到什么是紧集最本质的东西。在实数轴上的紧集 $K$，有如下的一些等价刻画：

Note-关于事件的运算

Fri, 20 Apr 2018 00:00:00 +0000

关于事件的运算

$$\underset{n \rightarrow \infty}{\overline{lim}} A_n= \bigcap _{k=1}^{\infty} \bigcup _{n=k}^{\infty} A_n$$

$$\underset{n \rightarrow \infty}{\underline{lim}} A_n= \bigcup _{k=1}^{\infty} \bigcap _{n=k}^{\infty} A_n$$

其中，$\underset{n \rightarrow \infty}{\overline{lim}} A_n$ 为事件序列${A_n}$的上限事件，表示$A_n$发生无穷多次。类似的，称 $\underset{n \rightarrow \infty}{\underline{lim}} A_n$ 为事件序列的下限事件，表示$A_n$之多只有有限个不发生。

显然，有$$\underset{n \rightarrow \infty}{\overline{lim}} A_n \supset \underset{n \rightarrow \infty}{\underline{lim}} A_n$$

接触向量自回归模型

Sat, 14 Apr 2018 00:00:00 +0000

VAR方法通过把系统中每一个内生变量,作为系统中所有内生变量的滞后值的函数来构造模型，从而回避了结构化模型的要求。Engle, Granger（1987）指出两个或多个非平稳时间序列的线性组合可能是平稳的。假如这样一种平稳的或的线性组合存在，这些非平稳（有单位根）时间序列之间被认为是具有协整关系的。这种平稳的线性组合被称为协整方程且可被解释为变量之间的长期均衡关系。VAR模型对于相互联系的时间序列变量系统是有效的预测模型，同时，向量自回归模型也被频繁地用于分析不同类型的随机误差项对系统变量的动态影响。如果变量之间不仅存在滞后影响，而不存在同期影响关系，则适合建立VAR模型，因为VAR模型实际上是把当期关系隐含到了随机扰动项之中。

HMM-隐马尔可夫模型

Sun, 01 Apr 2018 00:00:00 +0000

马尔科夫链

在介绍$\text{HMM}$之前，我们先要了解什么是马尔科夫链。马尔科夫链是一个随机过程，简单来说就是当前时刻的状态与前 $p$ 个时刻的状态有关，即

$$P(z(t) | z(t-1),z(t-2),\cdots,z(1),z(0)) = P(z(t)|z(t-1),z(t-2),\cdots,z(t-p))$$

这种被称作 $p$ 阶马尔科夫链；为了简化这个过程以方便应用到模型中，我们有两个假设：

在序列中，当前时刻状态只依赖于前一时刻的状态，也就是$P(z(t)|z(t-1), z(t-2),\cdots, z(1), z(0)) = P(z(t)|z(t-1))$。
状态转移的分布不随时间的改变而改变，也就是说任意时刻下的状态产生与时间无关，仅仅与前一状态有关。

但是实际生活中，这种状态本身是很难观测到的，我们只能根据其他的特征来观测这些状态，同时状态之间的 转移矩阵也是很难直接获得的，这就需要隐马尔科夫模型了.

概率论（离散空间）杂谈

Tue, 20 Mar 2018 00:00:00 +0000

关于概率论与统计学的不同，相信学过统计学的同学，看过上图后一定能秒懂。

统计学：根据手中信息，猜猜桶里有啥？

概率论：根据桶中信息，猜猜手里有啥？

概率空间

所有基本事件组成的集合，其中的每一个基本事件又称做样本点，样本空间用$\boldsymbol {\Omega }$表示，样本点用$\omega$表示,$\Omega={\omega }$

用python做数据分析与科学计算(篇一)

Sun, 18 Mar 2018 00:00:00 +0000

用python做数据分析与科学计算主要涉及Numpy, Pandas, Scipy, Scikit-learn, Scipy等库，工作环境为Anaconda，这个IDE集成了大部分常用的包。同时，可以实现本地环境下Python的多版本切换，可参考之前文章,MacOS下使用python的多版本方案

通常做数据分析&挖掘的workflow：拿到数据之后先要做一个数据的预处理(pandas+numpy+scipy)，接着会要对数据包含的特征做一些可视化输出(matplotlib)，之后需要提取特征&建模调参(numpy+scikit-learn)，有了模型与结果，最后归纳整理做presentation & report.

SAS基础学习篇(一)

Wed, 14 Mar 2018 00:00:00 +0000

参考书籍

《SAS编程与数据挖掘商业案例》（预热）
「the Little SAS Book」(推荐)
「Applied Econometrics Using The SAS System」

SAS编程主要包括DATA和PROC两部分

* create sas data set named toads;
* read the data file ToadJump.dta using list input;
DATA toads;
INFILE '~/desktop/ToadJump.dta';
INPUT ToadJump $ Weight Jump1 Jump2 Jump3;
RUN;
* print the data to make sure the file was read correctly;
* PROC PRINT DATA = toads;
TITLE 'SAS Data Set Toads';
RUN;

这样就建立了一个名为toads的临时数据集，然后读入外部文件ToadJump.dat，然后告诉SAS有四个变量，其中第一个是文本型,缺失值用一个点.标记

Excel知识点备忘

Mon, 12 Mar 2018 00:00:00 +0000

Excel系统学习：视频教程

相对引用与绝对引用

$A1列绝对引用
A$1行绝对引用
$A$1行列都为绝对引用

快捷键F4

条件格式

学会使用条件格式，其中与混合应用交叉，可实现相关功能

排序

一般排序
多条件排序
按照特定字段排序
排序的延伸

筛选

一、时间与日期函数

today()返回日期格式的当前日期,输入日期快捷键Ctrl+;
now(),输入日期时间快捷键Ctrl+Shift+;
weekday(serial_number,return_type)
workday()
dateif(start_date,end_date,unit[Y|M|D])返回两个日期之间年/月/日的间隔数

输入日期快捷键Ctrl+;

Oracle SQL语句学习及总结

Tue, 06 Mar 2018 00:00:00 +0000

一、数据库基础

创建数据库

CREATE DATABASE database_name;

查询数据库

show create database <database_name>;

删除数据库

drop database <database_name>;

修改数据库

alter database <database_name> character set <str_coll> collate <rules>

补充:

切换数据库 use db_name; -> 当有多个数据库的情况,需要use db_name; 先切换到要操作的数据库
查看当前正在使用数据库: select database();

数据表操作:

创建数据表

create table table_name(
 column_1 column_1_type,
 column_2 column_2_type,
 column_3 column_3_type,
 column_4 column_4_type
);

技巧：复制表结构

create table New_table as 
SELECT * from Old_table 
where 1 = 2

1. SQL功能概述

SQL（Structured Query Language，结构化查询语言）是用户操作关系数据库的通用语言。

VC维理论-统计学习理论基础

Sat, 03 Mar 2018 00:00:00 +0000

说说历史
Hoeffding不等式
Connection to Learning
学习可行的两个核心条件
Effective Number of Hypotheses
Growth Function
Break Point与Shatter
VC Bound
VC dimension
深度学习与VC维
小结
参考文献

VC维在机器学习领域是一个很基础的概念，它给诸多机器学习方法的可学习性提供了坚实的理论基础，但有时候，对我们而言，SVM，LR，深度学习等可能都已经用到线上了，但却不理解VC维。

Lasso回归算法

Thu, 01 Mar 2018 00:00:00 +0000

关于P值滥用的简要介绍

计量模型中关于变量选择，很多同学可能第一个想到的是：前进法，后退法，向前向后逐步回归。但是，这些方法存在一些固有的缺陷,它们会导致某些可能为最优的变量组合无法共同进入模型。

我们抛开传统的统计学教材，把眼光瞄向统计学习理论，就会发现，其实有大量的模型可供我们选择。今天，先介绍最基础的方法：Lasso。

因果推断：工具变量（Instrumental Variable）

Wed, 28 Feb 2018 00:00:00 +0000

一、线性回归和最小二乘法

线性模型和最小二乘的理论起源于高斯的天文学研究，“回归”（regression）这个名字则是 Francis Galton 在研究优生学的时候提出来的。为了描述的方便，我们假定回归的自变量只有一维，比如个体$i$是否接受某种处理（吸烟与否；参加某个工作；等等），记为$D_i$。回归的因变量也是一维，表示我们关心的结果（是否有肺癌；是否找到工作培训与否；等等），记为$Y_i$。假定我们的研究中有 $n$ 个个体，下面的线性模型用于描述$D$和$Y$之间的“关系”：

JUMP少年周刊-最全漫画排行榜

Sat, 24 Feb 2018 00:00:00 +0000

其中，一些台词我们仍记忆犹新诸如

龟–派–汽–功 $\quad \Rightarrow $ 七龙珠
你已经死了 $\quad \Rightarrow $北斗神拳
教练我想打篮球！ $\quad \Rightarrow $灌篮高手
燃烧吧，小宇宙 $\quad \Rightarrow $圣斗士星矢
我可是要当海贼王的男人 $\quad \Rightarrow $One Peice

JUMP的连载原则：把在十话内没有得到读者青睐的漫画统统砍掉，并要求高人气作品不准完结，要不顾剧情发展的连载下去。虽然，这样的的条款压抑了创作者空间，但是作为一个企业来说，JUMP以这样的原则给我们呈现了数不清的优秀作品，也获得了巨大的商业成功，稳居日本漫画龙头地位。

广义矩估计(GMM)方法

Sat, 24 Feb 2018 00:00:00 +0000

首先广义矩估计($GMM$)很容易使我们联想到统计学中参数估计方法之一的矩估计。

矩估计

矩估计是什么呢？简单的说，就是用样本矩代替总体矩进行统计推断的方法。

一个最基础的例子是正态总体的参数估计问题。如果$x_i \sim N(\mu,{\sigma}^2)$，如何估计$\mu$和$\sigma$呢？本科的统计学一般会介绍两种方法：极大似然估计和矩估计。其中矩估计是我们今天的主角。观察到：

本科计量经济学之回炉重造篇

Thu, 22 Feb 2018 00:00:00 +0000

本文基于本科的计量经济学课程，主要涉及宏微观、高等数学、线性代数、统计学相关知识。
学完我们需要掌握的主要内容包括计量经济学中基本假设及违背基本假设的处理；横截面、面板数据的分析与处理；基础时间序列分析与预测

参考书籍为

1 基本假设篇

通常在实际研究的计量经济学问题中，完全满足回归的基本假设的情况并不多见。不满足基本假定的情况。称为违背基本假定，其情况主要包括:

网站迁移(hexo)

Tue, 20 Feb 2018 00:00:00 +0000

由于wordpress访问速度太慢，懒得折腾XD，把一些博客文章迁移到新博客上。目前使用Github Page + Hexo的方案比较流行，留作日常记录。

hexo g // Generate content.
hexo s // preview in localhost.
hexo d // deploy to the blog.

The end

2017年(Lunar Year)读书与看剧

Thu, 15 Feb 2018 00:00:00 +0000

读书（文学类）

加缪. 《鼠疫》
朱光潜.《西方美学史》 读的慢，忘的快
乔治·奥威尔. 《1984》
乔治·奥威尔. 《动物农庄》
艾玛·拉金《在缅甸寻找乔治·奥威尔》
凯鲁亚克. 《在路上》
白先勇《台北人》
尤瓦尔·赫拉利《人类简史:从动物到上帝》
尤瓦尔, 赫拉利. 《未来简史》
斯蒂芬·茨威格. 《人类群星闪耀时》
尼古拉斯·斯帕克思. 《分手信》
卡勒德·胡赛尼. 《群山回唱》
费孝通. 《乡土中国》

读书（自我提高及工具书）

李忠秋. 《结构思考力》
尼尔·布朗《学会提问》
布鲁克·诺埃尔·摩尔《批判性思维》
读自我提高类书籍本意在于提升自身逻辑思考能力，上面几本书能够很好的达到目的。
Johnson. 实用多元统计分析.
RobertV.Hogg. 数理统计学导论
张维迎. 博弈论与信息经济学
Nasrabadi, Nasser M. “Pattern recognition and machine learning.”

看剧

《怦然心动》- 纯爱类影片，学会从整体审视生活
《时空恋旅人》 - 看完觉得幸福了一辈子
《饮食男女》 - 人之大欲，不过饮食男女
《闻香识女人》 - 善良、正直，是走得多远都不能丢弃的道德品质
《海边的曼彻斯特》 - 每个人都是一座孤独的岛
《东京爱情故事》 - 爱情是个很难说的事儿吧，thank you，赤名莉香
《白色巨塔》- 过程正义与结果正义
《NANA》 - 主题曲很好听
《熔炉》 - 不想评论，谢谢
《聚焦》 - 同上
《两杆大烟枪》 - 同《低俗小说》《疯狂的石头》，贵在叙事方式
《傲慢与偏见》、《罗马假日》、《南丁格尔》、《乱世佳人》还说什么，都是经典，无论看几遍，都能品出味道来.

和子由渑池怀旧 .苏轼
人生到处知何似，应似飞鸿踏雪泥。
泥上偶然留指爪，鸿飞那复计东西。
老僧已死成新塔，坏壁无由见旧题。
往日崎岖还知否，路长人困蹇驴嘶。

MacOS下使用python的多版本方案

Mon, 01 Jan 2018 00:00:00 +0000

背景

MacOS系统本身自带python，但是版本仍然停留在python2.7。私以为python2与python3语言差别比较大，python3额外一些新特性如**“通配符**，字典可排序，统一的Unicode编码”**等，都值得去尝试。为此，保证电脑上两个版本都能共存是很必要的。

Python字符串处理拾掇

Thu, 20 Apr 2017 00:00:00 +0000

Python 字符串操作（string替换、删除、截取、复制、连接、比较、查找、包含、大小写转换）

一、去空格及特殊符号

s.strip().lstrip().rstrip(',')

二、复制字符串

# strcpy(sStr1,sStr2)
sStr1 = 'strcpy'
sStr2 = sStr1
sStr1 = 'strcpy2'
print(sStr2)

三、连接字符串

#strcat(sStr1,sStr2)
sStr1 = 'strcat'
sStr2 = 'append'
sStr1 += sStr2
print(sStr1)

四、查找字符

#strchr(sStr1,sStr2)
# < 0 为未找到
sStr1 = 'strchr'
sStr2 = 's'
nPos = sStr1.index(sStr2)
print(nPos)

五、比较字符串

#strcmp(sStr1,sStr2)
sStr1 = 'strchr'
sStr2 = 'strch'
print(cmp(sStr1,sStr2))

六、扫描字符串是否包含指定的字符

#strspn(sStr1,sStr2)
sStr1 = '12345678'
sStr2 = '456'
#sStr1 and chars both in sStr1 and sStr2
print(len(sStr1 and sStr2))

七、字符串长度

「如何高效的学习」读书笔记

Wed, 22 Mar 2017 00:00:00 +0000

《如何高效学习》从学习的战略上指导学习知识的策略抛出整体性学习的概念，以及结构、模型、高速公路的观点;详细分析了学习的顺序和信息的分类。以战术的方式分解学习的各种战术，如快速阅读、笔记流、比喻法、内在化、联想法、图表法、挂钩法、信息压缩、知识应用、模型纠错等。下面是我阅读时写下的感想，比较少的书摘。

写在大三下学期

Wed, 22 Mar 2017 00:00:00 +0000

大学时光经不起回味，一眨眼的时间，大学生生活已经步入尾声，随之而来的就该是毕业季的伤感了。步入大三的同学们，都在为步入”社会“摩拳擦掌，该考研的考研，该工作的工作。即使是平时班上最不爱学习的，也时不时开始向人打听起公务员考试的相关事宜了 :blush: :blush:

SVM支持向量机

Mon, 27 Feb 2017 00:00:00 +0000

通俗来讲，SVM是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。

从线性回归讲起

SVM主要是用来做分类工作，诸如文本分类，图像分类，生物序列分析和生物数据挖掘，手写字符识别等领域都有很多的应用。

用Tensorflow写简单的神经网络

Sat, 25 Feb 2017 00:00:00 +0000

TensorFlow是一个采用数据流图（data flow graphs），用于数值计算的开源软件库。节点（Nodes）在图中表示数学操作，图中的线（edges）则表示在节点间相互联系的多维数据数组，即张量（tensor）。它灵活的架构让你可以在多种平台上展开计算，例如台式计算机中的一个或多个CPU（或GPU），服务器，移动设备等等。

唐璜节选

Thu, 23 Feb 2017 00:00:00 +0000

诗歌能做到以更简练、更摄人心魄的精准语言与我们的灵魂直接沟通。

生命激荡着青葱的希望
爱意伴随着激情的火焰
美食、酒神，都是爱情的风帆
——唐璜-「七」岩穴奇情

生命的美好不能束缚他，死亡的狰狞也不能毁灭它
来自他的母亲—摩尔人赋予她刚强的性格
他将彻底面对世界
乐园和荒漠，没有第三条路

希腊的少女曾用哀歌，咏叹海黛的爱
迁居的岛民，也曾在漫漫长夜将这一切讲述
夜色大海静，传说流万古
孤岛痴女情，唯有诗人知
——唐璜-「十六」伤逝

爱情犹如鸦片，不用太多
一口便让人迷醉
除了泪水情人的眼睛什么都能汲取
尤其是生命的泉水

这已经足够，爱情虚无飘渺
它因自私而起，又因自私结束
还有一种爱情只是一时的热忱
把自己的脆弱与孤独的美相结合
点缀那一颗疯狂的无法遏制的心
如果没有这种美，热情也就消失
——唐璜-「三十二」女皇的恩宠

共轭先验

Sat, 18 Feb 2017 00:00:00 +0000

定义：如果先验分布和似然函数可以使得先验分布和后验分布有相同的形式，那么就称先验分布与似然函数是共轭的。

读数理统计学导论时，遇到过共轭先验的概念。贝叶斯判别准则中，分别假设了先验分布$p(\theta)$，后验分布$p(\theta|X)$，以及$p(X), p(X|\theta)$似然函数。

全局优化算法之粒子群算法

Sun, 05 Feb 2017 00:00:00 +0000

序言

前面讨论过一些迭代算法，包括牛顿法、梯度方法、共轭梯度方法和拟牛顿法，能够从初始点出发，产生一个迭代序列。很多时候，迭代序列只能收敛到局部极小点。因此，为了保证算法收敛到全局最小点，有时需要在全局极小点附近选择初始点。此外，这些方法需要计算目标函数。

全局优化算法之模拟退火算法

Fri, 03 Feb 2017 00:00:00 +0000

序言

全局优化算法之遗传算法

Fri, 03 Feb 2017 00:00:00 +0000

全局优化算法概述

等式约束与不等式约束问题

Thu, 26 Jan 2017 00:00:00 +0000

针对特殊约束条件下的优化问题，有着不同类别适应不同条件的求解算法。包括梯度法、求解线性等式约束问题的投影梯度法、适用于含有等式约束规划和含有不等式规划的拉格朗日乘子法、针对不等式约束的KKT条件法、罚函数法等。

等式约束问题

设目标函数为f(x)，约束条件为$h_k(x)$，形如$$min \quad f(x) \ s.t. \quad h_k(x)=0 \quad k=1,2,\cdots k$$则解决方法是消元法或者拉格朗日法。消元法不再多说，拉格朗日法这里在提一下，因为后面提到的KKT条件是对拉格朗日乘子法的一种泛化。

广义线性模型(Generalized Linear Model)

Thu, 26 Jan 2017 00:00:00 +0000

广义线性模型(Generalized Linear Model)

本文沿接接着上节的指数分布族,文章中注了引入指数分布族的概念是为了说明广义线性模型。

概念

广义线性模型（generalized linear model, GLM)是简单最小二乘回归（OLS)的扩展,在广义线性模式中，假设每个变量的观测值 $Y$ 来自某个指数族分布。该分布的平均数 $\mu$ 可由与该点独立的 $X$ 解释：$$E(y)=\mu=g(\theta^Tx)$$

MCMC与Gibbs采样

Wed, 25 Jan 2017 00:00:00 +0000

随机模拟

随机模拟(或者统计模拟)方法有一个很酷的别名是蒙特卡罗方法(Monte Carlo Simulation)。这个方法的发展始于20世纪40年代，和原子弹制造的曼哈顿计划密切相关，当时的几个大牛，包括乌拉姆、冯.诺依曼、费米、费曼、Nicholas Metropolis，在美国洛斯阿拉莫斯国家实验室研究裂变物质的中子连锁反应的时候，开始使用统计模拟的方法,并在最早的计算机上进行编程实现。

指数分布族

Mon, 23 Jan 2017 00:00:00 +0000

指数分布族是指可以表示为指数分布的概率分布。指数分布形式如下：$$P(y;\eta)=b(y)exp(\eta^{T}T(y)-\alpha(\eta))$$其中，$\eta$成为分布的自然参数；$T(y)$是充分统计量，通常$T(y)=y$。当$a、b、T$参数都固定的时候，就定义了一个以 $\eta$ 为参数的指数函数族。

矩阵分解相关知识回顾

Sat, 21 Jan 2017 00:00:00 +0000

特征值与特征向量

设A是数域F上的n阶矩阵，如果存在数域F中的一个数$\lambda$与数域上F的非零向量$\overrightarrow{\alpha}$，使得：$A\overrightarrow{\alpha}=\lambda \overrightarrow{\alpha}$则称$\lambda$为A的一个特征值(根)(eigenvalue)，称$\overrightarrow{\alpha}$为A的属于特征值$\lambda$的特征向量(eigenvector)。

数理统计学：世纪末的回顾与展望

Fri, 20 Jan 2017 00:00:00 +0000

作者：陈希孺

一、20世纪数理统计学发展概述

20世纪，特别是其上半叶，是数理统计学发展史上一个辉煌的时代。从现代数理统计学框架的建立到发展为一个成熟的学科，是在这个时期完成的。20世纪初，数理统计学面临一个转折点，意思是它必须有新的突破才能获得进一步发展的契机。20世纪早期一批以费歇尔(R.A.Fisher)为首的统计学大师成功地应对了这个局面，创造了非凡的业绩。按照国际上一些知名统计学家的看法，20世纪末数理统计学发展的态势，与世纪初颇有相似的地方。人们在呼唤“21世纪的费歇尔(Fisher)”。当然，广义地说，这也是每一位数理统计工作者所肩负的任务。中国作为一个世界大国，年轻一代的数理统计学者应该也有条件在这方面作出自己的贡献。为了更清楚阐述上文的意思，需要对数理统计学的历史作一个简短的回顾。按目前数理统计学界公认的看法，数理统计学是“收集和分析带随机性的数据的科学和艺术”。以笔者的看法，这个内涵规定了它是一个中立性的工具。“中立”的意思是指这门学科不带任何社会的、政治的或意识形态上的倾向性，因而也不存在它自成学派或从属于何学派的问题。有一种看法认为社会经济统计学与数理统计学是“大统计学”中的两个对立的学派。笔者认为这种看法值得商榷。的确，在社会经济统计学中该不该使用数理统计方法，在哪些问题上或者在何种程度上应否使用数理统计方法，是可能存在不同意见的。如果说由于对这些问题的看法不同而有学派存在，那还算言之成理。但这些问题与数理统计学无关：数理统计学只是一种工具，谁如觉得这个工具对他有用，就可以使用它——当然在使用中必须遵守这门学科的规范，否则就可能产生误导公众及提供错误的决策依据的后果。历史上（部分地直到如今）数理统计方法曾遭到一些批评和怀疑，一定程度上与上述情况有关。数理统计学起源于何时？这是一个无法也不必做出定论的问题。有的学者把英国学者格朗特(John Graunt)的著作《关于死亡公报的自然和政治观察》发表的年份1662年定为这门学科的诞生之日，恐怕也只能算是一家之见。实际情况是，可以说直到20世纪初，并不存在一门统一的数理统计学科，而中是在各实用领域中的学者因工作上的需要而分头发展了一些分析数据的方法，即统计方法。

优化算法篇之梯度法

Sun, 15 Jan 2017 00:00:00 +0000

我们在接触到具体的机器学习算法前，其实很有必要对优化问题进行一些了解。随着学习的深入，越来越发现最优化方法的重要性，学习和工作中遇到的大多问题都可以建模成一种最优化模型进行求解，比如我们现在学习的机器学习算法，大部分的机器学习算法的本质都是建立优化模型，通过最优化方法对目标函数（或损失函数）进行优化，从而训练出最好的模型。

优化算法篇之牛顿法

Sat, 14 Jan 2017 00:00:00 +0000

我们在接触具体的机器学习算法前，其实很有必要对优化问题进行一些介绍。随着学习的深入，笔者越来越发现最优化方法的重要性，学习和工作中遇到的大多问题都可以建模成一种最优化模型进行求解，比如我们现在学习的机器学习算法，大部分的机器学习算法的本质都是建立优化模型，通过最优化方法对目标函数（或损失函数）进行优化，从而训练出最好的模型。

用AngularJS写框架

Wed, 28 Dec 2016 00:00:00 +0000

1. 模块的定义和加载

1.1 模块的定义

先问个问题：我们做模块系统的目的是什么？如果觉得这个问题难以回答，可以从反面来考虑：假如不做模块系统，有什么样的坏处？

我们经历过比较粗放、混乱的前端开发阶段，页面里充满了全局变量，全局函数。那时候要复用js文件，就是把某些js函数放到一个文件里，然后让多个页面都来引用。

理解异步

Tue, 20 Dec 2016 00:00:00 +0000

JavaScript编程几乎总是伴随着异步操作，传统的异步操作会在操作完成之后，使用回调函数传回结果，而回调函数中则包含了后续的工作。这也是造成异步编程困难的主要原因：

前述

我们一直习惯于“线性”地编写代码逻辑，但是大量异步操作所带来的回调函数，会把我们的算法分解地支离破碎。

理解回调函数

Sat, 10 Dec 2016 00:00:00 +0000

主要讲解回调函数在jQuery中的使用技巧与实现原理，概念上的东西看似简单，但是在实际运用中要做到灵活自如却也不是那么容易的事，而且对于部分开发者来说它仍然是一个谜。在阅读本文之后你能深入理解这个“回调函数”。

函数是第一类对象，这是javascript中的一个重要的概念。意味着函数可以像对象一样按照第一类管理被使用，所以在javaScript中的函数：

JQuery源码解读 02-对象构建

Fri, 28 Oct 2016 00:00:00 +0000

对象简介

面向对象(OOP)的语言都有一个特点，它们都会有类的这一概念，通过类可以抽象出创建具体相同方法与属性的对象。但是ECMAScript中是没有类的概念的，因此它的对象与基于类的语言如java的定义是有所不同的。

在JavaScript世界中函数作为“一等公民”，它不仅拥有一切传统函数的使用方式（声明和调用），而且可以做到像简单值一样赋值、传参、返回，这样的函数也称之为第一级函数。不仅如此，而且还可以通过操作符new来充当类的构造器。

JQuery源码解读 01

Sun, 23 Oct 2016 00:00:00 +0000

简介

从整体入手理解架构，再深入攻破每个依赖模块，包括回调函数、异步加载、数据缓存、动画队列最后整体分析：选择器、DOM处理、AJAX、动画模块、事件

jQuery设计理念

引用百科的介绍：

jQuery是继prototype之后又一个优秀的Javascript框架。它是轻量级的js库，它兼容CSS3，还兼容各种浏览器（IE 6.0+, FF 1.5+, Safari 2.0+, Opera 9.0+），jQuery2.0及后续版本将不再支持IE6/7/8浏览器。jQuery使用户能更方便地处理HTML（标准通用标记语言下的一个应用）、events、实现动画效果，并且方便地为网站提供AJAX交互。jQuery还有一个比较大的优势是，它的文档说明很全，而且各种应用也说得很详细，同时还有许多成熟的插件可供选择。jQuery能够使用户的html页面保持代码和html内容分离，也就是说，不用再在html里面插入一堆js来调用命令了，只需定义id即可。

About Me

Mon, 01 Jan 0001 00:00:00 +0000

{
 Name: 'Watson Hu',
 Age: 23,
 Gender: 'Male',
 Address: 'Tianjin',
 Profession: 'Econometric & Statistic',
 Ocupation: 'Data Analyst',
 Email: 'ulsonhu@gmail.com'
}

归档

Mon, 01 Jan 0001 00:00:00 +0000