一.题外话 说来惭愧,一开始是考虑写关于CRC检错技术更深层次数学原理的,然而在翻看<Basic Algebra>后,我果断放弃了这种不切实际的想法.个人觉得不是因为本人数学水平差或者能力差,而是研究生教材知识概念具有一定的连贯性,需要花大量时间研读.不过呢,我还是找到一本适合了解CRC技术的著作<纠错码的代数理论>---冯克勤,对数学感兴趣的朋友也可以在业余时间品读一下全书. 用国内搜索引擎搜索关于CRC检错技术的文章或者博客,内容也基本都是千篇一律,基本都是介绍如何模2运算.写

做线性回归的时候,检验回归方程和各变量对因变量的解释参数很容易搞混乱,下面对这些参数进行一下说明: 1.t检验:t检验是对单个变量系数的显著性检验   一般看p值:    如果p值小于0.05表示该自变量对因变量解释性很强. 2.F检验:F检验是对整体回归方程显著性的检验,即所有变量对被解释变量的显著性检验 3.P值:P值就是t检验用于检测效果的一个衡量度,t检验值大于或者p值小于0.05就说明该变量前面的系数显著,选的这个变量是有效的. 4.R方:拟合优度检验 5.调整后的R方: 小结: t检

正态检验与R语言 1.Kolmogorov–Smirnov test 统计学里, Kolmogorov–Smirnov 检验(亦称:K–S 检验)是用来检验数据是否符合某种分布的一种非参数检验,通过比较一个频率分布f(x)与理论分布g(x)或者两个观测值分布来判断是否符合检验假设.其原假设H0:两个数据分布一致或者数据符合理论分布.拒绝域构造为:D=max| f(x)- g(x)|,当实际观测值D>D(n,α)则拒绝H0,否则则接受H0假设.由于KS检验不需要知道数据的分布情况,在小样本的统计分

<零起点,python大数据与量化交易>,这应该是国内第一部,关于python量化交易的书籍. 有出版社约稿,写本量化交易与大数据的书籍,因为好几年没写书了,再加上近期"前海智库·zw大数据"项目,刚刚启动. 因为时间紧,只花了半天时间,整理框架和目录. 说是v0.1版,但核心框架已经ok:从项目角度而言,完成度,已经超过70%,剩下的只是体力活. 完成全本书,需要半年以上连续时间,本人没空,大家不要再问:"什么时间可以完成." 配合zwPython,这

第四百零五节,centos7下搭建sentry错误日志服务器,接收python以及Django错误, 注意:版本,不然会报错 Docker >=1.11Compose >1.6.0 通过docker安装sentry 安装docker 1.卸载旧版本 sudo yum remove docker \ docker-common \ docker-selinux \ docker-engine 2.安装依赖包 sudo yum install -y yum-utils device-mapper-

CRC(循环冗余检验码) 基本原理:在K位信息码后面加上R位校验形成N位编码(即CRC码),事先需要约定一个生成多项式G(x),校验码生成过程:将K位信息码向左移动R位然后mol(其实就是按位异或)上生成多项式G(x),所得余式即为校验码,校验的标准,将N位编码mol上G(x)如果所得余式为0,这说明信息完好(允许些许误差). 需要满足的条件:CRC校验码位数 = 生成多项式位数 - 1 举例: 假设使用的生成多项式是G(X)=X3+X+1.4位的原始报文为1010,求编码后的报文. 解: 1.

古典概型的样本总量是一定的,且每种可能的可能性是相同的, 1.中位数:median(x) 2.百分位数:quantile(x)或者quantile(x,probe=seq(0,1,0.2)) #后面这个是设置参数,零到一的范围,每隔0.2算一次 不知道叫啥的很方便的函数:fivenum(x,na.rm=TRUE) #输出五个数最大值.最小值.下四分位数.上四分位数.中位数 3.协方差:用于看两组数据之间的关系,看看是不是有一定的关联性 他有一个相关系数r,r越接近1,则相关性越高,反之,越接近零

  当我们想研究不同sample的某个变量A之间的差异时,往往会因为其它一些变量B对该变量的固有影响,而影响不同sample变量A的比较,这个时候需要对sample变量A进行标准化之后才能进行比较.标准化的方法是对sample 的 A变量和B变量进行loess回归,拟合变量A关于变量B的函数 f(b),f(b)则表示在B的影响下A的理论取值,A-f(B)(A对f(b)残差)就可以去掉B变量对A变量的影响,此时残差值就可以作为标准化的A值在不同sample之间进行比较. Loess局部加权多项式回

当我们想研究不同sample的某个变量A之间的差异时,往往会因为其它一些变量B对该变量的固有影响,而影响不同sample变量A的比较,这个时候需要对sample变量A进行标准化之后才能进行比较.标准化的方法是对sample 的 A变量和B变量进行loess回归,拟合变量A关于变量B的函数 f(b),f(b)则表示在B的影响下A的理论取值,A-f(B)(A对f(b)残差)就可以去掉B变量对A变量的影响,此时残差值就可以作为标准化的A值在不同sample之间进行比较. Loess局部加权多项式回归

lend_club 全球最大的P2P平台2007~2012年贷款数据百度云下载. 此文章基于R语言做简单分析. rm(list=ls()) #清除变量 gc() #释放内存 step1 考虑到后续分析 将数据导入sqlserver,用到SSIS 如图 **此处有坑 step2 连接sqlserver,并将数据读入R. library(RODBC) con<-odbcConnect("LI") # LI 是本地数据库,con~connect 是本地连接 RODBC Connecti

半导体知识产权H.264/H.265 硅IP核供应商Jointwave公司的发布了一系列视频编解码RTL IP核,已经成功应用于军事工业领域的指挥作战,无人机UAV控制,航空和航天摄像机,视频记录黑匣子等应用 这些IP核对应技术特性如下:第一个特性是视频编码器和视频解码器配合工作可实现零延时视频传输系统,也只有实现了零延时才能应用到军事指挥作战和UAV & Avionics控制领域.第二特性是视觉无损,1路高清画面1080P@60FPS无压缩数据量是3Gbps,采用H.264 Intra onl

本文对应<R语言实战>第15章:处理缺失数据的高级方法 本文仅在书的基础上进行简单阐述,更加详细的缺失数据问题研究将会单独写一篇文章. 处理缺失值的一般步骤: 识别缺失数据: 检查导致数据缺失的原因: 删除包含缺失值的实例或用合理的数值代替(插补)缺失值. 缺失数据的分类: 完全随机缺失(MCAR):某变量的缺失数据与其他任何观测或未观测的变量都不相关: 随机缺失(MAR):某变量上的缺失数据与其他观测变量相关,与它自己的未观测值不相关: 非随机缺失(NMAR):不属于MCAR或MAR的变量.

流行病学的数据讲究“三间分布”,即人群分布.时间分布和空间分布.其中的“空间分布”最好是在地图上展示,才比较清楚.R软件集统计分析与高级绘图于大成,是最适合做这项工作了.关于地图的绘制过程,谢益辉.邱怡轩和陈丽云等人都早有文章讲述,开R地图中文教程之先河.由于目前指导毕业论文用到,因此研究了一下.本来因为网上教程很多,曾打消了写些文字的计划,但怡轩版主鼓励说“教程者众,整合者鲜”,所以才战胜拖延症,提起拙笔综述整合一下,并对DIY统计GIS地图提出了一点自己的想法. 1 地图GIS数据的来源与R

当考虑 Web 性能指标时,需要关注的目标数字应该是从您自己的用户那里获得的实际用户指标.最常见的方法是利用 Splunk 之类的工具来分析您的机器数据,该工具支持您分析和可视化您的访问权限和错误日志.利用这些工具,您可以收集某些方面的性能数据,比如读取资产的文件 I/O 时间,以及 API 请求的访问时间.但是,您仍然需要推断客户端性能数据,将信号调用方在某些高级的检查点上,或者只利用类似 WebPagetest 的工具运行综合测试.现在,W3C 已将 API 标准化,用户可以通过使用 Per

聚类分析根据对象之间的相异程度,把对象分成多个簇,簇是数据对象的集合,聚类分析使得同一个簇中的对象相似,而与其他簇中的对象相异.相似性和相异性(dissimilarity)是根据数据对象的属性值评估的,通常涉及到距离度量.相似性(similarity)和相异性(dissimilarity)是负相关的,统称为临近性(proximity). 在聚类分析中,聚类算法的第一步都是度量数据集对象之间的距离,实际操作步骤是:对数据矩阵(用于存储数据对象)进行无量纲化处理,应用距离算法,得到相异性矩阵(用于存

概述 Swift正迅速成为数据科学中最强大.最有效的语言之一 Swift与Python非常相似,所以你会发现2种语言的转换非常平滑 我们将介绍Swift的基础知识,并学习如何使用该语言构建你的第一个数据科学模型 介绍 Python被广泛认为是数据科学中最好.最有效的语言.近年来我遇到的大多数调查都将Python列为这个领域的领导者. 但事实是数据科学是一个广阔并且不断发展的领域.我们用来构建数据科学模型的语言也会随之发展.还记得R是什么时候的流行语言吗?它很快就被Python超越了.Julia语

library(randomForest)model.forest<-randomForest(Species~.,data=iris)pre.forest<-predict(model.forest,iris)table(pre.forest,iris$Species) library(rpart)library(randomForest)model.forest<-randomForest(Kyphosis~.,data=kyphosis)pre.forest<-predict

分解时间序列,就是将一个时间序列拆分成不同的构成元件.一般序列(非季节性序列)包含一个趋势部分和一个不规则部分(也就是随机部分),而如果是一个季节性序列,除以上两个外,还有季节性部分.   在此,我们先讲——非季节性数据的分解.   一个非季节性时间序列包含一个趋势部分和一个不规则部分. 分解时间序列即为试图把时间序列拆分成这些成分,也就是说, 需要估计趋势的和不规则的这两个部分. 为了估计出一个非季节性时间序列的趋势部分, 使之能够用相加模型进行描述, 最常用的方法便是平滑法, 比如计算时间序

In the last years a lot of data has been released publicly in different formats, but sometimes the data we're interested in are still inside the HTML of a web page: let's see how to get those data. One of the existing packages for doing this job is t

1.常用操作 列表常用操作 在 ipython 中定义一个 列表,例如: l= list() 输入 l. 按下 TAB 键, ipython 会提示 字典 能够使用的函数如下: 可以到官方网址查询使用方法: insert.append需要达到熟练的程度,pop / sort 用的也比较多就地操作(修改原来的内容), 拷贝一份进行操作(不会修改原来的值,但是会返回一个新的内容)案例: 其他用方法 使用in判断值是否存在 使用 += 合并列表 使用 len() 获取长度 使用join()转换为字符串

CRC(Cyclic Redundancy Check):循环冗余检验.在链路层被广泛使用的检错技术. CRC原理: 1.发送端 1.1.在发送端先将数据分组,每组k个数据.假定要传送的数据是M. 1.2.在数据M后面添加供差错检测的n位冗余码,然后构成一帧发送出去,一共发送(k+n)位. 虽然添加n位冗余码增大了数据传送的开销,但是可以进行差错检测,当传输可能出现差错时,付出这种代价是值得的. 1.3.冗余码可以用下面的方法得出: 3.1.用二进制模2运算进行2^n*M(相当于M左移n位)的运