《Hadoop技术内幕》读书心得
一本比较偏重技术的书,介绍了很多的技术细节,所以只是涉猎的看了一下。
一、Hadoop的基本原理
Hadoop现在已经被看成大数据分析的“神器”。Hadoop有三大重要的模块,即基础公共库、HDFS(分布式文件系统)实现和MapReduce实现(分布式计算框架);
MapReduce由两个阶段组成:Map和Reduce。
通常而言,用户需要处理的数据均以文件形式存储到HDFS上!而非机构化的数据。
一本比较偏重技术的书,介绍了很多的技术细节,所以只是涉猎的看了一下。
Hadoop现在已经被看成大数据分析的“神器”。Hadoop有三大重要的模块,即基础公共库、HDFS(分布式文件系统)实现和MapReduce实现(分布式计算框架);
MapReduce由两个阶段组成:Map和Reduce。
通常而言,用户需要处理的数据均以文件形式存储到HDFS上!而非机构化的数据。
“阻塞”与"非阻塞"与"同步"与“异步"不能简单的从字面理解,提供一个从分布式系统角度的回答。
同步和异步关注的是消息通信机制 (synchronous communication/
asynchronous communication)
所谓同步,就是在发出一个调用时,在没有得到结果之前,该调用就不返回。但是一旦调用返回,就得到返回值了。
换句话说,就是由调用者主动等待这个调用的结果。
而异步则是相反,调用在发出之后,这个调用就直接返回了,所以没有返回结果。换句话说,当一个异步过程调用发出后,调用者不会立刻得到结果。而是在调用发出后,被调用者通过状态、通知来通知调用者,或通过回调函数处理这个调用。
一本非常烧脑的书!光是看书就花了四周,做笔记又花了一周。
看完《无言的宇宙--隐藏在24个数学公式背后的故事》之后,想深入了解那些数学的定理,就决定重捡起这本书看看(书是之前买的,但因为比较深奥,当时就没看)。看的过程,仿佛就是重温了一遍大学的高等数学。
不过本书重点是体现数学的思想,对一些深奥的、细节的问题倒是一带而过,所以看起来还是能把高等数学中核心的部分及思想体会一遍。
本书最大的特点是,根据人类在认识自然、解决生活中实际问题的要求,自然而然带出数学的相关领域。例如从自然数到整数,从整数到分数,从分数到有理数、到无理数,从实数到复数等等。这些数的出现,不是数学家凭空想出来的,而是人们结合需要一步步的扩展来的。在数学发展的过程中,集合慢慢替代了数成为了数学的基本要素,集合的概念在数学中发挥了重大的作用。数学的不同领域,其实就是定义满足一定公理、定义、运算要求的一些符合条件元素的集合,然后在这些公理、定义上,用形式化的符合来对这个集合进行研究和推理,形成了一个完整的领域。例如欧式几何、罗氏几何、黎曼几何,例如群论,例如高维数系等等。
数学的思想:
类似:1)要把一个东西快速运到另外一个地方; 2)定义一个叫车的东西; 3)车必须满足,能开动、速度要达到多少、装载容量、安全等等; 4)证明这个车符合实际的需求; 5)推广到运输工具(包括运人等)。
接上篇:《数学桥--对高等数学的一次观赏之旅》读书心得之一
分析是一门处理无穷的学科,例如微积分。
在初等代数中,二项式定理(英语:Binomial theorem)描述了二项式的幂的代数展开。根据该定理,可以将两个数之和的整数次幂诸如\((x + y)^n\) 展开为类似 \(ax^by^c\) 项之和的恒等式,其中b、c均为非负整数且b + c = n。系数a是依赖于n和b的正整数。当某项的指数为0时,通常略去不写。例如:\[\left( x+y\right) ^{4}=x^{4}+4x^{3}y+6x^{2}y^{2}+4xy^{3}+y^{4}\]
其中n次方的系数满足杨辉三角的排列。
接上篇:《数学桥--对高等数学的一次观赏之旅》读书心得之二
一个向量空间完全由它的维数和用来与向量做标量乘法的数系所刻画。
矩阵用来表示向量函数。
解线性方程的本质实际上就是求矩阵的逆阵!
矩阵A可逆的充要条件是A中列向量的任何一个线性组合都不为0;例如:不能一列全是0,或者两列完全相同!反过来,矩阵任何一个列向量线性组合都不可能等于零最明显的情况是这个矩阵是单位矩阵的一个纯量倍数。
接上篇:《数学桥--对高等数学的一次观赏之旅》读书心得之三
积分的本质就是无限细分然后求和!
具体的求导、积分的公式见前文二、分析中对应微分和积分的部分!
接上篇:《数学桥--对高等数学的一次观赏之旅》读书心得之四
概率论就是用数学的确定性来描述随机的过程。
样本空间:Ω;
某个结局:ω(在样本空间中)
概率论就是先要把问题转换成事件,然后通过概率学符号来处理。
事件:某些我们感兴趣事件(A)的概率P(A)。A是Ω样本空间中的某一种情况。
P(A)=使A中事件可以发生的等可能方式的数目/等可能的结局的总数。
等可能:相同可能,同概率随机事件。P(ω1)=P(ω2)=P(ω3)……
MathJax是一款运行在浏览器中的开源的数学符号渲染引擎,使用MathJax可以方便的在浏览器中显示数学公式,不需要使用图片。目前,MathJax可以解析Latex(wiki百科使用的)、MathML和ASCIIMathML的标记语言。
MathJax项目于2009年开始,发起人有American Mathematical Society, Design
Science等,还有众多的支持者,个人感觉MathJax会成为今后数学符号渲染引擎中的主流,也许现在已经是了。
注:wiki拷贝过来的公式需要做一定的修改,才能正确显示。具体的差异可以通过一下网站生成一个公式的LaTeX代码比较一下!《黄金分割》这篇博客是第一次用MathJax书写数学公式。
推荐一个在线手写公式转Tex格式的利器:Web
Equation。
通过手写公式,即可得到公式所对应的Tex格式,非常好用。
一本科普性质的数学书,作者摘选了24条在人类历史上最重要的数学公式(物理公式),介绍其背景及原理等。
像作者所说,数学是表达宇宙的一种语言。看了本书之后,这些公式的优美,但背后揭示出宇宙本质的深刻程度,让人叹为观止。
数学是一门科学,从毕达哥拉斯与柏拉图起希腊哲学家就对数学有着崇高的评价,他们将其视为纯理性的科学,认为它能穿透实际世界虚幻的表面,洞悉其实质;同时,数学也是一门艺术,它追求简单、优美。
下面,就让我们跟随作者的步伐,领略这些美妙绝伦的公式吧。