文章列表
作者：寒小阳
时间：2016年1月。
出处：http://blog.csdn.net/han_xiaoyang/article/details/50469334
声明：版权所有，转载请联系作者并注明出处
1.引言
提起笔来写这篇博客，突然有点愧疚和尴尬。愧疚的是，工作杂事多，加之懒癌严重，导致这个系列一直没有更新，向关注该系列的同学们道个歉。尴尬的是，按理说，机器学习介绍与算法一览应该放在最前面写，详细的应用建议应该在讲完机器学习常用算法之后写，突然莫名奇妙在中间插播这么一篇，好像有点打乱主线。
老话说『亡羊补牢，为时未晚』，前面开头忘讲的东西，咱在这块儿补上。我们先带着大家过一 ...
- 2016-01-06 15:35
- 浏览 599
- 评论(0)
之前一篇写了关于 Redis 的性能，这篇就写写我认为比性能更重要的扩展性方面的主题。
如果再给我一次回到好几年前的机会，对于使用 Redis 我一开始就要好好考虑将来的扩展问题。就像我们做数据库分库分表，一旦决策了分库分表，通常一次就会分到位，比如搞上 8 或 16 个库，每个库再分 256 或 1024 个表。不管将来业务再怎么发展，基本这个量级的分片都足够应对，而且底层库可以做成逻辑的，扛不住时再换成物理的，对应用方完全透明，没有数据迁移的烦恼。
而 Redis 其实也提供了类似的逻辑库概念，每个 Redis 实例都有 0 到 15 号独立的逻辑库空间。当我们早期机器资源紧张而业 ...
- 2016-01-04 23:48
- 浏览 378
- 评论(0)
作者：寒小阳 && 龙心尘
时间：2016年1月。
出处：http://blog.csdn.net/han_xiaoyang/article/details/50451460
声明：版权所有，转载请联系作者并注明出处
1. 引言
上一节我们讲完了各种激励函数的优缺点和选择，以及网络的大小以及正则化对神经网络的影响。这一节我们讲一讲输入数据预处理、正则化以及损失函数设定的一些事情。
2. 数据与网络的设定
前一节提到前向计算涉及到的组件(主要是神经元)设定。神经网络结构和参数设定完毕之后，我们就得到得分函数/score function(忘记的同学们可以翻看一 ...
- 2016-01-03 16:43
- 浏览 944
- 评论(0)
作者：寒小阳 && 龙心尘
时间：2016年1月。
出处：http://blog.csdn.net/han_xiaoyang/article/details/50447834
声明：版权所有，转载请联系作者并注明出处
1.神经元与含义
大家都知道最开始深度学习与神经网络，是受人脑的神经元启发设计出来的。这里为了交代一下背景，也对神经网络研究的先驱们致一下敬，我们决定从生物学的角度开始介绍。
1.1 神经元激励与连接
大家都知道，人脑的基本计算单元叫做神经元。现代生物学表明，人的神经系统中大概有860亿神经元，而这数量巨大的神经元之间大约是通过<no ...
- 2016-01-02 10:55
- 浏览 682
- 评论(0)
走在程序员的路上，久了总会碰到一些系统崩溃的事件。
在 2011 年 8 月份某个阴雨连绵的周一，北弗吉尼亚一个 1000 万瓦特的变压器发生爆炸，在整个电网中带来了庞大的突增瞬间电压，对亚马逊位于弗吉尼亚州阿什伯恩（As ...
- 2015-12-29 21:11
- 浏览 316
- 评论(0)
分布式存储是相对于单机存储而言，之所以要分布自然是因为互联网时代信息数据大爆炸，单机已经难以满足大型应用的数据存储需求。
存储系统的关注点
关于存储系统，一般我们关注下面几个方面：
数据分布与负载均衡
数据存储的可靠性与一致性
数据访问性能
系统容错能力
系统扩展能力
在单机存储系统中有一种独立磁盘冗余阵列（RAID，redundant array of independent disks）技术，
是把相同的数据存储在多个硬盘不同地方的方法。通过把数据放在多个硬盘上，输入输出操作能以平衡的方式交叠，改良性能。
这个技术基本解决了我们上面提到的前三点，数 ...
- 2015-12-22 20:44
- 浏览 364
- 评论(0)
MySQL 复制问题的最后一篇，关于双向同步复制架构设计的一些设计要点与制约。
问题和制约
数据库的双主双写并双向同步场景，主要考虑数据完整性、一致性和避免冲突。对于同一个库，同一张表，同一个记录中的同一字段的两地变更，会引发数据一致性判断冲突，尽可能通过业务场景设计规避。双主双写并同步复制可能引发主键冲突，需避免使用数据库自增类主键方案。另外，双向同步潜在可能引发循环同步的问题，需要做回环控制。
如上图所示，复制程序写入时也会产生 binlog，如何识别由复制程序产生的 binlog 并将其过滤掉是避免循环复制的关键。
原生 Dual Master 方案
MySQL ...
- 2015-12-22 20:38
- 浏览 458
- 评论(0)
2011 年，当初选择 Redis 作为主要的内存数据存储，主要吸引我的是它提供多样的基础数据结构可以很方便的实现业务需求。另一方面又比较担心它的性能是否足以支撑，毕竟当时 Redis 还属于比较新的开源产品。但 Redis 官网宣称其是提供多数据结构的高性能存储，我们对其还是抱有幻想的。
幻想
要了解 Redis 的性能，我们先看看官方的基准性能测试数据，心里有个底。
测试前提
Redis version 2.4.2
Using the TCP loopback
Payload size = 256 bytes
测试结果
SET: 198412.69/s
GET: 1980 ...
- 2015-12-22 20:30
- 浏览 274
- 评论(0)
hadoop的HDFS hadoop分布式文件系统
NameNode ：存储元数据，比如（文件名，文件权限） ，负责处理client端发起的请求任务，读写都先访问namenode
元数据保存到内存中，同时落地到磁盘fsimage ，edits记录了对metadata的操作日志保存文件，block，datanode之间的映射关
系。block 的位置信息保存到内存里面，重启服务的时候上报
SecondaryNameNode（SNN） 是一部分元数据的备份， 它的主要工作 ：NN每隔3600s或者超出固定大小，发送edits 和fsimage
给SNN，NN生成一个新的ed ...
- 2015-12-16 16:36
- 浏览 502
- 评论(0)
作者：寒小阳 && 龙心尘
时间：2015年12月。
出处：http://blog.csdn.net/han_xiaoyang/article/details/50321873
声明：版权所有，转载请联系作者并注明出处
1. 引言
其实一开始要讲这部分内容，我是拒绝的，原因是我觉得有一种写高数课总结的感觉。而一般直观上理解反向传播算法就是求导的一个链式法则而已。但是偏偏理解这部分和其中的细节对于神经网络的设计和调整优化又是有用的，所以硬着头皮写写吧。
问题描述与动机：
大家都知道的，其实我们就是在给定的图像像素向量x和对应的函数<nobr>&l ...
- 2015-12-15 22:55
- 浏览 785
- 评论(0)
一：hadoop2.X 笔记
hadoop1.0中，HDFS存在的问题
-NameNode单点故障
-NameNode压力过大、内存受限
MapReduce存在的问题 ---mapReduce 计算时间 比较长
JobStacker 访问压力大，影响系统的扩容性
在1.x中 不支持spark。storm
Hadoop2.x 由Hdfs、MapReduce和YARN三个分支构成：
HDFS：NN federation（联合会、联邦） 是两个独立的NameNode、HA
YARN：资源管理系统
MapReduce：运行在YARN上的计算框架、或者其它计算框架
HA（high A ...
- 2015-12-15 18:27
- 浏览 642
- 评论(0)
作者： 龙心尘&&寒小阳
时间：2015年12月。
出处： http://blog.csdn.net/longxinchen_ml/article/details/50281247， http://blog.csdn.net/han_xiaoyang/article/details/50282141
声明：版权所有，转载请联系作者并注明出处，谢谢。
1、 引言：不要 ...
- 2015-12-13 12:36
- 浏览 1168
- 评论(0)
1.读负载均衡
Mongodb是通过客户端参数来设置读负载均衡的，主要通过ReadPreference这个参数来设置的，共有如下几种设置：
(1).nearest：客户端与主节点和从属节点之间的距离，哪个近就从哪个读取。距离的单位是ping值。
(2).primary：只从shard中的主节点进行读取。
(3).primaryPreferred：主节点优先，只有主节点不可用，才会从从属节点读取。
(4).secondary：只从shard中的从属阶段读取。
(5).secondaryPreferred：从属节点优先，只有从节点不可用才会从主节点读。
2.写入操作一 ...
- 2015-12-11 12:15
- 浏览 406
- 评论(0)
十多年后又看了遍《黑客帝国》，扯点和程序有关的非技术话题。
前段时间出差周末没事就在酒店又把黑客帝国重温了一遍，不看不要紧，十年后再看发现以前对这部电影的理解完全错了。 《黑客1》是 1999 年出的，我还在 ...
- 2015-12-09 21:17
- 浏览 426
- 评论(0)
一、搜索集群架构简介
1.1整体功能描述
通过独立的zookeeper集群管理solrcloud集群。
Solrcloud集群负责索引的创建、查询、更新和删除操作。Solrcloud集群做sharding，每个sharding内做主从备份。
Search服务通过zookeeper集群获取solrcloud信息，向solrcloud提交用户信息索引请求，并向solrcloud提交用户信息搜索请求以完成用户信息的搜索。
Service服务对客户端提供搜索接口，给Search服务提供用户信息获取接口，同时从Search服务中查询获取用户信息。
1.2结构
二、zoo ...
- 2015-12-09 16:07
- 浏览 714
- 评论(0)