之前写Rails在查找这块一般都是用DB内置的查询，不过上次试了下用 Elasticsearch ，比之前想像的要简单，记点东西在这吧。

这篇东西会包含下面几项内容：

• 安装 Elasticsearch
• 关联 Rails 与 Elasticsearch
• 配置索引内容
• Custom Analyzer

本文没有完整系统的介绍，更多的只是一些使用技巧。详细说明请参见官方文档。

开发的时候碰到一个问题，Rails的controller是用devise来提供认证的，如果用户在访问时没有有效的cookie就会被转到登录界面。但是在API的时候不能用cookie，所以需要分开做验证。

最近想折腾数据，于是决定从基础的Hadoop开始。

最近在折腾用Golang弄DB，定义完了 struct 后发现好像没有 ORM 可以把这个 struct 给映射到某张表上，所以需要：

• 手动创建表结构，包括折腾表名和数据结构
• 同步代码中的字段和表结构
• 如果要换DB还得再来一次

于是，开始找有没有像 Rails 中一样的生成器。

第三周分两部分，第一部分是 Communities in Social Network 。是介绍如何在社交网络中给用户分组的。这一部分的课也分为基础和高级，这一篇是基础， 高级的课程另开一篇吧（主要是基础中还有些东西没完全弄明白…）。

这一部分介绍 A-Priori 算法。

第二周的最后一块内容是 Frequent Itemsets 。主要介绍了 Frequent Itemsets ， Association Rule 以及算法。这一部分介绍前面的，后面一篇会介绍算法和优化。

第二周的 Nearest Neighbor Learning 只是一个大概的介绍。这是一个通过在训练集中找到离待查询数据最近的点从而做出预测的方法。

Locality-Sensitive Hashing，LSH，局部敏感hash或叫位置敏感hash。它的想法是在对原始数据空间的数据做Hash后，让位置相邻的数据有很大概率被放到同一个或者相近的bucket中，而不相邻的点放在一起的概率要很小。这样就会减少后期数据处理的数据集，从而简化后续的工作。

第一周的后半部分讲的是Link Analysis，主要讲的是PageRank的计算。