simpledateformat to long 24小时制问题

进行基于时间的条件查询时,发现一个bug,修复了好久,才发现dateformat转long型存在一个很严重的进制问题。 如果是12进制parse之后,12-24点之间的时间字符串会被自动转成0-12点之间所对应的long型,直入正题,看代码陷阱(小写hh是12进制,大写HH是24进制): java.text.SimpleDateFormat sdf = new java.text.SimpleDateFormat(“yyyy-MM-dd hh:mm:ss”,java.util.Locale.US);    java.util.Date startTime = sdf.parse(“2011-08-07 12:31:56″);    long ltime = startTime.getTime();    System.out.println(“Test1:”+ltime/1000);    sdf = new java.text.SimpleDateFormat(“yyyy-MM-dd HH:mm:ss”,java.util.Locale.US);    startTime = sdf.parse(“2011-08-07 12:31:56″);    ltime = startTime.getTime();    System.out.println(“Test2:”+ltime/1000);   输出结果则很清晰,截然不同: Test1:1312648316   Test2:1312691516     关于Java 各种格式的时间解析问题,参看:http://jacoxu.com/?p=451

Shell脚本文件/文件夹及内容操作范例

前段时间Solr项目写了一个shell脚本进行文件/文件夹以及其中内容的匹配和替换操作。目前已全改为java执行了,这段代码被弃用,不过值得留下为以后其他shell脚本开发是参考: #!/bin/bash    #auther:Jacob Xu 20130811, create for Solr master indexing    echo “====================== choose the configure for user! ====================”   solrToolPath=/home/jacoxu/solrProject/solrTools/    creatIndexFolder=1    replaceSchame=0    replaceMasterConf=1    replaceSlaveConf=0    generateCoreMap=0    generateSolrXml=1       ################## configure the index folder for user!###################    rawFolder=$solrToolPath“collection1970_01_1″   destFolder=/home/jacoxu/solrProject/solrHome_NormSMS/multicore/    startDate=201001    endDate=201412    coreChildren=( 1 2 3 )    conf=conf    prefixPath=collection    ########## configure the path of replaced schame.xml for user!###########    schema=schema.xml    … 继续阅读

Matlab下大矩阵运算

通过memory和whos可以看到当前系统的内存使用情况和每个变量所占用的内存,例如: K>> memory    Maximum possible array:               7414 MB (7.774e+009 bytes) *    Memory available for all arrays:      7414 MB (7.774e+009 bytes) *    Memory used by MATLAB:                2433 MB (2.552e+009 bytes)    Physical Memory (RAM):                5823 MB (6.106e+009 bytes)       *  Limited by System Memory (physical + swap file) available.   可以看到本地机器的物理内存RAM有将近6G,最大可能内存7G左右,目前已经被Matlab使用的内存有2G多,通过whos指令可以知道有那些变量占用的内存比较大: K>> whos      Name                      Size                    Bytes  Class     Attributes            temp_instance_2       20229×10059            1627868088  double                    temp_instance_3       20229×10059               2095424  double    sparse                      train_data                1×10059              86199419  struct                 可以看到同样20139*10059的矩阵,double型的full矩阵要占用1.6G左右的内存,double型的sparse矩阵只占用了2M左右内存。 在运算速度方面 tic,toc来知道每段代码的执行时间。但要知道每条语句的详细运行情况的话,非profile莫属。先运行profile on,再运行需要测试的代码,然后使用profile viewer来查看报告。 Sparse矩阵在指定下标的循环运算中不占优势。但是,当一个矩阵中有大量的0时就一定要采用sparse型进行运算,不只大大减少内存会消耗,而且时间消耗也会大大减少。注意,一般Sparse矩阵运算如sum, diag等之后还是sparse矩阵,而当sparse矩阵和full矩阵一起参加运算时,结果会被强制转为full矩阵。要注意,当一个矩阵并不是很稀疏时尽量不要采用sparse方式存储,不便于矩阵运算,对于一些矩阵操作,如求矩阵转置等操作会变得异常异常的慢! 下面是一个2W*2W的double型全1矩阵full型和sparse型的占内存情况: >> A = ones(20229,20229);    >> whos      Name          Size                    Bytes  Class     Attributes       … 继续阅读

[zz]通过构树快速计算编辑距离

今晚微软编程题目中有一题:海量数据的相似字符串快速统计,复杂度希望能近似到线性。类似一个快速KNN的问题,快速统计方法分为近似与精确方法。近似方法属于ANN流派,而精确方法大多通过几何方法,如各种Tree,下面是Matrix67用中文介绍的一篇如何通过Tree来快速计算编辑距离的文章。 参考出处:1. http://www.matrix67.com/blog/archives/333 2. http://blog.notdot.net/2007/4/Damn-Cool-Algorithms-Part-1-BK-Trees =========================下为转载文章============================== 除了字符串匹配、查找回文串、查找重复子串等经典问题以外,日常生活中我们还会遇到其它一些怪异的字符串问题。比如,有时我们需要知道给定的两个字符串“有多像”,换句话说两个字符串的相似度是多少。1965年,俄国科学家Vladimir Levenshtein给字符串相似度做出了一个明确的定义叫做Levenshtein距离,我们通常叫它“编辑距离”。字符串A到B的编辑距离是指,只用插入、删除和替换三种操作,最少需要多少步可以把A变成B。例如,从FAME到GATE需要两步(两次替换),从GAME到ACM则需要三步(删除G和E再添加C)。Levenshtein给出了编辑距离的一般求法,就是大家都非常熟悉的经典动态规划问题。 在自然语言处理中,这个概念非常重要,例如我们可以根据这个定义开发出一套半自动的校对系统:查找出一篇文章里所有不在字典里的单词,然后对于每个单词,列出字典里与它的Levenshtein距离小于某个数n的单词,让用户选择正确的那一个。n通常取到2或者3,或者更好地,取该单词长度的1/4等等。这个想法倒不错,但算法的效率成了新的难题:查字典好办,建一个Trie树即可;但怎样才能快速在字典里找出最相近的单词呢?这个问题难就难在,Levenshtein的定义可以是单词任意位置上的操作,似乎不遍历字典是不可能完成的。现在很多软件都有拼写检查的功能,提出更正建议的速度是很快的。它们到底是怎么做的呢?1973年,Burkhard和Keller提出的BK树有效地解决了这个问题。这个数据结构强就强在,它初步解决了一个看似不可能的问题,而其原理非常简单。 首先,我们观察Levenshtein距离的性质。令d(x,y)表示字符串x到y的Levenshtein距离,那么显然: 1. d(x,y) = 0 当且仅当 x=y (Levenshtein距离为0 字符串相等) 2. d(x,y) = d(y,x) (从x变到y的最少步数就是从y变到x的最少步数) 3. d(x,y) + d(y,z) >= d(x,z) (从x变到z所需的步数不会超过x先变成y再变成z的步数) 最后这一个性质叫做三角形不等式。就好像一个三角形一样,两边之和必然大于第三边。给某个集合内的元素定义一个二元的“距离函数”,如果这个距离函数同时满足上面说的三个性质,我们就称它为“度量空间”。我们的三维空间就是一个典型的度量空间,它的距离函数就是点对的直线距离。度量空间还有很多,比如Manhattan距离,图论中的最短路,当然还有这里提到的Levenshtein距离。就好像并查集对所有等价关系都适用一样,BK树可以用于任何一个度量空间。 建树的过程有些类似于Trie。首先我们随便找一个单词作为根(比如GAME)。以后插入一个单词时首先计算单词与根的Levenshtein距离:如果这个距离值是该节点处头一次出现,建立一个新的儿子节点;否则沿着对应的边递归下去。例如,我们插入单词FAME,它与GAME的距离为1,于是新建一个儿子,连一条标号为1的边;下一次插入GAIN,算得它与GAME的距离为2,于是放在编号为2的边下。再下次我们插入GATE,它与GAME距离为1,于是沿着那条编号为1的边下去,递归地插入到FAME所在子树;GATE与FAME的距离为2,于是把GATE放在FAME节点下,边的编号为2。 查询操作异常方便。如果我们需要返回与错误单词距离不超过n的单词,这个错误单词与树根所对应的单词距离为d,那么接下来我们只需要递归地考虑编号在d-n到d+n范围内的边所连接的子树。由于n通常很小,因此每次与某个节点进行比较时都可以排除很多子树。 举个例子,假如我们输入一个GAIE,程序发现它不在字典中。现在,我们想返回字典中所有与GAIE距离为1的单词。我们首先将GAIE与树根进行比较,得到的距离d=1。由于Levenshtein距离满足三角形不等式,因此现在所有离GAME距离超过2的单词全部可以排除了。比如,以AIM为根的子树到GAME的距离都是3,而GAME和GAIE之间的距离是1,那么AIM及其子树到GAIE的距离至少都是2。于是,现在程序只需要沿着标号范围在1-1到1+1里的边继续走下去。我们继续计算GAIE和FAME的距离,发现它为2,于是继续沿标号在1和3之间的边前进。遍历结束后回到GAME的第二个节点,发现GAIE和GAIN距离为1,输出GAIN并继续沿编号为1或2的边递归下去(那条编号为4的边连接的子树又被排除掉了)…… 实践表明,一次查询所遍历的节点不会超过所有节点的5%到8%,两次查询则一般不会17-25%,效率远远超过暴力枚举。适当进行缓存,减小Levenshtein距离常数n可以使算法效率更高。

矩阵的那些性质与应用-迹Tr(A)、转置

矩阵乘法运算满足如下基本性质: 1.\(({\bf{AB}}){\bf{C}} = {\bf{A}}({\bf{BC}})\) 2.\({\bf{A}}({\bf{B}} + {\bf{C}}) = {\bf{AB}} + {\bf{AC}}\) 但不满足交换律\({\bf{AB}} \ne {\bf{BA}}\) 转置满足的性质: 1.\({({\bf{A}} + {\bf{B}})^T} = ({{\bf{A}}^T} + {{\bf{B}}^T})\) 2.\({({\bf{AB}})^T} = {{\bf{B}}^T}{{\bf{A}}^T}\) 定义:若A是方阵,称其对角线元素之和为A的迹,记作Tr(A),即: \[Tr({\bf{A}}) = \sum\limits_{i = 1}^n {{a_{ii}}} \] 性质1:设A为n阶方阵,则有 \[Tr({\bf{A}}) = Tr({{\bf{A}}^T})\] 性质2:若A、B都是n阶方阵,则有 \[Tr({\bf{AB}}) = … 继续阅读

2013编程之美の长方形

题目是这样子的: 描述 在 N 条水平线与 M 条竖直线构成的网格中,放 K 枚石子,每个石子都只能放在网格的交叉点上。问在最优的摆放方式下,最多能找到多少四边平行于坐标轴的长方形,它的四个角上都恰好放着一枚石子。 输入 输入文件包含多组测试数据。 第一行,给出一个整数T,为数据组数。接下来依次给出每组测试数据。 每组数据为三个用空格隔开的整数 N,M,K。 1 ≤ T ≤ 100 0 ≤ K ≤ N * M 小数据:0 < N, M ≤ 30 大数据:0 < N, M ≤ 30000 输出 对于每组测试数据,输出一行”Case … 继续阅读

任意字符串NGram分词简易版

功能:输入一个字符串,拆成任意NGram: 输入字符串:今天是2014年4月7日15pm package task;       public class testNGram {        /**      * @param args        * @author jacoxu        * @date 2014/04/07 15:29        */       public static void main(String[] args) {            String testStr = “今天是2014年4月7日15pm”;            System.out.println(split2NGram(testStr,3));            return;        }        private static String split2NGram(String testStr, int nGram) {            if (nGram > testStr.length()) return testStr;            StringBuffer str2NgramBuf = new StringBuffer();            char[] strChar = testStr.toCharArray();            for (int i=0; i<strChar.length-(nGram-1); i++){                for (int j = 0; j < nGram; j++) {                    str2NgramBuf.append(strChar[i+j]); … 继续阅读