程序员

java enum的使用以及字符串其字符串之间的转换

via:http://blog.csdn.net/xieyuooo/

文章简单,相信在很多网站都能搜索到Java enum枚举的使用方式;可能有些东西我当时在刚开始用的时候没找到,所以我写了这篇文章,例如:

大多数地方写的枚举都是给一个枚举然后例子就开始switch,可是我想说,我代码里头来源的数据不太可能就是枚举,通常是字符串或数字,比如一个SQL我解析后首先判定SQL类型,通过截取SQL的token,截取出来可能是SELECT、DELETE、UPDATE、INSERT、ALTER等等,但是都是字符串,此时我想用枚举就不行了,我要将字符串转换成枚举怎么转呢,类似的情况还有从数据库取出数据根据一些类型做判定,从页面传入数据,根据不同的类型做不同的操作,但是都是字符串,不是枚举,悲剧的是我很少看到有人写到这个东西;所以我把它写下来,希望有人能用到。

首先为什么要用枚举?我们在什么时候用枚举比较好,用枚举有啥优势?

我认为哈,当你在一些一个范畴类,并可列举,不变化的类型,用以指导程序向不同的地方路由,用枚举是较好的选择;

听起来有点绕,不过有个例子也许可以明白,例如:

我们可以列举下日常工作日所做的事情:

上班、开会、吃饭、睡觉等

我们可以列举医院五官科需要检查人的部位:

眼睛、鼻子、耳朵、嘴巴等

这些都是可以被列举的,且每种事情我们要用不同的方式去做

当然你可以说:

1、可以用动态方法分派,通过配置文件或annotation;

2、可以使用常量来达到类似的效果;

3、直接通过字符串的equals来表达,用if else来表达

如果用配置加方法分派来做,是灵活,便于修改;但是如果在很多不经常修改的参数上,我们用这中方式往往增加配置的负担,并且当你需要看系统逻辑的时候,需要需要一遍看配置一遍看代码;不过,如果参数是可动态变换的信息,用配置是正确的选择;

而常量的使用,通常在switch case的时候都是数字,字符串在java中是不能做switch case的,使用常量的目的比case 1、case 2 ...这种增加了可读性;但是字符串数据也麻烦,除非再映射一次,那没那个必要,其实枚举也差不多是帮你映射了一次,只是它将代码封装了而已吧了,既然他弄好了,而且语法上支持,干嘛不用呢!其次,常量虽然增加了可读性,不过他没有范畴和管理类型的概念,即一个枚举的定义会定义个范畴,可以很好的将这个范围所需要的东西列举出来,而常量通常是些自己定义的一些池,放在一些公共类中或随机定义,都是比较零散的,并且枚举在switch的时候就明确定义好了就在锁列举的范围内case,既可以控制好系统,增加可读性,并且可以随时查看这个范畴的枚举信息到底有那些,达到类似看配置文件的作用;不过还是回到那句话,如果参数是可变的,那么就不适合做枚举,枚举是一定是可列举的,或者说当前系统考虑范围是可以被枚举的,例如上面的医院五官科,可能还有很多没有列举到,但是当前医院只处理几个部位,不处理其他的,就是这个道理;什么是可变的呢,例如URL参数来分派到对应方法,不可能大家加一段逻辑就去加一个枚举,加一个case,此时用【配置 动态方法分派】更好,当然配置可以用文件或annotation而已。

还有最土的就是,通过字符串equals,用if else来实现,呵呵,这个并没有什么不好,只是这个写比较零散,其次,字符串匹配的equals每次匹配都需要对比每个字符,如果你的代码中大量循环,性能并不是很好,其余的看看上面的描述就更加清楚了;

其次,枚举提供一种类型管理的组件,让面向对象的体系更加完善,使得一些类型的管理既可配置化,并可以管理,在使用枚举的地方都可以沿着枚举的定义找到那些有处理过,那些没处理过,而上述几种很难做到;例如,数据库的操作类型定义了10种,那么再判定的过程中就可以讲枚举像配置文件一样看待,而又非常简单的来管理。

最后,枚举绝对是单例的,对比的性能和数字性能相当,既可以得到可读性,也可以得到性能。

我们先定义个简单枚举(这里只是个例子,就简单定义3个变量了):

此时解析SQL后,获取出来一个token,我们要获取这个token的枚举怎么获取呢?

这样获取:

fiddler无法抓取chrome解决方法

前端开发中,不可避免的要和服务器端进行联调,少了fiddler这个利器可不行。

由于无线开发需要配置UA,我使用chrome进行访问,但是今儿一早过来,发现fiddler无法抓取chrome的请求了。

想想昨天对chrome进行的操作,我觉得问题应该出在代理的身上。

实际上fiddler是可以抓chrome的请求的。
由于我的chrome安装了代理管理的插件SwitchySharp,无论选择直接连接还是选择使用代理连接,插件都会屏蔽fiddler的设置。
fiddler会自动给浏览器设置一个代理127.0.0.1 端口8888,并且记忆浏览器的代理设置,所有的请求先走fiddler代理,再走浏览器代理。
如果使用插件,可能会直接屏蔽了fiddler的代理,因此无法监听到请求了。

chrome下的解决方法,代理插件选择“使用系统代理设置”选项,fiddler又重新能看到chrome的请求了。
或者不使用插件,不用卸载,chrome很方便禁用一个插件。然后使用浏览器默认的代理设置方式就ok了。

使用代理插件是为了方便切换代理,但是可能会导致fiddler等工具无法使用。真是鱼和熊掌不可兼得。… 继续...

Orika 教程以及与Spring的集成

via: http://malsolo.com/  又来挖坑了,找了一圈,只有这篇文字比较详细。得空翻译一下

I love good software, and Orika is a really interesting project. In this post I’m going to talk about this Java bean mapping framework that I’ve used recently and I highly recommend.

Orika (formerly hosted at google code) claims to be a simpler, lighter and faster Java bean mapping. And it really is.

It allows you to convert objects by copying its attributes from one to another.… 继续...

Java 多线程

随着多核芯片逐渐成为主流,大多数软件开发人员不可避免地需要了解并行编程的知识。而同时,主流程序语言正在将越来越多的并行特性合并到标准库或者语言本身之中。我们可以看到,JDK 在这方面同样走在潮流的前方。从JDK 5到JDK 7,越来越多的线程相关的新API加入到了标准库中,为不同场景下对线程实现与调度提供了完善的支持。我们可以充分利用这些类库,来提高开发效率,改善程序性能。

Java中使用线程

Java的多线程基于以下两个重要的机制:

  1. 父线程结束,如果子线程正在运行,子线程不会跟着结束。
  2. 每个线程拥有一个线程栈,会维护引用,用于GC。

Java提供了以下两种常用的方式来使用多线程:

  1. 继承Thread
  2. 实现Runnable接口

继承Thread

App兼容性设计

App兼容性设计

从今年的4月份开始,一直在开发公司的android app项目,到现在终于告一段落(轻松了点,不用每天加班加点的)。所以有闲趣来写这篇文章。

现在互联网APP开发都处于快速迭代开发的状态,所以APP能正常升级到最新版本是比较重要的事情。这里从服务器和移动端的角度来谈谈如果做到APP升级的兼容性设计。

基本概念

这里写一些通用的概念:

APP版本废弃: 活跃用户不在这个被废弃的APP版本,并且服务器限制该版本APP使用。

服务器

在保持兼容的过程中,服务器的兼容性还是比较好处理的,因为服务器的升级完全处于我们自己的控制中,不会出现服务器处于不同的版本状态。所以,只要处理好数据库,HTTP接口,推送协议,基本能保证APP升级无副作用。

数据库

在业务的开发过程中,不可避免的就是添加新的字段和删除原来旧的字段,对于新的字段添加,基本上可以保证旧的业务正常的运行,而删除字段,则可能导致旧的业务不能正常的运行,所以需要慎重选择。当然我们也不是不能删除字段,一般的做法是先保留旧的字段,然后等待APP版本废弃之后就可以进行删除该字段了。

HTTP接口

    对于HTTP接口, 还是采用 module.online.com/v1/service.do 的格式进行编码。其中添加v1的主要好处在于,能保证前后的兼容性。比如说,业务中出现一个重大的改动,为了保证旧业务依然可以使用,那么,我们就开放module.online.com/v2/service.do 进行开发。 现在只需要等待APP版本废弃后,就可以关闭V1的服务了。而交互的数据报文通常采用JSON格式:{code:-1 | 0 | 1 ,msg: Any}

推送协议

开发移动APP的时候,不可避免的就是使用长连接推送一些及时消息,比如说新闻,广告,强制下线通知等。为了保证兼容性,通常需要在协议中添加固定的版本号如: { module:msg,  version:1, op:pushMsg, extra:{msg:"hello world"}}。 当APP端接收到推送的时候。采用如下的步骤处理推送:

  1. 判断业务模块(module)是否能处理
  2. 判断协议版本(version)能否处理

  3. 判断OP是否能进行处理

  4. extra中是给定的额外数据

处理过程中,注意使用

App兼容性设计

避免处理过程中,导致APP奔溃。

可以发现,这个协议有些类似 HTTP接口。其实就是HTTP接口的协议化,处理过程由tomcat变成了手动了而已。

移动端

移动端升级,主要涉及到本地数据(数据库,磁盘文件),APP全局升级补丁,协议兼容性(HTTP,推送),以及APP版本检测,而JAVA代码和资源文件,当然就不需要进行处理了。

为了使得APP有一个统一的版本管理,我们首先需要一个统一的标识,即版本号。

  版本名称(versionName): 通常使用x.y.z的格式,x为主版本号,y为副版本号,z为修复补丁版本号。而版本名称是供外部使用的。

版本代码(versionCode):  版本代码是用于系统内部使用的,毕竟x.y.z不是非常好的支持版本更新。 通常采用算法:versionCode = x * 100000 y * 1000 z 的方式。这种算法,基本保证了不同版本之间不会出现versionCode冲突的问题。

数据库

数据库升级还是比较方便的,这里我们采用APP版本代码(versionCode)作为SQLite的版本号,SQLite已经为我们提供好了onUpgrade接口,在升级的时候,SQLite会给出旧的版本号,和最新的版本号,此时我们只要做App兼容性设计

就可以保证对数据库的正确升级了。

App全局升级补丁

除了数据库升级,对于磁盘文件,升级后的引导页面等需要处理的杂项,可以在APP全局升级补丁中进行处理。比如说,某个版本,可以删除某些磁盘文件,那么,就可以在全局补丁中编写代码。

具体的做法为:

  1. 每次打开APP初始化application的时候onCreate(),读取记录在本地数据库的APP版本号和APK中的versionCode进行对比
  2. 如果不一致,那么,就有可能是升级后,重新打开APP的情况,那么,我们就可以进行升级补丁操作

  3. 升级完成后, 把最新的APK中的versionCode写入本地数据库,避免下一次打开APP的时候,重复升级。

升级代码大致如下:

App兼容性设计

可以发现,使用versionCode作为升级代码点,能比较清晰的区分出不同版本做了什么事情。而且对于从比较老的版本直接升级过来,也是OK的。

协议兼容性

之前,我们就写了一下服务器对于升级兼容性的要求,而APP端可能还需要做出特殊的处理。

例子一 : 朋友圈主题不同类型

在最早的时候,朋友圈还是只能处于发发图片和文字的状态,后来加入了一些额外的元素,如 音乐,视频,图文等内容。然而在加入了新的主题类型后,旧的用户不一定会马上升级,所以要保持朋友圈的兼容性。有大致两个做法:

    方案一:新开API 版本,切换到V2

    方案二:APP端做特殊工作。

方案一,就不阐述了,基本工作都在服务器。我们来说一下方案二。 首先我们发现,业务中出现变化的是新添加了几种不同的主题类型,所以我们只要做到对不能识别类型进行过滤,就可以保证之后扩张主题类型后,旧用户依旧可以使用APP。SO,开发这种具有明显类型变化的业务场景的时候,都会引入一个TYPE字段,用来标记类型。如果发现不能识别的TYPE,APP直接抛弃该数据,既可以保证旧版本依旧可以使用,并且也不会导致服务器进行大改。

协议兼容性,在API开发过程中,还是比较重要的内容,需要对业务抽象处理。

APP版本检测

APP版本检测和是升级是比较核心的功能模块。主要实现的功能有:

        1.继续...

OWNER:Java配置文件解决方案

OWNER是一个Java库,目标是最大限度的减少应用程序中处理Java properties的代码。

自动草稿

主要功能

OWNER的设计遵循以下座右铭: 功能丰富的API,新功能添加的同时不忘保持极简的基本用法。

  • 加载策略:OWNER通过匹配接口类名和properties文件名自动解析并映射;也可以通过注解定制properties文件名。
  • 导入properties:另外一种加载properties文件到映射接口的方法。
  • 参数化properties:另外一个实用功能,给接口方法提供参数,通过参数配置。
  • 类型转换:支持从String类型到基本类型和枚举类型的转换。
  • 变量扩展:引用properties中的其他属性。
  • 热加载:支持热加载。
  • 可访问和可变:可以继承Config的子接口Accessible或者Mutable实现属性的可访问和可变。
  • 调试:支持调试功能。
  • 禁用功能:可禁用引起问题的功能。
  • 配置ConfigFactory:ConfigFactory也是可配置的。
  • XML支持:支持XML配置。
  • 事件支持:OWNER实现了功能丰富的事件系统,使你知道热加载的发生和属性变化。
  • 单例模式:配置信息在一个应用中是单例的。

官方文档

官方网站:http://owner.aeonbits.org/
开源地址:https://github.com/lviggiano/owner继续...

Java资源大全中文版

from: https://github.com

我想很多程序员应该记得 GitHub 上有一个 Awesome - XXX 系列的资源整理。awesome-java 就是 akullpp 发起维护的 Java 资源列表,内容包括:构建工具、数据库、框架、模板、安全、代码分析、日志、第三方库、书籍、Java 站点等等。伯乐在线已经把 awesome-java 资源列表翻成中文后发布于 ImportNew

Awesome 系列虽然挺全,但基本只对收录的资源做了极为简要的介绍,如果有更详细的中文介绍,对相应开发者的帮助会更大。这也是我们发起这个开源项目的初衷。


我们要做什么?


如何参与本项目?

从下面的目录来看,本项目的工作量小不了,所以非常期待能有更多程序员一起来参与。

不过加入前,有几个小要求:

  • 英文还不错,能读懂英文并用自己的话复述;
  • 在用 Java;

如有兴趣,请加 QQ:50872495。加 Q 时请注明「Java大全」


本项目的参与者

注:名单不分排名,不定期补充更新


目录

古董级工具

这些工具伴随着Java一起出现,在各自辉煌之后还在一直使用。

  • Apache Ant:基于XML的构建管理工具。
  • cglib:字节码生成库。
  • GlassFish:应用服务器,由Oracle赞助支持的Java EE参考实现。
  • Hudson :持续集成服务器,目前仍在活跃开发。
  • JavaServer Faces:Mojarra是JSF标准的一个开源实现,由Oracle开发。
  • JavaServer Pages:支持自定义标签库的网站通用模板库。
  • Liquibase:与具体数据库独立的追踪、管理和应用数据库Scheme变化的工具。

构建工具

构建及应用依赖关系处理工具。

  • Apache Maven :Maven是一款声明式构建及依赖管理工具,采用约定优于配置方式进行管理。相对Apache Ant更推荐使用Maven,前者采用了过程式管理,维护相对困难。
  • Bazel:来自Google的构建工具,可以快速、可靠地构建代码。
  • Gradle:使用Groovy(非XML)进行增量构建,可以很好地与Maven依赖管理配合工作。

字节码操作

编程方式操作字节码的开发库。

  • ASM:通用底层字节码操作和分析开发库。
  • Byte Buddy:使用流式API进一步简化字节码生成。
  • Byteman:在运行时通过DSL(规则)操作字节码进行测试和故障排除。
  • Javassist:一个简化字节码编辑尝试。

集群管理

在集群内动态管理应用程序的框架。

  • Apache Aurora:Apache Aurora是一个Mesos框架,用于长时间运行服务和定时任务(cron job)。
  • Singularity:Singularity是一个Mesos框架,方便部署和操作。它支持Web Service、后台运行、调度作业和一次性任务。

代码分析

测量代码指标和质量工具。

  • Checkstyle:代码编写规范和标准静态分析工具。
  • Error Prone:将常见编程错误作为运行时错误报告。
  • FindBugs:通过字节码静态分析查找隐藏bug。
  • jQAssistant:使用基于Neo4J查询语言进行代码静态分析。
  • PMD:对源代码分析查找不良的编程习惯。
  • SonarQube:通过插件集成其它分析组件,对过去一段时间内的数据进行统计。

编译器生成工具

用来创建解析器、解释器或编译器的框架。

  • ANTLR:复杂的全功能自顶向下解析框架。
  • JavaCC:JavaCC是更加专门的轻量级工具,易于上手且支持语法超前预测。

外部配置工具

支持外部配置的开发库。

  • config:针对JVM语言的配置库。
  • owner:减少冗余配置属性。

约束满足问题求解程序

帮助解决约束满足问题的开发库。

  • Choco:可直接使用的约束满足问题求解程序,使用了约束规划技术。
  • JaCoP:为FlatZinc语言提供了一个接口,可以执行MiniZinc模型。
  • OptaPlanner:企业规划与资源调度优化求解程序。
  • Sat4J:逻辑代数与优化问题最先进的求解程序。

持续集成

  • Bamboo:Atlassian解决方案,可以很好地集成Atlassian的其他产品。可以选择开源许可,也可以购买商业版。
  • CircleCI:提供托管服务,可以免费试用。
  • Codeship:提供托管服务,提供有限的免费模式。
  • fabric8:容器集成平台。
  • Go:ThoughtWork开源解决方案。
  • Jenkins:支持基于服务器的部署服务。
  • TeamCity:JetBrain的持续集成解决方案,有免费版。
  • Travis:通常用作开源项目的托管服务。

CSV解析

简化CSV数据读写的框架与开发库

  • uniVocity-parsers:速度最快功能最全的CSV开发库之一,同时支持TSV与固定宽度记录的读写。

数据库

简化数据库交互的相关工具。

  • Apache Phoenix:HBase针对低延时应用程序的高性能关系数据库层。
  • Crate:实现了数据同步、分片、缩放、复制的分布式数据存储。除此之外还可以使用基于SQL的语法跨集群查询。
  • Flyway:简单的数据库迁移工具。
  • H2:小型SQL数据库,以可以作为内存数据库使用著称。
  • HikariCP:高性能JDBC连接工具。
  • JDBI:便捷的JDBC抽象。
  • jOOQ:为SQL schema生成typesafe代码。
  • MapDB:以磁盘或堆内存中并发集合为基础的嵌入式数据库引擎。
  • Presto:针对大数据的分布式SQL查询引擎。
  • Querydsl:Typesafe统一查询。

数据结构

  • Apache Parquet:Google Dremel论文中发布的基于组装算法的列式(Columnar)存储格式。
  • Protobuf:Google数据交换格式。
  • SBE:简单二进制编码,是最快速的消息格式之一。
  • Wire:整洁轻量级协议缓存。

时间日期工具库

处理时间和日期的开发库。

  • Joda-Time:在Java 8发布前,Joda-Time是实际使用的时间日期库标准。
  • Time4J:高级时间和日期库。

依赖注入

帮助实现依赖翻转范式的开发库。

  • Apache DeltaSpike:CDI扩展框架。
  • Dagger2:编译时注入框架,不需要使用反射。
  • Guice:可以匹敌Dagger的轻量级注入框架。
  • HK2:轻量级动态依赖注入框架。

开发流程增强工具

从最基本的层面增强开发流程。

  • ADT4J:针对代数数据类型的JSR-269代码生成器。
  • AspectJ:面向切面编程(AOP)的无缝扩展。
  • Auto:源代码生成器集合。
  • DCEVM:通过修改JVM在运行时支持对已加载的类进行无限次重定义。
  • HotswapAgent:支持无限次重定义运行时类与资源。
  • Immutables:类似Scala的条件类。
  • JHipster:基于Spring Boot与AngularJS应用程序的Yeoman源代码生成器。
  • JRebel:无需重新部署,可以即时重新加载代码与配置的商业软件。
  • Lombok:减少冗余的代码生成器。
  • Spring Loaded:类重载代理。
  • vert.x:多语言事件驱动应用框架。

分布式应用

用来编写分布式容错应用的开发库和框架。

  • Akka:用来编写分布式容错并发事件驱动应用程序的工具和运行时。
  • Apache Storm:实时计算系统。
  • Apache ZooKeeper:针对大型分布式系统的协调服务,支持分布式配置、同步和名称注册。
  • Hazelcast:高可扩展内存数据网格。
  • Hystrix:提供延迟和容错。
  • JGroups:提供可靠的消息传递和集群创建的工具。
  • Orbit:支持虚拟角色(Actor),在传统角色的基础上增加了另外一层抽象。
  • Quasar:为JVM提供轻量级线程和角色。

分布式数据库

对应用程序而言,在分布式系统中的数据库看起来就像是只有一个数据源。

  • Apache Cassandra:列式数据库,可用性高且没有单点故障。
  • Apache HBase:针对大数据的Hadoop数据库。
  • Druid:实时和历史OLAP数据存储,在聚集查询和近似查询方面表现不俗。
  • Infinispan:针对缓存的高并发键值对数据存储。

发布

以本机格式发布应用程序的工具。

  • Bintray:发布二进制文件版本控制工具。可以于Maven或Gradle一起配合使用。提供开源免费版本和几种商业收费版本。
  • Central Repository:最大的二进制组件仓库,面向开源社区提供免费服务。Apache Maven默认使用Central Repository,也可以在所有其他构建工具中使用。
  • IzPack:为跨平台部署建立创作工具(Authoring Tool)。
  • JitPack:打包GitHub仓库的便捷工具。可根据需要构建Maven、Gradle项目,发布可立即使用的组件。
  • Launch4j:将JAR包装为轻量级本机Windows可执行程序。
  • Nexus:支持代理和缓存功能的二进制管理工具。
  • packr:将JAR、资源和JVM打包成Windows、Linux和Mac OS X本地发布文件。

文档处理工具

处理Office文档的开发库。

  • Apache POI:支持OOXML规范(XLSX、DOCX、PPTX)以及OLE2规范(XLS、DOC、PPT)。
  • documents4j:使用第三方转换器进行文档格式转换,转成类似MS Word这样的格式。
  • jOpenDocument:处理OpenDocument格式(由Sun公司提出基于XML的文档格式)。

函数式编程

函数式编程支持库。

  • Cyclops:支持一元(Monad)操作和流操作工具类、comprehension(List语法)、模式匹配、trampoline等特性。
  • Fugue:Guava的函数式编程扩展。
  • Functional Java:实现了多种基础和高级编程抽象,用来辅助面向组合开发(composition-oriented development)。
  • Javaslang:一个函数式组件库,提供持久化数据类型和函数式控制结构。
  • jOOλ:旨在填补Java 8 lambda差距的扩展,提供了众多缺失的类型和一组丰富的顺序流API。

游戏开发

游戏开发框架。

  • jMonkeyEngine:现代3D游戏开发引擎。
  • libGDX:全面的跨平台高级框架。
  • LWJGL:对OpenGL/CL/AL等技术进行抽象的健壮框架。

GUI

现代图形化用户界面开发库。

高性能计算

涵盖了从集合到特定开发库的高性能计算相关工具。

  • Agrona:高性能应用中常见的数据结构和工具方法。
  • Disruptor:线程间消息传递开发库。
  • fastutil:快速紧凑的特定类型集合(Collection)。
  • GS Collections:受Smalltalk启发的集合框架。
  • HPPC:基础类型集合。
  • Javolution:实时和嵌入式系统的开发库。
  • JCTools:JDK中缺失的并发工具。
  • Koloboke:Hash set和hash map。
  • Trove:基础类型集合。

IDE

简化开发的集成开发环境。

  • Eclipse:老牌开源项目,支持多种插件和编程语言。
  • IntelliJ IDEA:支持众多JVM语言,是安卓开发者好的选择。商业版主要针对企业客户。
  • NetBeans:为多种技术提供集成化支持,包括Java SE、Java EE、数据库访问、HTML5等。

图像处理

创建、评价和操作图片的支持库。

  • Imgscalr:纯Java 2D实现,简单、高效、支持硬件加速的图像缩放开发库。
  • Picasso:安卓图片下载和图片缓存开发库。
  • Thumbnailator:Thumbnailator是一个高质量Java缩略图开发库。
  • ZXing:支持多种格式的一维、二维条形码图片处理开发库。

JSON

简化JSON处理的开发库。

  • Genson:强大且易于使用的Java到JSON转换开发库。
  • Gson:支持在对象与JSON之间双向序列化,性能良好且可以实时调用。
  • Jackson:与GSON类似,在频繁使用时性能更佳。
  • LoganSquare:基于Jackson流式API,提供对JSON解析和序列化。比GSON与Jackson组合方式效果更好。

JVM与JDK

目前的JVM和JDK实现。

  • JDK 9:JDK 9的早期访问版本。
  • OpenJDK:JDK开源实现。

基于JVM的语言

除Java外,可以用来编写JVM应用程序的编程语言。

  • Scala:融合了面向对象和函数式编程思想的静态类型编程语言。
  • Groovy:类型可选(Optionally typed)的动态语言,支持静态类型和静态编译。目前是一个Apache孵化器项目。
  • Clojure:可看做现代版Lisp的动态类型语言。
  • Ceylon:RedHat开发的面向对象静态类型编程语言。
  • Kotlin:JetBrain针对JVM、安卓和浏览器提供的静态类型编程语言。

日志

记录应用程序行为日志的开发库。

  • Apache Log4j 2:使用强大的插件和配置架构进行完全重写。
  • kibana:分析及可视化日志文件。
  • Logback:强健的日期开发库,通过Groovy提供很多有趣的选项。
  • logstash:日志文件管理工具。
  • Metrics:通过JMX或HTTP发布参数,并且支持存储到数据库。
  • SLF4J:日志抽象层,需要与具体的实现配合使用。

机器学习

提供具体统计算法的工具。其算法可从数据中学习。

  • Apache Flink:快速、可靠的大规模数据处理引擎。
  • Apache Hadoop:在商用硬件集群上用来进行大规模数据存储的开源软件框架。
  • Apache Mahout:专注协同过滤、聚类和分类的可扩展算法。
  • Apache Spark:开源数据分析集群计算框架。
  • DeepDive:从非结构化数据建立结构化信息并集成到已有数据库的工具。
  • Deeplearning4j:分布式多线程深度学习开发库。
  • H2O:用作大数据统计的分析引擎。
  • Weka:用作数据挖掘的算法集合,包括从预处理到可视化的各个层次。

消息传递

在客户端之间进行消息传递,确保协议独立性的工具。

  • Aeron:高效可扩展的单播、多播消息传递工具。
  • Apache ActiveMQ:实现JMS的开源消息代理(broker),可将同步通讯转为异步通讯。
  • Apache Camel:通过企业级整合模式(Enterprise Integration Pattern EIP)将不同的消息传输API整合在一起。
  • Apache Kafka:高吞吐量分布式消息系统。
  • Hermes:快速、可靠的消息代理(Broker),基于Kafka构建。
  • JBoss HornetQ:清晰、准确、模块化,可以方便嵌入的消息工具。
  • JeroMQ:ZeroMQ的纯Java实现。
  • Smack:跨平台XMPP客户端函数库。

杂项

未分类其它资源。

  • Design Patterns:实现并解释了最常见的设计模式。
  • Jimfs:内存文件系统。
  • Lanterna:类似curses的简单console文本GUI函数库。
  • LightAdmin:可插入式CRUD UI函数库,可用来快速应用开发。
  • OpenRefine:用来处理混乱数据的工具,包括清理、转换、使用Web Service进行扩展并将其关联到数据库。
  • RoboVM:Java编写原生iOS应用。

应用监控工具

监控生产环境中应用程序的工具。

  • AppDynamics:性能监测商业工具。
  • JavaMelody:性能监测和分析工具。
  • Kamon:Kamon用来监测在JVM上运行的应用程序。
  • New Relic:性能监测商业工具。
  • SPM:支持对JVM应用程序进行分布式事务追踪的性能监测商业工具。
  • Takipi:产品运行时错误监测及调试商业工具。

原生开发库

用来进行特定平台开发的原生开发库。

  • JNA:不使用JNI就可以使用原生开发库。此外,还为常见系统函数提供了接口。

自然语言处理

用来专门处理文本的函数库。

  • Apache OpenNLP:处理类似分词等常见任务的工具。
  • CoreNLP:斯坦佛CoreNLP提供了一组基础工具,可以处理类似标签、实体名识别和情感分析这样的任务。
  • LingPipe:一组可以处理各种任务的工具集,支持POS标签、情感分析等。
  • Mallet:统计学自然语言处理、文档分类、聚类、主题建模等。

网络

网络编程函数库。

  • Async Http Client:异步HTTP和WebSocket客户端函数库。
  • Grizzly:NIO框架,在Glassfish中作为网络层使用。
  • Netty:构建高性能网络应用程序开发框架。
  • OkHttp:一个Android和Java应用的HTTP+SPDY客户端。
  • Undertow:基于NIO实现了阻塞和非阻塞API的Web服务器,在WildFly中作为网络层使用。

ORM

A处理对象持久化的API。

  • Ebean:支持快速数据访问和编码的ORM框架。
  • EclipseLink:支持许多持久化标准,JPA、JAXB、JCA和SDO。
  • Hibernate:广泛使用、强健的持久化框架。Hibernate的技术社区非常活跃。
  • MyBatis:带有存储过程或者SQL语句的耦合对象(Couples object)。
  • OrmLite:轻量级开发包,免除了其它ORM产品中的复杂性和开销。

PDF

用来帮助创建PDF文件的资源。

  • Apache FOP:从XSL-FO创建PDF。
  • Apache PDFBox:用来创建和操作PDF的工具集。
  • DynamicReports:JasperReports的精简版。
  • flyingsaucer:XML/XHTML和CSS 2.1渲染器。
  • iText:一个易于使用的PDF函数库,用来编程创建PDF文件。注意,用于商业用途时需要许可证。
  • JasperReports:一个复杂的报表引擎。

性能分析

性能分析、性能剖析及基准测试工具。

响应式开发库

用来开发响应式应用程序的开发库。

  • Reactive Streams:异步流处理标准,支持非阻塞式反向压力(backpressure)。
  • Reactor:构建响应式快速数据(fast-data)应用程序的开发库。
  • RxJava:通过JVM可观察序列(observable sequence)构建异步和基于事件的程序。

REST框架

用来创建RESTful 服务的框架。

  • Dropwizard:偏向于自己使用的Web框架。用来构建Web应用程序,使用了Jetty、Jackson、Jersey和Metrics。
  • Feign:受Retrofit、JAXRS-2.0和WebSocket启发的HTTP客户端连接器(binder)。
  • Jersey:JAX-RS参考实现。
  • RESTEasy:经过JAX-RS规范完全认证的可移植实现。
  • RestExpress:一个Java类型安全的REST客户端。
  • RestX:基于朱洁处理和编译时源码生成的框架。
  • Retrofit:类型安全的REST客户端。
  • Spark:受到Sinatra启发的Java REST框架。
  • Swagger:Swagger是一个规范且完整的框架,提供描述、生产、消费和可视化RESTful Web Service。

科学计算与分析

用于科学计算和分析的函数库。

  • DataMelt:用于科学计算、数据分析及数据可视化的开发环境。
  • JGraphT:支持数学图论对象和算法的图形库。
  • JScience:用来进行科学测量和单位的一组类。

文档索引引擎,用于搜索和分析。

  • Apache Solr:一个完全的企业搜索引擎。为高吞吐量通信进行了优化。
  • Elasticsearch:一个分布式、支持多租户(multitenant)全文本搜索引擎。提供了RESTful Web接口和无schema的JSON文档。

安全

用于处理安全、认证、授权或会话管理的函数库。

  • Apache Shiro:执行认证、授权、加密和会话管理。
  • Bouncy Castle:多用途加密开发库。支持JCA提供者(JCA provider),涵盖了从基础的帮助函数到PGP/SMIME操作。
  • Cryptomator:在云上进行客户端跨平台透明加密。
  • Keycloak:为浏览器应用和RESTful Web Service集成SSO和IDM。目前还处于beta版本,但是看起来非常有前途。
  • PicketLink:PicketLink是一个针对Java应用进行安全和身份认证管理的大型项目(Umbrella Project)。

序列化

用来高效处理序列化的函数库。

  • FlatBuffers:高效利用内存的序列化函数库,无需解包和解析即可高效访问序列化数据。
  • Kryo:快速、高效的对象图形序列化框架。
  • FST:提供兼容JDK的高性能对象图形序列化。
  • MessagePack:一种高效的二进制序列化格式。

应用服务器

用来部署应用程序的服务器。

  • Apache Tomcat:针对Servlet和JSP的应用服务器,健壮性好且适用性强。
  • Apache TomEE:Tomcat加Java EE。
  • Jetty:轻量级、小巧的应用服务器,通常会嵌入到项目中。
  • WebSphere Liberty:轻量级、模块化应用服务器,由IBM开发。
  • WildFly:之前被称作JBoss,由Red Hat开发。支持很多Java EE功能。

模板引擎

在模板中替换表达式的工具。

  • Apache Velocity:提供HTML页面模板、email模板和通用开源代码生成器模板。
  • FreeMarker:通用模板引擎,不需要任何重量级或自己使用的依赖关系。
  • Handlebars.java:使用Java编写的模板引擎,逻辑简单,支持语义扩展(semantic Mustache)。
  • Thymeleaf:旨在替换JSP,支持XML文件的工具。

测试

测试内容从对象到接口,涵盖性能测试和基准测试工具。

  • Apache JMeter:功能性测试和性能评测。
  • Arquillian:集成测试和功能行测试平台,集成Java EE容器。
  • AssertJ:支持流式断言提高测试的可读性。
  • Awaitility:用来同步异步操作的DSL。
  • Cucumber:BDD测试框架。
  • Gatling:设计为易于使用、可维护的和高性能负载测试工具。
  • Hamcrest:可用来灵活创建意图(intent)表达式的匹配器。
  • JMockit:用来模拟静态、final方法等。
  • JUnit:通用测试框架。
  • Mockito:在自动化单元测试中创建测试对象,为TDD或BDD提供支持。
  • PowerMock: 支持模拟静态方法、构造函数、final类和方法、私有方法以及移除静态初始化器的模拟工具。
  • REST Assured:为REST/HTTP服务提供方便测试的Java DSL。
  • Selenide:为Selenium提供精准的周边API,用来编写稳定且可读的UI测试。
  • Selenium:为Web应用程序提供可移植软件测试框架。
  • Spock:JUnit-compatible framework featuring an expressive Groovy-derived specification language.兼容JUnit框架,支持衍生的Groovy范的语言。
  • TestNG:测试框架。
  • Truth:Google的断言和命题(proposition)框架。
  • Unitils:模块化测试函数库,支持单元测试和集成测试。
  • WireMock:Web Service测试桩(Stub)和模拟函数。

通用工具库

通用工具类函数库。

  • Apache Commons:提供各种用途的函数,比如配置、验证、集合、文件上传或XML处理等。
  • args4j:命令行参数解析器。
  • CRaSH:为运行进行提供CLI。
  • Gephi:可视化跨平台网络图形化操作程序。
  • Guava:集合、缓存、支持基本类型、并发函数库、通用注解、字符串处理、I/O等。
  • JADE:构建、调试多租户系统的框架和环境。
  • javatuples:正如名字表示的那样,提供tuple支持。尽管目前tuple的概念还有留有争议。
  • JCommander:命令行参数解析器。
  • Protégé:提供存在论(ontology)编辑器以及构建知识系统的框架。

网络爬虫

用于分析网站内容的函数库。

  • Apache Nutch:可用于生产环境的高度可扩展、可伸缩的网络爬虫。
  • Crawler4j:简单的轻量级网络爬虫。
  • JSoup:刮取、解析、操作和清理HTML。

Web框架

用于处理Web应用程序不同层次间通讯的框架。

  • Apache Tapestry:基于组件的框架,使用Java创建动态、强健的、高度可扩展的Web应用程序。
  • Apache Wicket:基于组件的Web应用框架,与Tapestry类似带有状态显示GUI。
  • Google Web Toolkit:一组Web开发工具集,包含在客户端将Java代码转为JavaScript的编译器、XML解析器、RCP API、JUnit集成、国际化支持和GUI控件。
  • Grails:Groovy框架,旨在提供一个高效开发环境,使用约定而非配置、没有XML并支持混入(mixin)。
  • Ninja:Java全栈Web开发框架。非常稳固、快速和高效。
  • Pippo:小型、高度模块化的类Sinatra框架。
  • Play:使用约定而非配置,支持代码热加载并在浏览器中显示错误。
  • PrimeFaces:JSF框架,提供免费和带支持的商业版本。包括若干前端组件。
  • Ratpack:一组Java开发函数库,用于构建快速、高效、可扩展且测试完备的HTTP应用程序。
  • Spring Boot:微框架,简化了Spring新程序的开发过程。
  • Spring:旨在简化Java EE的开发过程,提供依赖注入相关组件并支持面向切面编程。
  • Vaadin:基于GWT构建的事件驱动框架。使用服务端架构,客户端使用Ajax。

资源

社区

有影响力的书

具有广泛影响且值得阅读的Java经典书籍。

播客

可以一边编程一边听的东西。

继续...

使用油猴子配合CasperJS的开发调试

casperjs 可以执行网页内容,尤其在解析那些需要执行JS才能出现内容的网页特别有效。

但是实际情况是,casperjs在后台执行,你根本无法预知写出来的脚本的对错啊。

还好有另外途径,就是使用油猴子,提前将你写好的代码注入到网页中,然后可以获得在浏览器中调试的机会

使用Charles抓取App网络请求

最近开发App的时候需要用到大量其他应用的数据,但接口不公开,所以想到了抓取。差不多要读到5W的用户数据,采用的是找到数据接口,然后不停发请求的方式。用到的抓取工具是Charles,本文讲解的应用是WEAR,一款鬼子的应用。

前期准备:

下载Charles,本文不会讲解Charles的使用,不会用的可以看巧哥的文章

环境信息:

Mac OS X 10.10.3

Xcode 6.3

iOS 8.3

Charles 3.10.1

正文:

一、基本设置

在抓包之前,需要对Charles与iPhone进行基本设置,这些设置均转自唐巧的文章《截取iPhone上的网络封包》部分。

1. Charles上的设置

打开Charles->Proxy->Proxy Setting,设置代理端口为8888,并勾选Enable transparent HTTP proxying。

使用Charles抓取App网络请求

Charles配置

2. iPhone上的设置

1). 获取Mac上的IP

打开终端,输入命令:

找到里面的IP地址:

使用Charles抓取App网络请求

找到本机IP

2). 设置iPhone HTTP代理

打开iPhone->设置->无线局域网->当前连接的网络->手动,将上一步获得的服务器地址填入对应输入框,端口号填写8888即可。

使用Charles抓取App网络请求

iPhone配置

二、抓取WEAR中的数据

1. 打开WEAR

如果是第一次,可以看到Charles弹出的请求连接确认框,点击Allow。

使用Charles抓取App网络请求

第一次连接的确认框

2. 查看请求

可以看到,在进入WEAR以后,就开始进行主页模块的数据请求,这时就需要通过请求的响应次数来粗略判断下具体的请求地址了。在Charles中,每有请求响应,地址列表就会有黄色高亮。

使用Charles抓取App网络请求

黄色高亮表示有新的响应信息

我发现http://www.wearzozo.cn/coordinate/9k8r0s/这个地址闪得很频繁,打开查看以后可以看到这是主页模块所有的图片地址。不难看出,WEAR如此庞大的图片数据有独立的服务器作为支撑。

3. 查看用户数据

图片找到了并不能达到最终目的,因为我需要的5W用户的数据,所以继续找。然后找到了一个域名为http://api.wear.jp的请求地址,根据命名经验,可以很直观的看出这是一个专门给客户端提供接口的服务器地址。

展开v1发现里面有两个子目录ranking与timeline,这两个子目录应该分别对应了搭配与新动态模块。

下面就以ranking为例:

在Overview中可以看到ranking的请求地址为:

请求方式为:

内容格式为:

使用Charles抓取App网络请求

ranking中的请求信息

然后在到Response中可以看到返回的数据格式是Json,并且从它“见名知意”的key中,可以直接推断出每一个字段的含义。

使用Charles抓取App网络请求

返回的Json值

三、保存信息到本地

既然已经找到的用户列表,那么抓取用户信息就easy了。可以写脚本来抓取,当然作为iOS开发者,也可以在Xcode中写一个发起网络请求的App来进行抓取,读到数据以后,保存到模拟器沙盒就行了。

具体的抓取步骤就不讲解了,也不清楚是否侵权,所以还是慎用得好。

四、Charles其他用法

关于Charles的其他功能,有空会在后续文章中讲解到。


via: http://www.brighttj.com/继续...

iOS开发工具——网络封包分析工具Charles

iOS开发工具——网络封包分析工具Charles

简介

Charles是在Mac下常用的截取网络封包的工具,在做iOS开发时,我们为了调试与服务器端的网络通讯协议,常常需要截取网络封包来分析。Charles通过将自己设置成系统的网络访问代理服务器,使得所有的网络访问请求都通过它来完成,从而实现了网络封包的截取和分析。

Charles是收费软件,可以免费试用30天。试用期过后,未付费的用户仍然可以继续使用,但是每次使用时间不能超过30分钟,并且启动时将会有10秒种的延时。

因此,该付费方案对广大用户还是相当友好的,即使你长期不付费,也能使用完整的软件功能。只是当你需要长时间进行封包调试时,会因为Charles强制关闭而遇到影响。

Charles主要的功能包括:

  1. 支持SSL代理。可以截取分析SSL的请求。
  2. 支持流量控制。可以模拟慢速网络以及等待时间(latency)较长的请求。
  3. 支持AJAX调试。可以自动将json或xml数据格式化,方便查看。
  4. 支持AMF调试。可以将Flash Remoting 或 Flex Remoting信息格式化,方便查看。
  5. 支持重发网络请求,方便后端调试。
  6. 支持修改网络请求参数。
  7. 支持网络请求的截获并动态修改。
  8. 检查HTML,CSS和RSS内容是否符合W3C标准

安装Charles

去Charles的官方网站(http://www.charlesproxy.com)下载最新版的Charles安装包,是一个dmg后缀的文件。打开后将Charles拖到Application目录 下即完成安装。

安装SSL证书

如果你需要截取分析SSL协议相关的内容。那么需要安装Charles的CA证书。具体步骤如下:

  1. http://www.charlesproxy.com/ssl.zip 下载CA证书文件。
  2. 解压该zip文件后,双击其中的.crt文件,这时候在弹出的菜单中选择“总是信任”,如下所示:iOS开发工具——网络封包分析工具Charles
  3. 从钥匙串访问中即可看到添加成功的证书。如下所示:iOS开发工具——网络封包分析工具Charles

将Charles设置成系统代理

之前提到,Charles是通过将自己设置成代理服务器来完成封包截取的,所以使用Charles的第一步是将其设置成系统的代理服务器。

启动Charles后,第一次Charles会请求你给它设置系统代理的权限。你可以输入登录密码授予Charles该权限。你也可以忽略该请求,然后在需要将Charles设置成系统代理时,选择菜单中的 "Proxy" -> "Mac OS X Proxy"来将Charles设置成系统代理。如下所示:

iOS开发工具——网络封包分析工具Charles

之后,你就可以看到源源不断的网络请求出现在Charles的界面中。

Charles主界面介绍

iOS开发工具——网络封包分析工具Charles

Charles主要提供2种查看封包的视图,分别名为“Structure”和"Sequence"。

  1. Structure视图将网络请求按访问的域名分类。
  2. Sequence视图将网络请求按访问的时间排序。

大家可以根据具体的需要在这两种视图之前来回切换。

对于某一个具体的网络请求,你可以查看其详细的请求内容和响应内容。如果响应内容是JSON格式的,那么Charles可以自动帮你将JSON内容格式化,方便你查看。

过滤网络请求

通常情况下,我们需要对网络请求进行过滤,只监控向指定目录服务器上发送的请求。对于这种需求,我们有2种办法。

  1. 在主界面的中部的Filter栏中填入需要过滤出来的关键字。例如我们的服务器的地址是:http://yuantiku.com,那么只需要在Filter栏中填入yuantiku即可。
  2. 在Charles的菜单栏选择"Proxy"->"Recording Settings",然后选择Include栏,选择添加一个项目,然后填入需要监控的协议,主机地址,端口号。这样就可以只截取目标网站的封包了。如下图所示:

iOS开发工具——网络封包分析工具Charles

通常情况下,我们使用方法1做一些临时性的封包过滤,使用方法2做一些经常性的封包过滤。

截取iPhone上的网络封包

Charles通常用来截取本地上的网络封包,但是当我们需要时,我们也可以用来截取其它设备上的网络请求。下面我就以iPhone为例,讲解如何进行相应操作。

Charles上的设置

要截取iPhone上的网络请求,我们首先需要将Charles的代理功能打开。在Charles的菜单栏上选择“Proxy”->"Proxy Settings",填入代理端口8888,并且勾上"Enable transparent HTTP proxying" 就完成了在Charles上的设置。如下图所示:

iOS开发工具——网络封包分析工具Charles

iPhone上的设置

首先我们需要获取Charles运行所在电脑的IP地址,打开Terminal,输入ifconfig en0, 即可获得该电脑的IP,如下图所示:

iOS开发工具——网络封包分析工具Charles

在iPhone的 “设置”->“无线局域网“中,可以看到当前连接的wifi名,通过点击右边的详情键,可以看到当前连接上的wifi的详细信息,包括IP地址,子网掩码等信息。在其最底部有“HTTP代理”一项,我们将其切换成手动,然后填上Charles运行所在的电脑的IP,以及端口号8888,如下图所示:

iOS开发工具——网络封包分析工具Charles

设置好之后,我们打开iPhone上的任意需要网络通讯的程序,就可以看到Charles弹出iPhone请求连接的确认菜单(如下图所示),点击“Allow”即可完成设置。

iOS开发工具——网络封包分析工具Charles

截取SSL信息

Charles默认并不截取SSL的信息,如果你想对截取某个网站上的所有SSL网络请求,可以在该请求上右击,选择SSL proxy,如下图所示:

iOS开发工具——网络封包分析工具Charles

这样,对于该Host的所有SSL请求可以被截取到了。

模拟慢速网络

在做iPhone开发的时候,我们常常需要模拟慢速网络或者高延迟的网络,以测试在移动网络下,应用的表现是否正常。Charles对此需求提供了很好的支持。

在Charles的菜单上,选择"Proxy"->"Throttle Setting"项,在之后弹出的对话框中,我们可以勾选上“Enable Throttling”,并且可以设置Throttle Preset的类型。如下图所示:

iOS开发工具——网络封包分析工具Charles

如果我们只想模拟指定网站的慢速网络,可以再勾选上图中的"Only for selected hosts"项,然后在对话框的下半部分设置中增加指定的hosts项即可。

修改网络请求内容

有些时候为了调试服务器的接口,我们需要反复尝试不同参数的网络请求。Charles可以方便地提供网络请求的修改和重发功能。只需要在以往的网络请求上点击右键,选择“Edit”,即可创建一个可编辑的网络请求。如下所示:

iOS开发工具——网络封包分析工具Charles

我们可以修改该请求的任何信息,包括url地址,端口,参数等,之后点击“Execute”即可发送该修改后的网络请求(如下图所示)。Charles支持我们多次修改和发送该请求,这对于我们和服务器端调试接口非常方便。

iOS开发工具——网络封包分析工具Charles

总结

通过Charles软件,我们可以很方便地在日常开发中,截取和调试网络请求内容,分析封包协议以及模拟慢速网络。用好Charles可以极大的方便我们对于带有网络请求的App的开发和调试。

参考链接:

  1. Charles主要的功能列表
  2. Charles官网

感谢李永伦对本文的审校。

via: http://www.infoq.com

继续...
Sidebar