Android 号码, 来电归属地 Jni 使用C++对二进制文件查询(一) 理论篇

1.效果图

左边的是应用程序界面，只是做个测试。右边的是应用程序信息，你会发现数据这块很小，只有420KB，要知道里面有近280,000记录。

2.尝试使用sqlite数据库, 用db格式文件。

随便去网络上搜索一个号码归属地数据库下载，你可能会找到各种格式，access,txt,db等。除了用insert sql语句外，你还可以用CSV文件格式来互相转换。因为SQLite Expert 支持CSV文件导入,导出。

数据最佳存放方式如上图中的表1CallerLoc和表2LocationInfo。这样用一条连表sql语句查询即可。类似这样的sql语句：select number, area from CallerLoc join LocationInfo on CallerLoc.location = LocationInfo.location。

假设你有了这样的xx.db文件，可以把该文件放在Android项目的assets文件下，然后在自定义的ContentProvider中的query方法中，尝试把xx.db 复制到手机的/data/data/你的项目包名/databases中，查询用上面提到的sql语句就行了。

这是一个解决方案，但是db文件太大了，280,000条记录差不多有8MB大小。别人解压你的apk，dat文件一下子就被别人窃取走了。

有什么方式可以解决这个问题?分析表1，感觉数据还可以压缩(用自定义的格式),把数据写入到一个文件中，通过打开文件来搜索，写入方式用二进制的话，别人就窃取不了了。Java处理速度慢的话，还可以改用C++，通过JNI桥梁来处理。

3.尝试使用文件

在数据库中我们最好用2个表来存储，这样城市信息就不会冗余。我们现在想要把数据写到一个文件中，用C++打开文件进行搜索。这个文件中的数据要按照一定格式，这样我们搜索才不会太慢。通过对数据的分析，觉得我们可以把数据按照号码从小到大排序，这样就可以用二分查找了，要知道二分查找是很快的查找方式。

初步定义我们二进制文件格式如下图：

使用C++读取数据库中的所有记录，然后以二进制方式写入到一个文件中有点麻烦，觉得打开一个txt文件读取所有信息比较简单些。txt文件内容格式如下图(号码和城市以”,”隔开):

4.分析数据，找可能的压缩方式

首先要明白一个道理，不是把txt文件转换成二进制文件就能压缩文件，而是要找到数据的相同部分或者存放规律，然后使用较少数据表达较多数据才能压缩数据。

一个简单压缩数据的例子：

aaaaabbbcccc 可以压缩成 5a3b4c (用5a表示aaaaa)，当然如果原数据是abcd,用这压缩方式会得到1a1b1c1d比原数据还要大。

通过查看表1，发现大部分数据都是类似下图中的表1，一个数字区间是同一个Location。那我们就用一个数字区间来表示多个号码。看图4，22条记录压缩成了3条记录！！

原记录有279188条记录，用图4的压缩方法后有70250条，需要3个int 来存一条压缩记录，总共差不多是823KB。加上城市信息，差不多是850KB左右。原db文件8MB，转换成的txt文件4.77MB。压缩了不少。

5.还能压缩吗？

5.1降低精度

用图4的压缩方法，差不多平均4条记录，压缩成一条。这里想要提高的话，就是降低精度。

看一下图5，假设第2部分，少了2条记录，就不是完整的区间了，跟图4比较，那么我们压缩后就多了2条记录。如果我们还是用1条记录(1300880-1300889 96)来表示第2部分的话，查询1300883和1300887就会得到错误信息，应该是查询不到的，我们却给了记录。想了下在实际的情况中，这种错误是可以接受的，因为用户很少会用错误号码去查询。测试时，原来压缩后是70250条记录，减少精度后是70140，0.15%。可以忽略不计，放弃了这种方式。

5.2 降低一条记录的存储空间

原来是用3个Int来存储一条压缩记录，可以减少吗？比如用unsigned short来存储。发现一个unsigned int能表示0 – 4294967295，占用4 bit空间，一个 unsigned short 能表示 0 – 65535，占用2 bit空间。第一个号码需要一个int, 第二个可以写成差，改用unsigned short, 总共不超过500个城市的代号可以改用unsigned short。如图6的第一步压缩。查看所有的号码发现最大值是1899999，可以考虑把前5位放在一个unsigned short中存储，后两位放在第二个unsigned short中的后2位，如图6的第二步压缩。虽然存入和读取是要转换下，但是确实省下了空间。3个int 变成了 3个unsigned short。省了一半!。最后2进制文件差不多是420KB。