風(fēng)險(xiǎn)點(diǎn)
1、class-dump有些文件會報(bào)錯，需要查看下
2、mach-o文件中的依賴除了系統(tǒng)，是不是還需要dump第三方其他的庫進(jìn)行掃描
@xpath
3、私有api在公開的Framework及私有的PrivateFramework都有。
4、9.2.5的iOS系統(tǒng)對應(yīng)的Xcode 8是有docset的，后面的Xcode都有新的文件格式了，下面有介紹，需要自己分析，但是數(shù)據(jù)結(jié)構(gòu)有點(diǎn)亂，可能我我還沒悟出來。。。。。。
前言
最近SDK的開發(fā)，經(jīng)常會給到安全組掃描安全漏洞，會有一項(xiàng)報(bào)告是私有API警告，就想著自己實(shí)現(xiàn)一個工具來提前掃描。看了網(wǎng)上很多文章，基本上都是簡單的介紹，大多數(shù)資料都是網(wǎng)易游戲開源的一個iOS
private_api_ckecker
項(xiàng)目，項(xiàng)目現(xiàn)在已經(jīng)不維護(hù)了，而且是用
Python2
和
Flask
寫的，而且Bug好多，但是思路是可以研究一下的。
下面就用
Python3
和
Django
重寫該項(xiàng)目，把Bug都給修復(fù)了，而且會記錄一下該掃描思路的不足以及如何構(gòu)建私有API庫
檢測方法
符號表
用
nm
,
otool
等工具導(dǎo)出二進(jìn)制包的函數(shù)符號表，以檢查私有 API 的調(diào)用。缺點(diǎn)是無法檢測字符串拼接方法的私有 API 調(diào)用。
動態(tài)分析
動態(tài)掃描需要應(yīng)用運(yùn)行起來，每當(dāng)調(diào)用方法時(shí)就判斷是否是私有 API，但是效率會很低，而且不能保證代碼完全覆蓋。
靜態(tài)分析
在對二進(jìn)制文件反匯編結(jié)果的基礎(chǔ)上，進(jìn)行靜態(tài)分析：
找出動態(tài)調(diào)用 API 方法如
performSelector:
，以及調(diào)用對象的類
檢查參數(shù)，如果參數(shù)是拼接方法生成，推導(dǎo)求得拼接的結(jié)果
如何推導(dǎo)，請閱讀加拿大 Laval University 發(fā)表的題為 Static Analysis of Binary Code to Isolate Malicious Behaviors 的論文。如果拼接字符串由服務(wù)端下發(fā)，依舊可以避開檢查。
檢測思路
1、通過
class-dump
導(dǎo)出
Frameworks
以及
PrivateFrameworks
中可執(zhí)行文件的頭文件，通過腳本提取方法分別為
SET_A
集合和
SET_E
集合
2、通過
Framework
中的Header文件夾下暴露的頭文件進(jìn)行提取，通過腳本提取方法設(shè)置為
SET_B
集合
3、找到Xcode內(nèi)置的
com.apple.adc.documentation.iOS.docset
數(shù)據(jù)庫(iOS 9.3之后修改了內(nèi)置數(shù)據(jù)結(jié)構(gòu)，后面介紹再介紹)，多表查詢出對應(yīng)的API，設(shè)置
SET_C
集合
4、那么
SET_F =（SET_A - SET_B - SET_C）
就是公有Framework下對應(yīng)的私有API，設(shè)置為集合
SET_F
5、原本B集合中的API就是私有庫里面的，因此都不能被使用，則最終的私有API集合為
SET_D = SET_F + SET_E
6、使用
class-dump
反編譯ipa包中的app文件，然后和
SET_D
做交集即可獲取到。
以下是構(gòu)建所用到的表名
集合A —
framework_dump_apis
framework可執(zhí)行文件dump后的api集合
集合B —
framework_header_apis
framework暴露的頭文件api集合
集合C —
document_apis
內(nèi)置文檔docset數(shù)據(jù)集合
集合D —
all_private_apis
最終私有apis集合
集合E —
private_framework_dump_apis
私有framework可執(zhí)行文件dump后的集合
集合F —
framework_private_apis
集合A - 集合B - 集合 C剩下的apis
集合G —
white_list_apis
白名單
當(dāng)項(xiàng)目啟動的時(shí)候會根據(jù)數(shù)據(jù)庫不存在就會創(chuàng)建這7張表,其中
db_names
是對應(yīng)的配置文件中的數(shù)組
def
create_relate_tables
(
)
:
sql
=
(
"create table %s("
"id integer primary key AUTOINCREMENT not null, "
"api_name varchar, "
"class_name varchar, "
"type varchar, "
"header_file varchar, "
"source_sdk varchar, "
"source_framework varchar )"
)
for
db_name
in
db_names
.
keys
(
)
:
SqliteHandler
(
)
.
execute_sql
(
sql
%
(
db_names
[
db_name
]
)
,
(
)
)
構(gòu)建集合A（framework_dump_apis）
首先我們要知道如何拿到系統(tǒng)
Framework
的對應(yīng)路徑，在Xcode中配置啟動參數(shù)
DYLD_PRINT_INITIALIZERS = 1
,啟動之后就能在控制臺拿到對應(yīng)的全路徑。
Framework
和
PrivateFramework
都是在該路徑下
/
Applications
/
Xcode
.
app
/
Contents
/
Developer
/
Platforms
/
iPhoneOS
.
platform
/
Developer
/
Library
/
CoreSimulator
/
Profiles
/
Runtimes
/
iOS
.
simruntime
/
Contents
/
Resources
/
RuntimeRoot
/
System
/
Library
/
Frameworks
網(wǎng)上的Demo都是很早之前的Demo，路徑已經(jīng)變化了，所以最新的路徑獲取方式按上面的方式拿即可。
api_utils.py
中我們會針對集合A調(diào)用如下
# SET_A dump framework所有的API，Mach-o文件導(dǎo)出對應(yīng)頭文件，給framework路徑作為參數(shù)
def
frame_work_dump_apis
(
version
,
framework_folder
)
:
"""
class-dump framework下庫生成的所有頭文件api
"""
# dump 目標(biāo)文件的framework到指定目錄 /tmp/public_headers/xxx.framework/Headers/xxx.h 返回值 /tmp/public-headers/ 打成.h
framework_header_path
=
__class_dump_frameworks
(
framework_folder
,
'public_headers/'
)
# 獲取.h文件集合
all_headers
=
__get_headers_from_path
(
framework_header_path
)
# 解析文件內(nèi)容，獲得api
framework_apis
=
__get_apis_from_headers
(
version
,
all_headers
)
return
framework_apis
第一步是
class-dump
出頭文件組織結(jié)構(gòu)和Xcode內(nèi)置的Framework中的Headers結(jié)構(gòu)一致，然后導(dǎo)入到工程下的
/tmp/public_headers/xxxxx.framework/Headers/xxxxx.h
第二步把所有目錄下的頭文件集合成數(shù)組
[(frameworkname, prefix, 具體路徑),()]
第三步提取頭文件中的方法，類以及類型等屬性
[{'class':'','methods':'','type':''},{},{}]
，這里Python的正則提取就不介紹了，太多了，可以看工程源碼，都是獨(dú)立可以使用的模塊
第四步把上述信息組裝成對應(yīng)的
key
和
value
，對應(yīng)
framework_dump_apis
表中的字段
第五步多插入庫 右側(cè)數(shù)據(jù)結(jié)構(gòu)
[{'class':'','methods':'','type':''},{},{}]
# (:api_name,:api_name,:api_name,:api_name,:api_name,:api_name)
# 多插
def
insert_apis
(
table_name
,
datas
)
:
"""
Mysql
https://dev.mysql.com/doc/connector-python/en/connector-python-api-mysqlcursor-executemany.html
如果是 [(),(),()] 則用%s
如果是[{},{},{}] 就用 :name取值
"""
sql
=
"insert into "
+
table_name
+
" (api_name,class_name,type,header_file,source_sdk,source_framework) values (:api_name,:class_name,:type,:header_file,:source_sdk,:source_framework)"
return
SqliteHandler
(
)
.
insert_many
(
sql
,
datas
)
此時(shí)，公有庫Dump出來的所有API表就建立好了，可以查看
framework_dump_apis
表，里面根據(jù)關(guān)鍵字能搜索到你平時(shí)用的API，一共有
139610
個
注意：
當(dāng)我們在Framework目錄下進(jìn)行dump的時(shí)候有些結(jié)果是嵌套在里面的，比如Framework內(nèi)部還有Framework，比如
AVFoundation.Frameworks
,提取的時(shí)候千萬不能忘掉，而且每個版本有可能不同，需要注意
那么最后提取出來是
142724
個
構(gòu)建集合B（framework_header_apis）
Framework的Header中頭文件的路徑獲取方式已經(jīng)介紹過了
/
Applications
/
Xcode
.
app
/
Contents
/
Developer
/
Platforms
/
iPhoneOS
.
platform
/
Developer
/
SDKs
/
iPhoneOS
.
sdk
/
System
/
Library
/
Frameworks
由于我們構(gòu)建集合A的時(shí)候Dump出來的頭文件結(jié)構(gòu)規(guī)則和Framework結(jié)構(gòu)一直，所以和構(gòu)建集合A不同的是就是不需要dump，直接把頭文件導(dǎo)出，然后挨個分析導(dǎo)出對應(yīng)的數(shù)據(jù)結(jié)構(gòu)即可，然后統(tǒng)一多插入庫即可，代碼和第一步用到的一樣。
注意：
這里的結(jié)構(gòu)和Framework可執(zhí)行文件那里一樣會出現(xiàn)嵌套結(jié)構(gòu)，雖然我們自己dump到tmp目錄下是不會有，但是公用代碼的話，這里也需要處理一下上面嵌套的結(jié)構(gòu)，可以在上面給的路徑下看到對應(yīng)的
AVFoundation.Framework
也一樣嵌套
可以看下簡單的日志路徑：
頭文件讀入，正在處理正則
-
-
-
>
/
Applications
/
Xcode
.
app
/
Contents
/
Developer
/
Platforms
/
iPhoneOS
.
platform
/
Developer
/
SDKs
/
iPhoneOS
.
sdk
/
System
/
Library
/
Frameworks
/
AVFoundation
.
framework
/
Headers
/
AVAudioUnitReverb
.
h
頭文件讀入，正在處理正則
-
-
-
>
/
Applications
/
Xcode
.
app
/
Contents
/
Developer
/
Platforms
/
iPhoneOS
.
platform
/
Developer
/
SDKs
/
iPhoneOS
.
sdk
/
System
/
Library
/
Frameworks
/
AVFoundation
.
framework
/
Headers
/
AVPlayerMediaSelectionCriteria
.
h
頭文件讀入，正在處理正則
-
-
-
>
/
Applications
/
Xcode
.
app
/
Contents
/
Developer
/
Platforms
/
iPhoneOS
.
platform
/
Developer
/
SDKs
/
iPhoneOS
.
sdk
/
System
/
Library
/
Frameworks
/
AVFoundation
.
framework
/
Headers
/
AVDepthData
.
h
頭文件讀入，正在處理正則
-
-
-
>
/
Applications
/
Xcode
.
app
/
Contents
/
Developer
/
Platforms
/
iPhoneOS
.
platform
/
Developer
/
SDKs
/
iPhoneOS
.
sdk
/
System
/
Library
/
Frameworks
/
AVFoundation
.
framework
/
Headers
/
AVCaptureFileOutput
.
h
頭文件讀入，正在處理正則
-
-
-
>
/
Applications
/
Xcode
.
app
/
Contents
/
Developer
/
Platforms
/
iPhoneOS
.
platform
/
Developer
/
SDKs
/
iPhoneOS
.
sdk
/
System
/
Library
/
Frameworks
/
AVFoundation
.
framework
/
Headers
/
AVAudioUnitTimeEffect
.
h
頭文件讀入，正在處理正則
-
-
-
>
/
Applications
/
Xcode
.
app
/
Contents
/
Developer
/
Platforms
/
iPhoneOS
.
platform
/
Developer
/
SDKs
/
iPhoneOS
.
sdk
/
System
/
Library
/
Frameworks
/
AVFoundation
.
framework
/
Headers
/
AVUtilities
.
h
頭文件讀入，正在處理正則
-
-
-
>
/
Applications
/
Xcode
.
app
/
Contents
/
Developer
/
Platforms
/
iPhoneOS
.
platform
/
Developer
/
SDKs
/
iPhoneOS
.
sdk
/
System
/
Library
/
Frameworks
/
AVFoundation
.
framework
/
Frameworks
/
AVFAudio
.
framework
/
Headers
/
AVAudioUnitSampler
.
h
頭文件讀入，正在處理正則
-
-
-
>
/
Applications
/
Xcode
.
app
/
Contents
/
Developer
/
Platforms
/
iPhoneOS
.
platform
/
Developer
/
SDKs
/
iPhoneOS
.
sdk
/
System
/
Library
/
Frameworks
/
AVFoundation
.
framework
/
Frameworks
/
AVFAudio
.
framework
/
Headers
/
AVAudioEngine
.
h
頭文件讀入，正在處理正則
-
-
-
>
/
Applications
/
Xcode
.
app
/
Contents
/
Developer
/
Platforms
/
iPhoneOS
.
platform
/
Developer
/
SDKs
/
iPhoneOS
.
sdk
/
System
/
Library
/
Frameworks
/
AVFoundation
.
framework
/
Frameworks
/
AVFAudio
.
framework
/
Headers
/
AVAudioUnitGenerator
.
h
頭文件讀入，正在處理正則
-
-
-
>
/
Applications
/
Xcode
.
app
/
Contents
/
Developer
/
Platforms
/
iPhoneOS
.
platform
/
Developer
/
SDKs
/
iPhoneOS
.
sdk
/
System
/
Library
/
Frameworks
/
AVFoundation
.
framework
/
Frameworks
/
AVFAudio
.
framework
/
Headers
/
AVAudioTime
.
h
頭文件讀入，正在處理正則
-
-
-
>
/
Applications
/
Xcode
.
app
/
Contents
/
Developer
/
Platforms
/
iPhoneOS
.
platform
/
Developer
/
SDKs
/
iPhoneOS
.
sdk
/
System
/
Library
/
Frameworks
/
AVFoundation
.
framework
/
Frameworks
/
AVFAudio
.
framework
/
Headers
/
AVAudioUnitMIDIInstrument
.
h
頭文件讀入，正在處理正則
-
-
-
>
/
Applications
/
Xcode
.
app
/
Contents
/
Developer
/
Platforms
/
iPhoneOS
.
platform
/
Developer
/
SDKs
/
iPhoneOS
.
sdk
/
System
/
Library
/
Frameworks
/
AVFoundation
.
framework
/
Frameworks
/
AVFAudio
.
framework
/
Headers
/
AVAudioUnitEffect
.
h
A集合和B集合主要的提取邏輯都是在
api_utils.py
文件中，已經(jīng)加上注釋。
那么最后提取出
21551
個
構(gòu)建集合C（document_apis）
Xcode 9以下，Apple的文檔是以docSet的格式存在的。這是官方提供的XML信息，里面包含了所有版本的文檔信息。
# 各版本 iOS docSet 的元信息
https
:
//
developer
.
apple
.
com
/
library
/
downloads
/
docset
-
index
.
dvtdownloadableindex
# iOS 8.1 docSet
https
:
//
devimages
-
cdn
.
apple
.
com
/
docsets
/
20141020
/
031
-
07735
-
A
.
dmg
# iOS 9.3.5 docSet
https
:
//
devimages
-
cdn
.
apple
.
com
/
docsets
/
20160321
/
031
-
52212
-
A
.
dmg
iOS 9.3.5是最后一個能獲取到的docset文件了。下載后的
com.apple.adc.documentation.iOS.docset
文件，顯示包內(nèi)容打開
docSet 內(nèi)部的 Contents/Resources/docSet.dsidx
就是我們要獲取到的集合C，把這個文件拖進(jìn)
Navicat
，看下表結(jié)構(gòu)
打開我們的
ZTOKEN
表，表字段
ZTYPENAME
就是我們要關(guān)注獲取到的方法類型，主要是以下幾個
- func（pk=1） 全局C函數(shù)
- instm（pk=4） instance method 對象方法
- clm （pk=2） class method 類方法
- intfm （pk=6） interface method （- 協(xié)議）
- intfcm （pk=22）interface class method （+ 協(xié)議）
def
get_dsidx_apis
(
db_path
)
:
sql
=
"SELECT T.Z_PK,"
\
" T.ZTOKENNAME,"
\
" T.ZTOKENTYPE,"
\
" T.ZCONTAINER, "
\
"F.ZDECLAREDIN FROM ZTOKEN as T"
\
" INNER JOIN ZTOKENMETAINFORMATION as F ON T.Z_PK=F.ZTOKEN"
\
" WHERE ZTOKENTYPE IN (1,2,4,6,22)"
return
SqliteHandler
(
db_path
=
db_path
)
.
execute_select
(
sql
,
(
)
)
db_path是我們下載的docset文件的路徑，首先通過查詢
ZTOKEN
和
ZTOKENMETAINFORMATION
進(jìn)行連表查詢，然后再根據(jù)對應(yīng)的字段查對應(yīng)的表把我們建的數(shù)據(jù)庫表字段對應(yīng)好，然后組裝成能進(jìn)行多插的數(shù)據(jù)結(jié)構(gòu)，插入對應(yīng)的表即可，一共
32150
條
api_name
ZTOKEN
表
--
-
ZTOKENNAME
字段
class_name
ZTOKEN
表
--
-
ZCONTAINER
表
--
>
ZCONTAINERNAME
字段
type
ZTOKEN
表
--
-
ZTOKENTYPE
字段
header_file
ZTOKEN
表
--
-
ZTOKENMETAINFORMATION
表
--
-
ZDECLAREDIN
字段
--
-
ZHEADER
表
--
>
ZHEADERPATH
字段
source_sdk
12.1
source_framework
ZTOKEN
表
--
-
ZTOKENMETAINFORMATION
表
--
-
ZDECLAREDIN
字段
--
-
ZHEADER
表
--
>
FRAMEWORKNAME
字段
但是在iOS 9.3.5之后，Xcode不在內(nèi)置docset數(shù)據(jù)庫，而是換了一種數(shù)據(jù)結(jié)構(gòu)，反正看起來雖然有點(diǎn)邏輯，但是很難提取完整。
雖然說iOS 9之后咱們能用到的API基本沒太大的變化，也能用上面的方式進(jìn)行提取，但是如果要精益求精，就必須按新的API數(shù)據(jù)結(jié)構(gòu)來提取了,具體如下
Xcode 9之后的API 內(nèi)置在一個Framework里面，主要是兩個文件：map.db和cache.db
/
Applications
/
Xcode
.
app
/
Contents
/
SharedFrameworks
/
DNTDocumentationSupport
.
framework
/
Versions
/
A
/
Resources
/
external
1、以UIButton為例，在map.db里面查詢對應(yīng)的uuid
select
uuid
from
map
where
source_language
=
1
and
reference_path
=
'uikit/uibutton'
2、然后到cache.db的refs表中查詢到對應(yīng)的data_id
select
data_id
from
refs
where
uuid
=
'hcOyO61dSB'
3、上面根據(jù)uuid拿到的data_id是2187，然后在同級目錄下找到fs文件夾，找到對應(yīng)的資源文件
上面拿到的文件是經(jīng)過蘋果最新的無損壓縮算法LZFSE進(jìn)行壓縮的，Github上已經(jīng)有人實(shí)現(xiàn)了LZFSE算法實(shí)現(xiàn)，下載后編譯得到
lzfse
，然后放進(jìn)
/usr/local/bin
lzfse
-
decode
-
i
/
Applications
/
Xcode
.
app
/
Contents
/
SharedFrameworks
/
DNTDocumentationSupport
.
framework
/
Versions
/
A
/
Resources
/
external
/
fs
/
2187
-
o
/
Users
/
mikejing191
/
Desktop
/
2187.
json
解壓后的文件是一個字符串，也不是Json字符串，感覺他是由許多個Json字符串組合而成，你可以通過以下簡單的算法拿到一段段的Json，但是有時(shí)候解析出來也不是正確的Json格式，就非常惡心了
def
get_decode_json
(
filepath
)
:
with
open
(
filepath
,
'rb'
)
as
f
:
text
=
f
.
read
(
)
filter_text
=
text
.
decode
(
'utf-8'
,
'ignore'
)
# print(filter_text)
return
filter_text
return
[
]
# 2439 是UIView
if
__name__
==
'__main__'
:
result
=
get_decode_json
(
'/Users/mikejing191/Desktop/2035.decode.json'
)
num
=
0
result_array
=
result
.
split
(
'}{'
)
result
=
''
for
str
in
result_array
:
print
(
''
)
if
num
==
0
:
js
=
str
+
'}'
elif
num
==
len
(
result_array
)
-
1
:
js
=
'{'
+
str
else
:
js
=
'{'
+
str
+
'}'
num
+=
1
print
(
js
)
但問題是，即使這樣拆開了拿，也不一定拿到的每個字符串就是Json字符串了，而且他的key都是基本上一個字母，不知道具體的含義，很難精準(zhǔn)的提取出需要的API，如果有朋友能提取到數(shù)據(jù)庫，可以把提取到的數(shù)據(jù)庫分享下，非常感謝
構(gòu)建集合E（private_framework_dump_apis）
由于集合A已經(jīng)把結(jié)構(gòu)調(diào)整好了，代碼都一樣，因此只要把集合A里面的路徑改成如下即可
/
Applications
/
Xcode
.
app
/
Contents
/
Developer
/
Platforms
/
iPhoneOS
.
platform
/
Developer
/
Library
/
CoreSimulator
/
Profiles
/
Runtimes
/
iOS
.
simruntime
/
Contents
/
Resources
/
RuntimeRoot
/
System
/
Library
/
PrivateFrameworks
一共
547128
條
構(gòu)建集合F (framework_private_apis)
提取集合A中所有api數(shù)據(jù)集合
SET_A
，并且創(chuàng)建一個空的私有API集合
PR_API
1、遍歷
SET_A
，判斷api是否以
_
開頭，如果是加入到
PR_API
集合中
2、其他API既不在集合B（頭文件API集合），也不在集合C（docset API集合），那么也加入到
PR_API
集合中
3、不在集合B/集合C的判斷條件是 Sql語句中的Where語句，條件是
api_name
,
class_name
,
source_sdk
。
def
api_is_exist_in_table
(
table_name
,
api_obj
)
:
sql
=
"SELECT * FROM %s WHERE api_name = ? and class_name = ? and source_sdk = ?;"
%
table_name
parameters
=
(
api_obj
[
'api_name'
]
,
api_obj
[
'class_name'
]
,
api_obj
[
'source_sdk'
]
)
return
SqliteHandler
(
)
.
execute_select_one
(
sql
,
params
=
parameters
)
# 所有公有framework下的
API
計(jì)算如下
:
# 屬于公有
11707
# 屬于私有
102266
# 屬于私有下劃線
28751
# 去重前
-
--
公有庫內(nèi)的私有
API
length：
131017
這里從公有庫中提取去來的API需要根據(jù)
class_name
和
api_name
進(jìn)行去重，Python庫
itertools
提供了groupby方法，專門給數(shù)組根據(jù)key進(jìn)行分組，以下是groupby的例子：
案例如下，根據(jù)date排序，分組之后取出該組下第一個即可，那么上面是根據(jù)類名和方法名分組，去重取出第一個即可
rows
=
[
{
'address'
:
'5412 N CLARK'
,
'date'
:
'07/01/2012'
}
,
{
'address'
:
'5148 N CLARK'
,
'date'
:
'07/04/2012'
}
,
{
'address'
:
'5800 E 58TH'
,
'date'
:
'07/02/2012'
}
,
{
'address'
:
'2122 N CLARK'
,
'date'
:
'07/03/2012'
}
,
{
'address'
:
'5645 N RAVENSWOOD'
,
'date'
:
'07/02/2012'
}
,
{
'address'
:
'1060 W ADDISON'
,
'date'
:
'07/02/2012'
}
,
{
'address'
:
'4801 N BROADWAY'
,
'date'
:
'07/01/2012'
}
,
{
'address'
:
'1039 W GRANVILLE'
,
'date'
:
'07/04/2012'
}
,
]
def
group_by_date
(
obj
)
:
return
obj
[
'date'
]
x
=
sorted
(
rows
,
key
=
group_by_date
)
# 打印如下
[
{
'address'
:
'5412 N CLARK'
,
'date'
:
'07/01/2012'
}
,
{
'address'
:
'4801 N BROADWAY'
,
'date'
:
'07/01/2012'
}
,
{
'address'
:
'5800 E 58TH'
,
'date'
:
'07/02/2012'
}
,
{
'address'
:
'5645 N RAVENSWOOD'
,
'date'
:
'07/02/2012'
}
,
{
'address'
:
'1060 W ADDISON'
,
'date'
:
'07/02/2012'
}
,
{
'address'
:
'2122 N CLARK'
,
'date'
:
'07/03/2012'
}
,
{
'address'
:
'5148 N CLARK'
,
'date'
:
'07/04/2012'
}
,
{
'address'
:
'1039 W GRANVILLE'
,
'date'
:
'07/04/2012'
}
]
y
=
groupby
(
x
,
group_by_date
)
for
g
,
l
in
y
:
print
(
g
)
print
(
list
(
l
)
# 打印如下
07
/
01
/
2012
[
{
'address'
:
'5412 N CLARK'
,
'date'
:
'07/01/2012'
}
{
'address'
:
'4801 N BROADWAY'
,
'date'
:
'07/01/2012'
}
]
07
/
02
/
2012
[
{
'address'
:
'5800 E 58TH'
,
'date'
:
'07/02/2012'
}
,
{
'address'
:
'5645 N RAVENSWOOD'
,
'date'
:
'07/02/2012'
}
,
{
'address'
:
'1060 W ADDISON'
,
'date'
:
'07/02/2012'
}
]
07
/
03
/
2012
[
{
'address'
:
'2122 N CLARK'
,
'date'
:
'07/03/2012'
}
]
07
/
04
/
2012
[
{
'address'
:
'5148 N CLARK'
,
'date'
:
'07/04/2012'
}
,
{
'address'
:
'1039 W GRANVILLE'
,
'date'
:
'07/04/2012'
}
]
以下根據(jù)API的class_name和api_name進(jìn)行去重
# api去重 根據(jù)api_name和class_name
def
deduplication_api_list
(
apis
)
:
"""
相同類名和相同方法名去重
:param apis:
:return:
"""
def
group_by_api
(
api
)
:
return
api
[
'api_name'
]
+
'/'
+
api
[
'class_name'
]
new_apis
=
[
]
# 先排序
apis
=
sorted
(
apis
,
key
=
group_by_api
)
# 再根據(jù)類名和方法名成組
for
group
,
itr
in
groupby
(
apis
,
key
=
group_by_api
)
:
l
=
list
(
itr
)
if
l
and
len
(
l
)
>
0
:
new_apis
.
append
(
l
[
0
]
)
return
new_apis
去重后公有庫內(nèi)的私有API還剩
128854
條
構(gòu)建最終集合D (all_private_apis)
最終的私有API集合只要把集合F和集合E合并入庫即可,一共
675982
條
構(gòu)建完Log
******************
SET_A
142724
********************
********************
SET_B
21551
*******************
********************
SET_C
32150
********************
********************
SET_E
547128
********************
********************
所有公有framework下的API計(jì)算如下:
屬于公有11707
屬于私有102266
屬于私有下劃線28751
********************
去重前---公有庫內(nèi)的私有API length：131017
start group by
..
..
去重后----公有庫內(nèi)的私有API length：128854
公有庫下的私有API插入最終集合---all_private_apis---128854
私有庫API集合取出插入最終集合---all_private_apis---547128
SET_D
675982
********************
SET_F
公有庫下的私有API插入獨(dú)立集合F集合---framework_private_apis---128854
********************
構(gòu)建完的數(shù)據(jù)庫
mkj_private_apis.db
放在了鏈接: https://pan.baidu.com/s/15x3kExmwL5RrPJQIYB6LXw 提取碼: sdbe ，不想自己構(gòu)建的可以下載下來放進(jìn)根目錄
掃描私有API
1.解壓ipa，提取Mach-O
1、用
zipfile
解壓項(xiàng)目到tmp目錄下
2、首先得安裝
macholib
庫，通過
python -mmacholib find xxxxxx
掃描路徑下的可執(zhí)行文件，默認(rèn)掃描到的是數(shù)組，提取出第一個就是項(xiàng)目可執(zhí)行文件。
3、
strings
去獲取可執(zhí)行文件下可打印字符。
strings
主要是獲取非文本文件中包含的文本內(nèi)容，用
\n
去分割成集合用
set類型
去表示
集合1
4、
otool -L
提取項(xiàng)目中用到的依賴庫PublicFramework和PrivateFramework
5、
class_dump
從Mach-O文件中導(dǎo)出頭文件信息，解析出類名，協(xié)議和變量名一樣用
set類型
集合2
6、
集合1 - 集合2
，由于是
set
類型，可以通過減法進(jìn)行過濾得到
集合3
。
7、
class-dump
的分析結(jié)果通過正則匹配到方法
Method集合4
8、步驟4拿到的PublicFramework作為sql語句的條件查詢
SET_D(all_private_apis表)
，如果有白名單的話，再把白名單的私有API過濾，得到最終該掃描項(xiàng)目用到的框架里面的私有API
集合5
# 從SET_D 私有API庫里面查找api_name 而且framework不屬于參數(shù)，而且不在白名單里面
def
get_private_api_list
(
framework
=
None
)
:
framework_str
=
_get_sql_in_strings
(
framework
)
# in frameworks
private_db_name
=
db_names
[
"SET_D"
]
white_list_containers
=
_get_white_lists_results
(
)
# 有frame過濾條件s
if
framework_str
:
sql
=
"select * from %s group by api_name, class_name having source_framework in "
%
(
private_db_name
)
+
framework_str
+
" and api_name not in "
+
white_list_containers
+
";"
params
=
(
)
else
:
sql
=
"select * from %s group by api_name, class_name having api_name not in "
%
(
private_db_name
)
+
white_list_containers
+
";"
params
=
(
)
private_apis
=
SqliteHandler
(
)
.
execute_select
(
sql
,
params
)
print
(
sql
)
return
private_apis
9、
集合3 和 集合5
取交集，判斷集合5中的
api_name
是否在集合3里面，把在的重新生成一個
集合6
，這里集合3可以理解為剩余字符串的API關(guān)鍵字，如果和集合5私有API集合有交集，那么就暫且認(rèn)為是有可能出現(xiàn)的私有API，統(tǒng)一為集合6
10、遍歷
集合6
，和集合4產(chǎn)生交集，由于4和6都是有
api_name
,
class_name
等詳細(xì)信息的集合，因此最終根據(jù)這兩個值為Key產(chǎn)生的交集，才算的上真正的私有API調(diào)用，存在就是私有API，不存在就不是私有API。
掃描結(jié)果舉例
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
App可見Strings
:
14634
App協(xié)議，變量屬性
:
3954
剩下的字符串
--
-
>
String
-
App協(xié)議，變量屬性
:
11640
App方法名app_methods
:
4088
App用的Public對應(yīng)的
private
apis length
:
15125
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
strings剩余可見字符串關(guān)鍵字和Publick對應(yīng)的私有
API
集合交集后的私有
API
--
-
>
347
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
最終
API
掃描結(jié)果
method_in_app
:
0
method_not_in_app
:
347
private
framework
:
0
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
## 使用方式和流程 上面介紹了如何構(gòu)建私有API庫，還有很多不足，搜集可能不全面。還介紹了用入庫的私有API如何進(jìn)行ipa掃描，下面介紹下如何用Python3 + Django環(huán)境去使用。
1.構(gòu)建私有API數(shù)據(jù)庫
如果用現(xiàn)成的跑完的數(shù)據(jù)庫，可以從這里下載，放在云盤了(鏈接: https://pan.baidu.com/s/15x3kExmwL5RrPJQIYB6LXw 提取碼: sdbe)，這里面的表名對應(yīng)的用途上面有介紹。
如果你會自己編譯入庫，就在
config.py
文件中找到
sdks_configs
，配置對應(yīng)的路徑地址，
framework_path
和
private_framework_path
對應(yīng)的是Framework可執(zhí)行文件的路徑，
framework_header_path
頭文件路徑，前者需要自己dump，后者可以直接用，具體怎么找路徑可以在上面
構(gòu)建集合A
找到，
docset_path
路徑可以自己下載setdoc文件，上面
構(gòu)建集合C
也是下載下來找到db文件的路徑，setdoc文件也是放在云盤了（鏈接: https://pan.baidu.com/s/15x3kExmwL5RrPJQIYB6LXw 提取碼: sdbe），可以自己下下來，試著跑腳本入庫。
最終會在項(xiàng)目根目錄多一個數(shù)據(jù)庫文件，用于掃描
2.虛擬環(huán)境配置
virtualenv方式
1.進(jìn)入項(xiàng)目文件夾，用
virtualenv
創(chuàng)建虛擬環(huán)境，沒有該工具用
pip install virtualenv
/
pip3 install virtualenv
安裝
2.
virtualenv venv
3.
virtualenv -p /usr/local/bin/python3 venv
# 創(chuàng)建3的環(huán)境
4.
pip install -r requirements.txt
# 虛擬環(huán)境導(dǎo)入依賴
5.
. venv/bin/activate
# 啟動虛擬環(huán)境
Pycharm方式
1.下載項(xiàng)目下來,用Pycharm打開，然后點(diǎn)擊Pycharm — Preference — Project — Project Interpreter配置虛擬環(huán)境
2.點(diǎn)擊右邊的齒輪，選擇add，Virtualenv Environment — New Environment 默認(rèn)確定即可
3.打開Pycharm下面的Terminal，進(jìn)入虛擬環(huán)境，安裝依賴包
4.安裝
pip install -r requirements.txt
5.然后
build_apis_db.py
文件可以單獨(dú)跑，就會在項(xiàng)目主目錄下生成一個
tmp
文件夾生成對應(yīng)
framework
dump之后的頭文件
6.最后自動會正則這些頭文件，然后寫入
mkj_private_apis.db
對應(yīng)的表中進(jìn)行后續(xù)匹配
3.直接腳本運(yùn)行
把下載好的db文件或者自己編譯好的db文件如上面所示出現(xiàn)在根目錄，然后打開
check_private_apis.py
文件，修改main函數(shù)里面的
chech_multi(path)
的參數(shù)，對應(yīng)的path就是ipa文件所在目錄，腳本會批量掃描目錄下所有ipa并輸出Excel，可以在項(xiàng)目tmp目錄中找到生成的Excel文件
當(dāng)然，這里的私有API都是舉例測試用的，這里的各種信息是掃描ipa包里面的plist文件和mobileprovision文件出來的檢查ipa信息工具，下面的私有API就是根據(jù)我們拋出來的數(shù)據(jù)庫比對出來的，正常情況下是無信息的，需要再完善下，如果掃到了也需要人工干預(yù)確認(rèn)下。
4.Django本地環(huán)境運(yùn)行
Django不熟悉的可以看看另一個文章虛擬環(huán)境啟動Django的Hello World
上面已經(jīng)安裝配置好了Django的運(yùn)行環(huán)境，安裝好了所有依賴，依然cd到項(xiàng)目根目錄，然后執(zhí)行啟動虛擬環(huán)境
.
venv/bin/activate
python private_apis_app/manage.py runserver
啟動信息如下
Watching
for
file
changes with StatReloader
Performing system checks
..
.
System check identified no issues
(
0 silenced
)
.
You have 17 unapplied migration
(
s
)
. Your project may not work properly
until
you apply the migrations
for
app
(
s
)
: admin, auth, contenttypes, sessions.
Run
'python manage.py migrate'
to apply them.
July 10, 2019 - 11:14:01
Django version 2.2.3, using settings
'private_apis_app.settings'
Starting development server at http://127.0.0.1:8000/
Quit the server with CONTROL-C.
這里Django會有紅色的警告，告訴你數(shù)據(jù)庫沒遷移，不過我們先用不到，可以無視他，然后打開
http://127.0.0.1:8000/check/
,直接把ipa包拖入頁面區(qū)域，然后等跑數(shù)據(jù)，最終也會出現(xiàn)在頁面上
項(xiàng)目地址：
Python3私有API掃描工具
ipa信息掃描工具
參考文章：
iOS 私有API掃描總結(jié)
iOS 私有 API 調(diào)用檢測機(jī)制探討
iOS 私有API獲取
Docsets問題
應(yīng)用安全審計(jì)
How do I check where my app is using IDFA
私有API-iOS10 openURL方法跳轉(zhuǎn)到設(shè)置界面失效的解決方法
私有API平安好房的大佬總結(jié)
Django和Flask入門
Django備忘錄
靜態(tài)掃描Git庫
RuntimeBrowser庫，所有API集合
xlswriter
python -m mod
utf-8 can’t decode byte…的解決方法
mysql excutemany
otool 用途
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號聯(lián)系： 360901061
您的支持是博主寫作最大的動力，如果您喜歡我的文章，感覺我的文章對您有幫助，請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點(diǎn)擊下面給點(diǎn)支持吧，站長非常感激您！手機(jī)微信長按不能支付解決辦法：請將微信支付二維碼保存到相冊，切換到微信，然后點(diǎn)擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對您有幫助就好】元
