libclangを使用したCのprintfのような関数の静的分析

多くの現代言語と比較して、C言語はしばしば非常に原始的で安全ではないようです。 また、言語に関するよくある不満の1つは、コードからその内部表現へのアクセスが不可能であることです。 他の言語では、これは伝統的にリフレクションなどのメカニズムによって行われ、非常に使いやすいです。

それでも、libclangの登場により、コンパイル時に直接独自のアナライザーとコードジェネレーターを記述できるようになり、作業の初期段階でかなりの数の問題が解消されました。 一般計画の静的分析ツール（カバー率、clang-scan）、特定のプロジェクトの分析ツール、およびコード記述の規律の組み合わせにより、Cコードの品質と安全性が大幅に向上します。 もちろん、これはhaskellやrustが提供する保証を与えるものではありませんが、特に別の言語で巨大なプロジェクトを書き換えることが非現実的なタスクである場合、開発プロセスを大幅に最適化できます。

この記事では、printfに似た関数の静的引数プラグイン形式引数を作成した経験を共有したいと思います。 プラグインの作成中に、libclangのソースとdoxygenのドキュメントをよく掘り下げなければならなかったので、この厄介な道を歩きたいが、情報を収集するのに時間を費やす価値があるかどうかはまだわからない人のために、いくつかのレビューを行うことが有用であることがわかりました。 この記事には写真はなく、嘔吐するユニコーンの写真さえありません。ごめんなさい。

問題の声明

関数のようなprintfを分析する問題は私のプロジェクト（ https://rspamd.com ）に長い間ありました：libcからの標準のprintfは多くの理由で私に適合しませんでした：

• バッファーに出力するとき、printf（3）は、巨大なヌル終了文字列を含み、宛先バッファーが非常に小さい場合でも、フォーマット文字列全体を全体として解析しようとしますsnprintf(buf, 16, "%s", str)長いひも そのような行動は私には役に立たなかった
• printfは固定長整数（uint32_t、uitn64_t）を非常に不十分に理解します
• 末尾に「\ 0」のない固定長文字列など、独自のデータ構造を印刷したかった
• 16進エンコーディング、人間が読める整数など、より「高度な」フォーマットフラグが必要でした。
• 自分のデータ構造、たとえば、自動的に拡張可能な行で印刷できるようにしたかった

そのため、一度nginxからprintfを取得して、タスクに合わせて調整しました。 サンプルコードはこちらにあります 。 このアプローチには1つの欠点があります。コンパイラからの標準クエリ文字列アナライザーの操作が完全に無効になり、静的な一般的なアナライザーはどの引数が何を意味するのか理解できません。 ただし、このタスクは、libclangを介して提供されるコンパイラの抽象構文ツリー（AST）を使用して理想的に解決されます。
AST処理プラグインは、次のタスクを実行する必要があります。

• クエリ文字列を解析し、そこからすべての'％'引数を抽出します
• 渡されたクエリ文字列と関数の引数の数の比較
• 各引数の型を確認する機能（複合型を含む）
• 異なる位置でクエリ文字列を受け入れる関数をテストする機能（たとえば、 printf / fprintf / snprintf ）

プラグインのコンパイルと動作

インターネット上でlibclangを使用するのに十分な例がありますが、それらのほとんどは式の分析よりも定義の分析に専念しています。さらに、何らかの理由で、多くの例がPythonで書かれており、優れた（私の意見では）C + 11絶対にしたくありませんでした（ただし、C ++でのプロトタイプのコンパイル時間が主な重大な欠点です）。

私が最初に遭遇した問題は、llvmの異なるバージョンが異なるAPIを提供することでした。 さらに、たとえば、macportsを介してインストールされたosx llvmアセンブリは、「ノーウェイ」という言葉から動作不能であることが判明しました。 したがって、私はちょうどlinuxサンドボックスにllvmをインストールし、このバージョン（3.7）で特に動作しました。 ただし、このコードは3.6以降でも動作するはずです。

2番目の問題は、ビルドシステムです。 私のプロジェクトはcmakeを使用しているので、確かにプラグインをビルドするためにそれを使用したかったです。 アイデアは、オプションをオンにしてプラグインをビルドし、それを使用して残りのコードをビルドするというものでした。 まず、cmakeの場合と同様に、システム内でllvmとlibclangを見つけるためのパッケージを作成し、CXXフラグを設定する必要がありました（たとえば、c ++ 11標準の組み込み）。 残念ながら、osxでllvmが使えないため、日常の作業に使用している素晴らしいCLion IDEとの統合を完全に中断したため、IDEが提供するアドオンやその他のアメニティなしでコードを書く必要がありました。

プラグインのコンパイルは、特別な問題を引き起こしませんでした。

 FIND_PACKAGE(LLVM REQUIRED) SET(CLANGPLUGINSRC plugin.cc printf_check.cc) ADD_LIBRARY(rspamd-clang SHARED ${CLANGPLUGINSRC}) SET_TARGET_PROPERTIES(rspamd-clang PROPERTIES COMPILE_FLAGS "${LLVM_CXX_FLAGS} ${LLVM_CPP_FLAGS} ${LLVM_C_FLAGS}" INCLUDE_DIRECTORIES ${LIBCLANG_INCLUDE_DIR} LINKER_LANGUAGE CXX) TARGET_LINK_LIBRARIES(rspamd-clang ${LIBCLANG_LIBRARIES}) LINK_DIRECTORIES(${LLVM_LIBRARY_DIRS}) 

しかし、残りのコードで動作するようにそれを含めると、問題がありました。 第一に、cmakeは、何らかの理由でコンパイラオプションをグループ化し、 -Xclang opt1 -Xclang opt2を-Xclang opt1 opt2に-Xclang opt1 opt2 、コンパイルを完全に-Xclang opt1 opt2顕著な人工知能を示しました。 ソリューションはCMAKE_C_FLAGS直接インストールすることでCMAKE_C_FLAGS 。

 IF (ENABLE_CLANG_PLUGIN MATCHES "ON") SET(CMAKE_C_FLAGS "${CMAKE_C_FLAGS} -Xclang -load -Xclang ${CMAKE_CURRENT_BINARY_DIR}/../clang-plugin/librspamd-clang.so -Xclang -add-plugin -Xclang rspamd-ast") ENDIF () 

ご覧のとおり、結果のライブラリへのパスを明示的に指定する必要がありました。これにより、osx（.soの代わりに.dylibが使用されます）でシステムが破損する可能性がありましたが、これはosxでllvmが使用できないため、重要な要素ではありませんでした。 2番目の問題は、ほとんどすべての例で推奨されているように-Xclang -pluginを指定すると、clangはソースのコンパイルを停止し（つまり、オブジェクトファイルを生成しない）、分析のみを実行することです。 -Xclang -pluginは、 -Xclang -pluginを-Xclang -add-pluginに置き換えることでした。これは、Googleの発行に関するいくつかの瞑想の後に見つかりました。

プラグインを書く

このパートでは、プラグインの作成の基本にあまり焦点を当てたくありません。これには多くの資料が費やされています。 要するに、プラグインは静的メソッドclang::FrontendPluginRegistry::Addを使用して作成され、clangのプラグインを登録します。 このメソッドは定型的であり、 clang::PluginASTActionを継承するクラスタイプを取り、その中に必要なメソッドを定義します。

 class RspamdASTAction : public PluginASTAction { protected: std::unique_ptr <ASTConsumer> CreateASTConsumer (CompilerInstance &CI, llvm::StringRef) override { return llvm::make_unique<RspamdASTConsumer> (CI); } bool ParseArgs (const CompilerInstance &CI, const std::vector <std::string> &args) override { return true; } void PrintHelp (llvm::raw_ostream &ros) { ros << "Nothing here\n"; } }; static FrontendPluginRegistry::Add <rspamd::RspamdASTAction> X ("rspamd-ast", "rspamd ast checker"); 

主な興味深いメソッドはCreateASTConsumerメソッドです。このメソッドは、コンパイラーがコードを構文ツリーに変換した段階で、結果のオブジェクトを呼び出す必要があることをclangに伝えます。 それ以降の作業はすべてASTConsumerで行われ、ASTConsumerはHandleTranslationUnitメソッドを定義します。 HandleTranslationUnitメソッドは、実際には構文ツリーのコンテキストを取得します。 CompilerInstance 、エラーや警告を生成するなど、コンパイラを制御するために使用されます。これは、プラグインを操作するときに非常に便利です。 ASTConsumer全体は次のとおりです。

 class RspamdASTConsumer : public ASTConsumer { CompilerInstance &Instance; public: RspamdASTConsumer (CompilerInstance &Instance) : Instance (Instance) { } void HandleTranslationUnit (ASTContext &context) override { rspamd::PrintfCheckVisitor v(&context, Instance); v.TraverseDecl (context.getTranslationUnitDecl ()); } }; 

ここでは、ツリーのノードを訪問し、コンパイルツリーを走査するASTVisitorを作成します。 実際、このクラスでは、すべての作業は関数呼び出しの分析で行われます。 このクラスは非常に簡単に定義されています（ pimplのイディオムを使用）：

 class PrintfCheckVisitor : public clang::RecursiveASTVisitor<PrintfCheckVisitor> { class impl; std::unique_ptr<impl> pimpl; public: PrintfCheckVisitor (clang::ASTContext *ctx, clang::CompilerInstance &ci); virtual ~PrintfCheckVisitor (void); bool VisitCallExpr (clang::CallExpr *E); }; 

主なアイデアは、 clang::RecursiveASTVisitorからの継承であり、ツリーを走査し、関数呼び出しがツリー内にあるときに呼び出されるVisitCallExprメソッドの定義です。 このメソッド（pimplでプロキシされます）では、関数とその引数の解析に関する主な作業が行われます。 メソッドは次のように始まります。

 bool VisitCallExpr (CallExpr *E) { auto callee = dyn_cast<NamedDecl> (E->getCalleeDecl ()); if (callee == NULL) { llvm::errs () << "Bad callee\n"; return false; } auto fname = callee->getNameAsString (); auto pos_it = printf_functions.find (fname); if (pos_it != printf_functions.end ()) { 

このコードでは、式から関数の定義（宣言）を取得し、関数の名前を抽出します。 次に、この関数に興味があるかどうかprintf_functionsハッシュを調べます。

 printf_functions = { {"rspamd_printf", 0}, {"rspamd_default_log_function", 4}, {"rspamd_snprintf", 2}, {"rspamd_fprintf", 1} }; 

数値は、引数内のクエリ文字列の位置を示します。 さらに、関数に興味がある場合は、クエリ文字列を抽出して分析します（このために、この記事の範囲外のオートマトンを作成しました）。

 const auto args = E->getArgs (); auto pos = pos_it->second; auto query = args[pos]; if (!query->isEvaluatable (*pcontext)) { print_warning (std::string ("cannot evaluate query"), E, this->pcontext, this->ci); return false; } clang::Expr::EvalResult r; if (!query->EvaluateAsRValue (r, *pcontext)) { print_warning (std::string ("cannot evaluate rvalue of query"), E, this->pcontext, this->ci); return false; } auto qval = dyn_cast<StringLiteral> ( r.Val.getLValueBase ().get<const Expr *> ()); if (!qval) { print_warning (std::string ("bad or absent query string"), E, this->pcontext, this->ci); return false; } 

このスニペットで重要なのは、可能であれば最初にクエリ文字列を計算しようとすることです。 これは、たとえば、クエリ文字列が任意の式を使用して形成されている場合に便利です。 残念ながら、libclangで値を操作することは非常に困難です。式を取得し、それを評価（EvaluateAsRValue）し、LValueに変換可能な結果を​​取得してからStringLiteralに変換する必要があります。 計算が不要な場合は、 Expr *直接使用してStringLiteralにExpr *すると、コードが大幅に簡素化されます。

次に、クエリ文字列を分析し、そのような構造のベクトルを取得しました。

 struct PrintfArgChecker { private: arg_parser_t parser; public: int width; int precision; bool is_unsigned; ASTContext *past; CompilerInstance *pci; PrintfArgChecker (arg_parser_t _p, ASTContext *_ast, CompilerInstance *_ci) : parser (_p), past (_ast), pci(_ci) { width = 0; precision = 0; is_unsigned = false; } virtual ~PrintfArgChecker () { } bool operator() (const Expr *e) { return parser (e, this); } }; 

このような各構造には、引数（ Expr * ）を取り、指定されたものに準拠しているかどうかタイプをチェックする呼び出しメソッドが含まれています。 次に、クエリ文字列の後のすべての引数で型の一致を確認します。

 if (parsers->size () != E->getNumArgs () - (pos + 1)) { std::ostringstream err_buf; err_buf << "number of arguments for " << fname << " missmatches query string '" << qval->getString ().str () << "', expected " << parsers->size () << " args" << ", got " << (E->getNumArgs () - (pos + 1)) << " args"; print_error (err_buf.str (), E, this->pcontext, this->ci); return false; } else { for (auto i = pos + 1; i < E->getNumArgs (); i++) { auto arg = args[i]; if (arg) { if (!parsers->at (i - (pos + 1)) (arg)) { return false; } } } } 

print_error関数print_error 、コンパイルエラーを出力し、コンパイルプロセスを停止できるという点で興味深いです。 これはCompilerInstanceを介して行われますが、かなり明白ではありません：

 static void print_error (const std::string &err, const Expr *e, const ASTContext *ast, CompilerInstance *ci) { auto loc = e->getExprLoc (); auto &diag = ci->getDiagnostics (); auto id = diag.getCustomDiagID (DiagnosticsEngine::Error, "format query error: %0"); diag.Report (loc, id) << err; } 

したがって、警告を表示するには、 DiagnosticsEngine::Warning使用する必要があります。

一般的に、型分析は2つの方法で実行されます。 1つは組み込み型（たとえばlong / intなど）をチェックでき、2番目は複雑な型（たとえば構造体）をチェックできます。 単純型を確認するには、 clang::BuiltinType::Kind使用します。これは、クランに既知のすべての型を定義します。 可能な値は/usr/include/clang/AST/BuiltinTypes.def場合）にあります。 微妙な点が2つあります。

• 固定サイズのintは組み込み型と異なる方法で一致する可能性があるため、 if (sizeof (int32_t) == sizeof (int)) {...} if (sizeof (int32_t) == sizeof (long)) {...}ようなチェックを行う必要がありますif (sizeof (int32_t) == sizeof (int)) {...} if (sizeof (int32_t) == sizeof (long)) {...}
• 引数は他の型のエイリアスになる可能性があるため、最初にこれらのエイリアスを取り除く必要があります。たとえば、 typedef my_int int

単純型をチェックするための最後の関数は次のようになります。

 static bool check_builtin_type (const Expr *arg, struct PrintfArgChecker *ctx, const std::vector <BuiltinType::Kind> &k, const std::string &fmt) { auto type = arg->getType ().split ().Ty; auto desugared_type = type->getUnqualifiedDesugaredType (); if (!desugared_type->isBuiltinType ()) { print_error ( std::string ("not a builtin type for ") + fmt + " arg: " + arg->getType ().getAsString (), arg, ctx->past, ctx->pci); return false; } auto builtin_type = dyn_cast<BuiltinType> (desugared_type); auto kind = builtin_type->getKind (); auto found = false; for (auto kk : k) { if (kind == kk) { found = true; break; } } if (!found) { print_error ( std::string ("bad argument for ") + fmt + " arg: " + arg->getType ().getAsString () + ", resolved as: " + builtin_type->getNameAsCString (ctx->past->getPrintingPolicy ()), arg, ctx->past, ctx->pci); return false; } return true; } 

ご覧のとおり、 getUnqualifiedDesugaredTypeメソッドを使用してエイリアスを削除し、 arg->getType()使用して式から式の型を取得します。 ただし、このメソッドは、このタスクに必要ではない修飾型（たとえば、 const指定子を含む）を返すため、修飾型はsplitになり、結果の構造から純粋な型のみが取得されます。

複合型の場合、構造体、列挙、またはユニオンの名前を強調表示する必要があります。 チェック機能は次のようになります。

 static bool check_struct_type (const Expr *arg, struct PrintfArgChecker *ctx, const std::string &sname, const std::string &fmt) { auto type = arg->getType ().split ().Ty; if (!type->isPointerType ()) { print_error ( std::string ("bad string argument for %s: ") + arg->getType ().getAsString (), arg, ctx->past, ctx->pci); return false; } auto ptr_type = type->getPointeeType ().split ().Ty; auto desugared_type = ptr_type->getUnqualifiedDesugaredType (); if (!desugared_type->isRecordType ()) { print_error ( std::string ("not a record type for ") + fmt + " arg: " + arg->getType ().getAsString (), arg, ctx->past, ctx->pci); return false; } auto struct_type = desugared_type->getAsStructureType (); auto struct_decl = struct_type->getDecl (); auto struct_def = struct_decl->getNameAsString (); if (struct_def != sname) { print_error (std::string ("bad argument '") + struct_def + "' for " + fmt + " arg: " + arg->getType ().getAsString (), arg, ctx->past, ctx->pci); return false; } return true; } 

引数は構造体ではなく、そのポインターであると想定しているため、まずtype->getPointeeType().split().Ty使用してポインターの型を決定します。 次に、デシュガーを実行し、タイプの宣言を見つけます： struct_type->getDecl() 。 その後、チェックはかなり簡単な方法で行われます。

結果

もちろん、プラグインを作成した後、メインコードでどのように機能するかを確認し始めました。 型には簡単な問題がありました：

 [44％] Cオブジェクトの作成src / CMakeFiles / rspamd-server.dir / libutil / map.co
 src / libutil / map.c：906：46：エラー：format query error：bad argument for％z arg：guint、解決済み：unsigned int
                 msg_info_pool（ "％z要素のハッシュを読み取る"、g_hash_table_size
                                                            ^
 src / libutil / logger.h：190：9：注：マクロ「msg_info_pool」から展開
         __VA_ARGS__）
         ^
 1エラーが生成されました。

深刻な問題もあります。

 [45％] Cオブジェクトの作成src / CMakeFiles / rspamd-server.dir / libserver / protocol.co
 src / libserver / protocol.c：373：45：エラー：クエリのフォーマットエラー：％Vの不正な引数 'f_str_tok' arg：rspamd_ftok_t *
                                         msg_err_task（「ヘッダーからの不正： '％V'」、h->値）;
                                                                                ^
 src / libutil / logger.h：164：9：注：マクロ「msg_err_task」から展開
         __VA_ARGS__）
         ^
 1エラーが生成されました。
 [44％] Cオブジェクトの作成src / CMakeFiles / rspamd-server.dir / libstat / tokenizers / osb.co
 src / libstat / tokenizers / osb.c：128：48：エラー：format query error：bad string argument for％s：gsize
                                         msg_warn（ "siphashキーが短すぎます：％s"、keylen）;
                                                                                   ^
 src / libutil / logger.h：145：9：注：マクロ「msg_warn」から展開
         __VA_ARGS__）
         ^
 1エラーが生成されました。

引数の数に関する問題：

 [46％] Cオブジェクトの作成src / CMakeFiles / rspamd-server.dir / libmime / mime_expressions.co
 src / libmime / mime_expressions.c：780：3：error：format query error：number of arguments for rspamd_default_log_function missmatches query string
       「url％sのプロセステストregexp％sがFALSEを返しました」、2つの引数が必要で、1つの引数を取得
                 msg_info_task（ "url％sのプロセステストregexp％sはFALSEを返しました"、
                 ^
 src / libutil / logger.h：169：30：注：マクロ「msg_info_task」から展開
 #define msg_info_task（...）rspamd_default_log_function（G_LOG_LEVEL_INFO、\
                              ^
 1エラーが生成されました。

フォーマットクエリで合計47の問題が見つかりました。次のコミットで確認できます： http : //git.io/v8Nyv

プラグインコードはこちらから入手できます 。