摘要：是應(yīng)用性能管理監(jiān)控解決方案提供商。目錄是列出的命令腳本所在目錄。包含文件如下的函數(shù)是命令執(zhí)行的入口。而對于硬件信息的檢測則由進(jìn)行。文檔地址源碼仔細(xì)看下去，太復(fù)雜了。下一篇再分析一個(gè)請求到結(jié)束探針工作的完整過程吧。

Newrelic 是APM（Application Performance Management）（應(yīng)用性能管理/監(jiān)控）解決方案提供商。項(xiàng)目中，通常用它來追蹤應(yīng)用的性能。最近看了一下 newrelic-python-agent 源碼，這是查看源碼過程中的一些記錄。

newrelic 目錄結(jié)構(gòu)如下：

newrelic
├── admin  # 常用命令
├── api    # 探針
├── bootstrap
├── common  
├── core
├── extras
│   └── framework_django
│       └── templatetags
├── hooks   # 數(shù)據(jù)庫 web 各個(gè)庫的一些探針
│   ├── framework_tornado
│   ├── framework_tornado_r3
│   └── framework_tornado_r4
├── network
├── packages
│   ├── requests
│   │   └── packages
│   │       ├── chardet
│   │       └── urllib3
│   │           ├── packages
│   │           │   └── ssl_match_hostname
│   │           └── util
│   └── wrapt
└── samplers

使用 newrelic-admin help 可以列出所有命令：

$ newrelic-admin help

Usage: newrelic-admin command [options]

Type "newrelic-admin help "for help on a specific command.

Available commands are:
  generate-config
  license-info
  license-key
  local-config
  network-config
  record-deploy
  run-program
  run-python
  server-config
  validate-config

通過 setup.py 代碼可以知道：

if with_setuptools:
    kwargs["entry_points"] = {
            "console_scripts": ["newrelic-admin = newrelic.admin:main"],
            }

newrelic-admin 命令調(diào)用的是 newrelic.admin:main，這是代碼的入口。首先看一下 newrelic/admin/目錄。

admin 目錄是 newrelic-admin help 列出的命令腳本所在目錄。

包含文件如下：

$ tree
admin
├── __init__.py
├── __main__.py
├── debug_console.py
├── generate_config.py
├── license_info.py
├── license_key.py
├── local_config.py
├── network_config.py
├── record_deploy.py
├── run_program.py
├── run_python.py
├── server_config.py
└── validate_config.py

__init__.py 的 main 函數(shù) 是命令執(zhí)行的入口。

__init__.py 文件中代碼

load_internal_plugins()
load_external_plugins()

用來加載 _builtin_plugins 中定義的命令。

首先看下 run_program 命令，這個(gè)命令使用方式如下：

newrelic-admin run-program your command

newrelic/admin/run_program.py 中 run_program 函數(shù)有裝飾器 command，用來定義將命令以及相關(guān)說明添加到字典 _commands。

在 run_program 中代碼：

root_directory = os.path.dirname(root_directory)
boot_directory = os.path.join(root_directory, "bootstrap")

if "PYTHONPATH" in os.environ:
    path = os.environ["PYTHONPATH"].split(os.path.pathsep)
    if not boot_directory in path:
        python_path = "%s%s%s" % (boot_directory, os.path.pathsep, os.environ["PYTHONPATH"])

os.environ["PYTHONPATH"] = python_path

可以發(fā)現(xiàn)newrelic/bootstrap/sitecustomize.py 文件被加入到了 PYTHONPATH。

python 解釋器初始化的時(shí)候會(huì)自動(dòng) import PYTHONPATH 下存在的 sitecustomize 和 usercustomize 模塊。

之后的功能比較簡單，就是調(diào)用 os 模塊執(zhí)行命令。

現(xiàn)在看下newrelic/bootstrap/sitecustomize.py 代碼。

在 這個(gè)文件的最后一行：

newrelic.config.initialize(config_file, environment)

這里用來初始化newrelic，具體代碼在 newrelic/config.py文件。

以下是initialize函數(shù)：

def initialize(config_file=None, environment=None, ignore_errors=None,
            log_file=None, log_level=None):

    if config_file is None:
        config_file = os.environ.get("NEW_RELIC_CONFIG_FILE", None)

    if environment is None:
        environment = os.environ.get("NEW_RELIC_ENVIRONMENT", None)

    if ignore_errors is None:
        ignore_errors = newrelic.core.config._environ_as_bool(
                "NEW_RELIC_IGNORE_STARTUP_ERRORS", True)

    _load_configuration(config_file, environment, ignore_errors,
            log_file, log_level)  # 加載配置

    if _settings.monitor_mode or _settings.developer_mode:
        _settings.enabled = True
        _setup_instrumentation()  # 設(shè)置探針
        _setup_data_source()  # TODO
        _setup_extensions()   # TODO
        _setup_agent_console()   # TODO
    else:
        _settings.enabled = False

其中第14行 _load_configuration 是用來加載 newrelic 的相關(guān)配置。比如：日志目錄、各種環(huán)境變量、秘鑰、newrelic host 地址等等。

`_setup_instrumentation() 中 _process_module_builtin() 用來設(shè)置探針。

數(shù)據(jù)庫、外部請求 等監(jiān)控模塊都位于 hook 目錄下，通過 _process_module_builtin 函數(shù)將進(jìn)程與監(jiān)控模塊進(jìn)行綁定，包括 django 的主要模塊以及常用的數(shù)據(jù)庫等。在核心模塊執(zhí)行的時(shí)候觸發(fā)監(jiān)控，將數(shù)據(jù)回傳到 api.time_trace 模塊進(jìn)行處理。

而對于硬件信息的檢測則由 commo.system_info 進(jìn)行。

以下為 flask 應(yīng)用初始化過程，其它應(yīng)用類似：

newrelic/admin/__init__.py main()

newrelic/admin/run_program.py 代碼中會(huì)把 newrelic/bootstrap/sitecustomize.py 添加到 PYTHONPATH,python 解釋器初始化的時(shí)候會(huì)自動(dòng) import PYTHONPATH 下存在的 sitecustomize 和 usercustomize 模塊

newrelic/bootstrap/sitecustomize.py 調(diào)用 newrelic.config.initialize()，_setup_instrumentation() 函數(shù)被調(diào)用，_process_module_builtin會(huì)把需要 wrap 的包先添加到_import_hooks。

newrelic/config.py 中 sys.meta_path.insert(0, newrelic.api.import_hook.ImportHookFinder()) 執(zhí)行

newrelic/api/import_hook.py ImportHookFinder().find_model()

newrelic/api/import_hook.py _ImportHookLoader() or _ImportHookChainedLoader()

newrelic/api/import_hook.py _notify_import_hooks callable 為 newrelic/config _module_import_hook _instrument

newrelic/hooks/framework_flask.py instrument_flask_app

newrelic/api/web_transaction.py wrap_wsgi_application

newrelic/common/object_wrapper.py wrap_object

在代碼中，使用到了第三方包 wrapt，以下是 wrapt 的官方描述（文檔地址)。

wrapt模塊的目的是為Python提供一個(gè)透明的對象代理，它可以作為構(gòu)建函數(shù)包裝器和裝飾函數(shù)的基礎(chǔ)。wrapt 提供了一個(gè)簡單易用的decorator工廠，利用它你可以簡單地創(chuàng)建decorator，并且在任何情況下都可以正確地使用它們。

wrapt簡單示例如下：

import wrapt
# 普通裝飾器
@wrapt.decorator
def pass_through(wrapped, instance, args, kwargs):
    return wrapped(*args, **kwargs)

@pass_through
def function():
    pass

# 帶參數(shù)的裝飾器
import wrapt

def with_arguments(myarg1, myarg2):
    @wrapt.decorator
    def wrapper(wrapped, instance, args, kwargs):
        return wrapped(*args, **kwargs)
    return wrapper

@with_arguments(1, 2)
def function():
    pass

要實(shí)現(xiàn)decorator，需要首先定義一個(gè)裝飾器函數(shù)。這將在每次調(diào)用修飾函數(shù)時(shí)調(diào)用。裝飾器函數(shù)需要使用四個(gè)位置參數(shù):

wrapped - The wrapped function which in turns needs to be called by your wrapper function.

instance - The object to which the wrapped function was bound when it was called.

args - The list of positional arguments supplied when the decorated function was called.

kwargs - The dictionary of keyword arguments supplied when the decorated function was called.

具體使用參考文檔吧。 文檔地址

newrelic 源碼仔細(xì)看下去，太...復(fù)雜了。下一篇再分析一個(gè) flask 請求到結(jié)束探針工作的完整過程吧。

最后，感謝女朋友支持和包容，比??

也可以在公號輸入以下關(guān)鍵字獲取歷史文章：公號&小程序 | 設(shè)計(jì)模式 | 并發(fā)&協(xié)程