摘要：更新補充實現細節(jié)怎么找到織入實現在塊中，如何處理什么情況下在前后可以不織入也能正常運行簡介說到協(xié)程，很多人會想到等語言，其實上也有蠻多的實現，如等，本文主要介紹其中一種實現，相對來說流行度更好一些如果之前沒有接觸過協(xié)程用戶級輕量級線程，

20160827更新
補充method instrument實現細節(jié)(怎么找到suspend call、switch case織入實現、suspend call在try catch塊中，如何處理、什么情況下在suspend call前后可以不織入也能正常運行)

說到協(xié)程(Coroutine)，很多人會想到go,lua,erlang等語言，其實JVM上也有蠻多的實現，如PicoThread,Kilim,Quasar等，本文主要介紹其中一種Coroutine實現 -- Quasar Fiber，Quasar Fiber相對來說流行度更好一些,如果之前沒有接觸過協(xié)程(用戶級輕量級線程)，可以看下What are fibers、Coroutine

那么為什么要使用協(xié)程？
協(xié)程可以用同步的編程方式達到或接近于純異步的性能，而沒有異步帶來的Callback hell，雖然有很多機制或模式解決或解耦callback hell的問題, 但同步的編程方式更容易維護和理解(風格之爭是另外一個話題了，有興趣可以看下akka跟fiber的比較)
相比于os thread，fiber不管在內存資源還是調度上都比前者輕量的多，相對于thread blocking, fiber blocking可以達到比前者大幾個數量級的并發(fā)度，更有效的利用CPU資源(運行fiber的worker線程并沒有block)
具體大家可以看下Why and When use Fiber

好像是個神奇的東西呢，咋實現的
相比于callback接口回調的異步框架，Coroutine這個暫停和恢復在沒有JVM支持下，比較難以理解，是怎么做到的？有沒有什么魔法？其實JVM中Coroutine的實現方式有很多(implementing-coroutines-in-java)，Quasar Fiber則是通過字節(jié)碼修改技術在編譯或載入時織入必要的上下文保存/恢復代碼，通過拋異常來暫停，恢復的時候根據保存的上下文(Continuation),恢復jvm的方法調用棧和局部變量,Quasar Fiber提供相應的Java類庫來實現,對應用有一定的侵入性(很小)

Quasar Fiber 主要有 Instrument + Continuation + Scheduler幾個部分組成

Instrument 做一些代碼的植入，如park前后上下文的保存/恢復等

Continuation 保存方法調用的信息，如局部變量，引用等,用戶態(tài)的stack,這個也是跟akka等基于固定callback接口的異步框架最大的區(qū)別

Scheduler 調度器，負責將fiber分配到具體的os thread執(zhí)行

下面具體介紹下Quasar Fiber的實現細節(jié),最好先閱讀下quasar官方文檔,不是很長

quasar fiber的運行需要織入一些指令，用于調用棧的保存和恢復，quasar提供了三種方式進行織入(AOT、javaagent、ClassLoader)
quasar 會對我們的代碼進行static call-site分析，在必要的地方織入用于保存和恢復調用棧的代碼。
哪些方法需要call site分析?這里需要顯式的mark(jdk9不需要)，如下

方法帶有Suspendable 注解

方法帶有SuspendExecution

方法為classpath下/META-INF/suspendables、/META-INF/suspendable-supers指定的類或接口,或子類
符合上面條件的method,quasar會對其做call site分析,也許為了效率，quasar并沒有對所有方法做call site分析

方法內哪些指令需要instrument(在其前后織入相關指令)?

調用方法帶有Suspendable 注解

調用方法帶有SuspendExecution

調用方法為classpath下/META-INF/suspendables、/META-INF/suspendable-supers指定的類或接口,或子類
主要為了解決第三方庫無法添加Suspendable注解的問題

通過反射調用的方法

動態(tài)方法調用 MethodHandle.invoke

Java動態(tài)代理InvocationHandler.invoke

Java 8 lambdas調用

注意，instrument是在class loading的時候，不是runtime，所以這里call site分析的比如virtual invoke指令是編譯期決定的,這里比較容易犯錯，我總結了如下兩點
1.基于接口或基類編譯的代碼，如果實現類有可能suspend，那么需要在接口或基類中添加suspendable annotation或suspend異常
2.如果實現類會suspend，需要添加suspendable annotation或suspend異常,當然可以把所有實現類都聲明成suspendable（如果方法里找不到suspend的調用，該方法將不被instrument,所以也沒有overhead，盡管這個overhead非常微小）

接下來我們簡單看下quasar instrument都織入了哪些代碼

從上圖可以看出，quasar instrument主要在park()前保存相關的局部變量和pc，再fiber恢復執(zhí)行的時候通過pc(switch case跳轉的程序計數器,非寄存器pc) jump到park()之后的代碼并恢復局部變量，另外在方法調用前后還會push/pop相關的Contiuation

instrument還會對JUC(java.util.concurrent)中的Thread.park，替換成Fiber.park，這樣park to thread就變成park to fiber，所以使用juc的代碼，可以不用修改的跑在Fiber上
quasar在織入代碼的同時，會對處理的類和方法加上Instrumented注解，以在運行期檢查是否Instrumented,Instrumented注解包含了一個suspendableCallSites數組，用來存放方法體內suspendable call的line number
contiuations/stack詳細請看contiuations章節(jié)

不管哪種織入方式，都是通過創(chuàng)建QuasarInstrumentor來處理Class的字節(jié)流
QuasarInstrumentor內部使用ASM來處理Class的字節(jié)流,通過SuspendableClassifier類來判斷是否需要instrument
SuspendableClassifier有兩個子類，分別為DefaultSuspendableClassifier和SimpleSuspendableClassifier
DefaultSuspendableClassifier 掃描classpath下SuspendableClassifier的實現，并且調用其接口判斷是否需要instrument,也會調用SimpleSuspendableClassifier
SimpleSuspendableClassifier 通過/META-INF/suspendables、/META-INF/suspendable-supers判斷

Quasar-core.jar包中suspendable-supers包含java nio及juc lock/future等接口，因為這些接口無法改變簽名，而quasar織入是在編譯或載入時，無法知道具體實現類是否Suspendable,所以需顯式指定

這里是整個Quasar Fiber是實現原理中最為關鍵的地方，也是大家疑問最多的地方,大家有興趣可以看下源代碼，大概1000多行的ASM操作,既可以鞏固JVM知識又能深入原理理解Fiber,這里我不打算引入過多ASM的知識，主要從實現邏輯上進行介紹

InstrumentClass 繼承ASM的ClassVisitor，對Suspendable的方法前后進行織入
InstrumentClass visitEnd中會創(chuàng)建InstrumentMethod,具體織入的指令在InstrumentMethod中處理
結合上面的instrument示例代碼圖，不妨先思考幾個問題

怎么找到suspend call

怎么保存、恢復局部變量,棧幀等

switch case跳轉如何織入

suspend call在try catch塊中，如何處理

什么情況下在suspend call前后可以不織入也能正常運行

1.怎么找到suspend call
InstrumentMethod.callsSuspendables這個方法會遍歷方法的instructions，
如果instruction是method invoke,則判斷是否為suspend call(判斷邏輯見上面章節(jié))
如果instruction為suspend call，則把instrunction序號和source line number分別紀錄到suspCallsBcis及suspCallsSourceLines這兩個數組，供后面邏輯使用

2.switch case跳轉織入是如何實現的
現在我們知道了怎么找到method中的suspend call，那如何把這些suspend calls拆分成instrument示例圖中那樣呢(switch case,pc...)
這個拆分過程在InstrumentMethod.collectCodeBlocks
根據上面計算的suspend call的數組，分配label數組，然后根據pc計數器(詳細見后續(xù)章節(jié))進行跳轉label
label是JVM里用于jump類指令，如(GOTO,IFEQ,TABLESWITCH等)
quasar會把織入的上下文保存恢復指令及代碼原始的指令生成到對應label

3.怎么保存、恢復局部變量,棧幀

- 在方法開始執(zhí)行
1.調用Stack.nextMethodEntry，開啟新的method frame

- 在方法結束執(zhí)行
1.Stack.popMethod, 進行出棧

- 在調用Suspendable方法之前,增加以下邏輯
1.調用Stack.pushMethod 保存棧幀信息
2.依次調用Stack.put保存操作數棧數據
3.依次調用Stack.put保存局部變量

- 在Suspendable方法調用后
1.依次調用Stack.get恢復局部變量
2.依次調用Stack.get恢復操作數棧
  恢復局部變量和操作數棧的區(qū)別是前者在get后調用istore

因為Stack.put有3個參數，所以這里每個put其實是多條jvm指令

aload_x //如果是保存操作數棧，這條指令不需要，因為值已經在操作數棧了
aload_x //load Stack引用
iconst_x //load Stack idx
invokestatic  co/paralleluniverse/fibers/Stack:push (Ljava/lang/Object;Lco/paralleluniverse/fibers/Stack;I)V

/**
   Stack.put會根據不同類型進行處理，Object或Array保存到dataObject[]，其他保存到dataLong[]
**/
public static void push(long value, Stack s, int idx) 
public static void push(float value, Stack s, int idx)
public static void push(double value, Stack s, int idx) 
public static void push(Object value, Stack s, int idx)
public static void push(int value, Stack s, int idx) 

java編譯期可知局部變量表和操作數棧個數，上面put或get依賴這些信息，Stack具體邏輯見后面章節(jié)

4.什么情況下在suspend call前后可以不織入也能正常運行
這里其實是一個優(yōu)化，就是如果method內部只有一個suspend call,且前后沒有如下指令

side effects,包括方法調用，屬性設置

向前jump

monitor enter/exit

那么，quasar并不會對其instrument，也就不需要collectCodeBlocks分析,因為不需要保存、恢復局部變量

5.suspend call在try catch塊中，如何處理
如果suspend call在一個大的try catch中，而我們又需要在中間用switch case切分，似乎是個比較棘手的問題，
所以在織入代碼前，需要對包含suspend call的try catch做切分，將suspend call多帶帶包含在try catch當中,通過ASM MethodNode.tryCatchBlocks.add添加新try catch塊,
quasar先獲取MethodNode的tryCatchBlocks進行遍歷，如果suspend call的指令序號在try catch塊內，那么就需要切分,以便織入代碼

下面介紹下Quasar Fiber中的提供給用戶的類和接口
Strand是quasar里對Thread和Fiber統(tǒng)一的抽象，Fiber是Strand的用戶級線程實現，Thread是Strand內核級線程的實現

Fiber主要有幾下幾個功能

@SuppressWarnings("LeakingThisInConstructor")
public Fiber(String name, FiberScheduler scheduler, int stackSize, SuspendableCallable target)

構造函數主要完成以下幾件事情

設置state為State.NEW

初始化Stack(用于保存fiber調用棧信息,Continuations的具體實現)

校驗target是否Instrumented

將當前fiber封裝成一個可以由scheduler調度的task,默認為FiberForkJoinTask

保存Thread的inheritableThreadLocals和contextClassLoader到Fiber

Fiber.start() 邏輯比較簡單，如下

將fiber state切換到State.STARTED

調用task的submit，提交給scheduler運行
這里默認的為FiberForkJoinScheduler，FiberForkJoinScheduler會提交到內部的ForkJoinPool，并hash到其中一個work queue

fiber scheduler的worker thread從work quere獲取到task，并調用fiber.exec()
fiber.exec()主要步驟如下

cancel timeout task

將Thread的threadlocals、inheritableThreadLocals、contextClassLoader分別與fiber的互換,實現了local to fiber而不是local to thread,這里需要特別注意

所以基于thread local和context classloader的代碼基本上都能運行在fiber上

state = State.RUNNING;

運行業(yè)務邏輯(方法fiber.run())

state = State.TERMINATED;

Fiber暫停時如何處理
fiber task切換有兩種方式，一種是fiber task正常結束, 一種是fiber task拋SuspendExecution

fiber.exec()里會catch SuspendExecution,并交出執(zhí)行權限，具體步驟如下

stack sp = 0; // fiber恢復執(zhí)行需要從最開始的frame恢復

設置fiber狀態(tài) TIMED_WAITING/WAITING

恢復線程的Thread的threadlocals、inheritableThreadLocals、contextClassLoader

調用棧信息已經在park()之前保存到stack中(見instrument章節(jié))，所以這里無需處理

暫停當前fiber的執(zhí)行，并交出執(zhí)行權
fiber task狀態(tài): RUNNABLE -> PARKING -> PARKED

fiber狀態(tài): RUNNING -> WAITING

Fiber.park方法如下，只能在當前fiber調用

static boolean park(Object blocker, ParkAction postParkActions, long timeout, TimeUnit unit) throws SuspendExecution

park主要邏輯如下

設置fiber狀態(tài)

如果設置了timeout，則向FiberTimedScheduler新增ScheduledFutureTask，用于超時檢查

設置fiber.postPark = postParkActions，用于上面exec方法捕獲異常后執(zhí)行

拋異常，移交執(zhí)行權限, 后續(xù)邏輯見exec章節(jié)移交執(zhí)行權限

恢復fiber的執(zhí)行
fiber task狀態(tài): PARKED -> RUNNABLE

fiber狀態(tài): WAITING -> RUNNING

unpark主要也是做兩件事情，一是設置狀態(tài)，二是把fiber task重新submit到scheduler

這里除了手工調用fiber的park,unpark來暫停和恢復fiber外，可以用FiberAsync類來將基于callback的異步調用封裝成fiber blocking，基于fiber的第三方庫comsat就是通過將bio替換成nio，然后再封裝成FiberAsync來實現的,FiberAsync可參考http://blog.paralleluniverse....

fiber運行狀態(tài)由兩部分組成，一個是fiber本身的狀態(tài)，一個是scheduler task的狀態(tài)

fiber狀態(tài)

task狀態(tài),這里以默認的FiberForkJoinTask為例

運行狀態(tài)切換圖

Fiber/Coroutine = Continuation + scheduler可以看出，Continuation在Fiber中是至關重要的，他保存了fiber恢復執(zhí)行時的必要數據，如pc,sp等

Quasar 中Continuation的實現為Stack類

Stack類是quasar 對Fiber Continuation的實現類，該類由quasar instrument調用，以保存和恢復方法調用棧信息

dataLong中每一個long，代表一個method frame,具體定義如下

entry (PC) : 14 bits, 程序計數器，用于swich case跳轉

num slots : 16 bits, 當前method frame占用多少個slot

prev method slots : 16 bits , 上一個method frame占用多少個slot，主要用于pop跳轉

我簡單畫了一個stack例子，其中pc,slots,prev slots用逗號分隔,xxxxxx代表method frame額外的一些數據
下面idx和data分別代碼dataLong的序號和內容

quasar會在instrument階段織入stack/continuation邏輯,具體如下

調用Suspendable方法之前，調用Stack.pushMethod

在Suspendable方法開始， 調用Stack.nextMethodEntry

在Suspendable方法結束， 調用Stack.popMethod

下面我們依次看下這幾個方法的邏輯

Stack.pushMethod

保存當前pc

保存當前slots數量

將下一個frame設置成0L

Stack.nextMethodEntry

將sp移動到當前frame位置

將上一個freme的slots數量設置到當前frame的prev slots字段

Stack.popMethod

按照當前frame的prev slots進行出棧操作

scheduler顧名思義，是執(zhí)行fiber代碼的地方，quasar里用ForkJoinPool做為默認scheduler的線程池，

ForkJoinPool的優(yōu)勢這里不再強調，我們主要關注下Quasar中如何使用ForkJoinPool來調度fiber task

quasar里默認的fiber task scheduler,是JUC ForkJoinPool的wrapper類, ForkJoinPool具體細節(jié)參考ForkJoinPool

//主要屬性
private final ForkJoinPool fjPool;//具體執(zhí)行task的線程池
private final FiberTimedScheduler timer;//監(jiān)控fiber timeout的scheduler
private final Set activeThreads;//保存fiber worker線程

wrapper了fiber的ForkJoinTask

//主要屬性
private final ForkJoinPool fjPool;
private final Fiber fiber;

quasar自實現的timeout scheduler，用于fiber timeout的處理
FiberTimedScheduler默認的work queue為SingleConsumerNonblockingProducerDelayQueue,這是一個多生產單消費的無鎖隊列，內部是一個lock-free的基于skip list的優(yōu)先級鏈表，有興趣可以看下具體的實現,也值得一看
scheduler實現邏輯就比較簡單了，從SingleConsumerNonblockingProducerDelayQueue內部的優(yōu)先級隊列取數據，如果超時了則調用fiber.unpark()

可以通過JMX監(jiān)控fiber的運行狀態(tài)，work queue的堆積,fiber的數量，調度延遲等

comsat在quasar fiber基礎上提供了一些庫，使得跟fiber的集成更加容易，比如與servlet、springboot、drapwizard集成

https://github.com/puniverse/...

COMSAT (or Comsat) is a set of open source libraries that integrate Quasar with various web or enterprise technologies (like HTTP services and database access). With Comsat, you can write web applications that are scalable and performing and, at the same time, are simple to code and maintain.
Comsat is not a web framework. In fact, it does not add new APIs at all (with one exception, Web Actors, mentioned later). It provides implementation to popular (and often, standard) APIs like Servlet, JAX-RS, and JDBC, that can be used efficiently within Quasar fibers.

本人在應用中集成Fiber的時候遇到了不少問題，有些問題也反映了Quasar Fiber不是很完善，這里列出來供大家參考下

由于Quasar字節(jié)碼的處理，ThreadLocal在fiber上調用，實際是"local to Fiber"，而不是"local to Thread", 如果要繞過Fiber取underlying的ThreadLocal，需要用TrueThreadLocal

Netty的PoolByteBufAllocator$PoolThreadLocalCache用到了ThreadLocal，如果運行在fiber上，每次PoolThreadLocalCache.get()都會返回新的PoolThreadCache對象(因為每個請求起一個新的fiber處理,非WebActor模式)

而在PoolThreadCache的構造函數里，會調用ThreadDeathWatcher.watch，把當前線程和PoolThreadLocalCache.get()返回的對象 add到全局ThreadDeathWatcher列表，以便相關線程停止的時候能釋放內存池

但是對于fiber就會有問題了, PoolThreadLocalCache.get()不斷的返回新的對象，然后add到ThreadDeathWatcher，而正真運行fiber的fiber-Fork/JoinPool的worker線程并不會終止，最終導致ThreadDeathWatcher里watcher列表越來越多,導致memory leak,100% full gc time

問題總結：fiber上ThreadLocal返回的對象，逃逸到了全局對象里，而netty只會在真正的線程(os thread)終止時釋放內存

解決辦法: 不使用Netty的對象池,或則mock netty代碼換成用TrueThreadLocal

Quasar這個告警只會在啟動的時候出現，可以忽略，Quasar暫時沒有開關可以swith off

Fabio: As for the first warning, this is the relevant code and it basically means Quasar’s instrumentor couldn’t load a class’ superclass. This can happen because the class is not present or, more likely, because the classloader where that instrumentation code is running doesn’t allow to access it. Adding to that the strange warning about the agent not being running, I think the latter is most probably the case.

If the application runs you can just ignore the warnings (they should be printed only at instrumentation time, so bootstrap/warming stage) or if you can share a minimal project setup I could help having a deeper look to figure out what’s happening exactly.

https://groups.google.com/for...

you can disable the warning by setting a system property with "-Dco.paralleluniverse.fibers.detectRunawayFibers=false”

[quasar] ERROR: Unable to instrument class co/paralleluniverse/fibers/servlet/FiberHttpServlet

From the full logs I see that my setup and your setup are different though: I’m using an embedded Tomcat while you’re running Tomcat as a standalone servlet container and using the agent for instrumentation. Unfortunately the agent doesn’t currently work with standalone Tomcat and you need to use the instrumenting loader.

官方推薦：獨立Tomcat + QuasarWebAppClassLoader 或者 內嵌容器 ＋ Quasar Agent

Quasar不能修改第三方庫為@Suspend, 可以顯式的把相關的方法放入META-INF/suspendables

獨立Tomcat + QuasarWebAppClassLoader UnableToInstrumentException (harmless)

這是個Comsat的bug,但是無害，可以忽略

UnableToInstrumentException: Unable to instrument co/paralleluniverse/fibers/Fiber#onResume()V because of catch for SuspendExecution
google group comsat issues 25

google郵件組
paralleluniverse博客