ベースライン推定のための因果推論手法
sustainacraft Newsletter Issue #6
株式会社sustainacraftの第6回Newsletterです。
第3回ではジャンクカーボンクレジットの問題を紹介しましたが、その原因の一つはベースラインの設定の難しさにありました。ベースラインは「もし森林保全プロジェクトを行わなかったら？」という反実仮想的な状況における森林減少のトレンドを指しますが、現行のクレジット計算の方法論では必ずしも適切に反実仮想の設定が考慮されていません。一方で、そのような設定を考慮した推定方法は、因果推論と呼ばれる分野で豊富な研究の蓄積があり、今後その知見が方法論に活かされていくことが期待されます。
そこで今回は、森林プロジェクトにおけるベースラインの推定を念頭に置いた上で、現在のメジャーなクレジット方法論、および2つの因果推論的手法を紹介し、それぞれの特徴を比較します。これまでのNewsletterと比べるとややテクニカルな部分が多い内容となりますが、現行の方法論の問題点と代替手法、およびそれらの違いを整理する際の参考となれば幸いです。
PickUp Section
VM0007におけるベースライン設定方法
(出所: VM0007 REDD+ Methodology Framework (REDD+MF), v1.6)
REDD+プロジェクトによる森林保全の効果を測るための最もメジャーな方法論の一つがVerraのVM0007です。
VM0007では、プロジェクトエリア (以下PA)におけるベースラインを計算するために、RRD (Reference Region for projecting rate of Deforestation)と呼ばれるエリアを設定し、これを対照群のように扱います。
RRDは、PAと土地・経済・社会環境などがなるべく近くなるように、以下の要因を参照しつつ選びます。
deforestationの主体 (例：小規模農家による違法農地転換)
森林の種類、土壌、標高、傾斜
道路、河川、住居などのインフラの整備状況
その他社会環境：政策、規制、土地の民族構成、ギャングの存在、etc.
例として、ブラジルのアクレ州で行われたValparaiso projectにおいて実際に設定されたPA (緑)とRRD(黄)の図を示します (出所: プロジェクトのPDD)。
RRDの過去の平均deforestation rateを用いてPAにおけるベースラインを計算します。
プロジェクト開始前の過去10-12年のデータを用いて、1) 線形モデル、2) 非線形モデル、3) 過去の単純平均のいずれかを採用します。
まずモデルの利用を検討しますが、線形・非線形どちらも関数形は指定されています (データが5時点分未満の場合は非線形モデルは使えません)。
モデルを用いる場合は特に以下に留意する必要があります。
有意水準5%でモデルが統計的に有意
R2が0.75以上
バイアスがない
以上の条件を満たさない場合は、過去の単純平均をベースラインとして用います。
以下はValparaiso projectにおいて設定されたベースラインの例です。PDDを参考に弊社がオープン森林データを用いて検証した結果も併記しています。
凡例
黄(実線): PDDに記載のRRDにおけるdeforestation rate
青 (実線): PDDを参考に弊社で設定したRRDにおけるdeforestation rate
赤 (実線): 弊社で算出したPAにおけるdeforestation rate
本例では線形・非線形モデルともに上記の精度要件を満たさないため、過去の単純平均が採用されます。
したがって、黄/青の水平方向の点線がベースラインとなり、それと赤線の差に基づいてクレジットが発行されます1。
プロジェクトでの報告値と弊社での検証値では、RRDの場所や使用した森林データに差があるため、完全には一致しません。
それでも、PAにおけるdeforestation rateの実績値と比べると、過大にベースラインが設定されてしまっているように思われます。
この例のように、VM0007ではRRDの選び方によってはプロジェクト開始前の水準と比較してベースラインが過大に設定されてしまうことがあります。
加えてプロジェクト開始後に起きた外的要因の変化をベースラインに反映することもできません。
これらの問題の解決に有用と考えられるのが、第3回Newsletterでも紹介したSynthetic Control Methodです。
SCMを用いたベースライン推定方法
(出所: Abadie et al., 2010)
Synthetic Control Method (SCM)では、RRDの選び方の恣意性を排除するために、RRD内の時系列に適切な重み付けをすることによって仮想的なPAの時系列を構築します2。
SCMの推定ステップを以下に簡単に図示します。
重みは、プロジェクト開始前までのRRDにおける時系列の線形和が、PAの時系列になるべく近くなるように求めます。
deforestation rateの時系列のみでなく、共変量も含めたベクトルが近くなるように推定します。これにより交絡要因が調整され、適切な比較が可能になります。
求めた重みを用いて、プロジェクト開始後のRRDにおける時系列の線形和としてPAのベースラインを推定します。
数式で書くと以下のようになります。
x_jはエリアjにおける共変量をまとめたベクトル、y_{j,t}はエリアjにおける時点tのdeforestation rate、wは各地点に乗じる重みをまとめたベクトル、T_0はプロジェクト開始時点です。
時点t(>T0)におけるプロジェクト効果は、推定した重みを用いて以下で推定します。
Abadie et al. (2010)では、適切な条件の下で、このように求めたベースラインに不偏性がある (=期待値としてはバイアスの無い推定が可能)ことも示しています。
SCMの強みとして以下のような点が挙げられます。
共変量が調整がされるため、プロジェクトの効果のみを適切に抽出できる。
プロジェクト開始前後で実績値から連続的に変化するようにベースラインが推定される (VM0007では、Valparaisoの例のように、プロジェクト前の実績値から大きく外れたベースラインとなる可能性がある)。
プロジェクト以外の外的要因の影響も (RRDにもそれらが影響していれば)ベースラインに反映される。
重みを自動的に設定するため、RRDの選び方の恣意性を減らすことができる。
一方で、弱みとしては以下のような点が挙げられます。
実績値を用いて計算を行うため、プロジェクト開始前のベースライン予測ができず、事後的な評価にしか使えない。
第3回Newsletterでも紹介した通り、ジャンクカーボンクレジット批判への対処という点では、上記のSCMの強みは魅力的です。
一方で、新たなプロジェクトの組成や投資を検討する際には、「今後プロジェクトがどの程度クレジットを生む可能性があるのか？」という予測の観点も重要となりますが、SCMではプロジェクト開始前の予測は困難です。
この点に対して有用と考えられるモデルの一つとして、ベイズ構造時系列モデルを用いた方法を最後に紹介します。
ベイズ構造時系列モデルを用いたベースライン推定方法
(出所: Brodersen et al., 2015)
ベイズ構造時系列モデル (BSTS: Bayesian Structural Time-Series Model)を用いた方法はBrodersenらGoogleのチームにより提案されました。
Rの{CausalImpact}パッケージとして実装されていることでも有名なモデルです。以下、簡単のためBSTSモデルと表記します3。
基本的なアイディアはSCMと同様です。プロジェクト開始前の時系列に注目し、RRD内の複数の時系列を用いてPAの時系列を説明するようなモデルを学習した後、それをプロジェクト開始後のRRDの時系列に適用することでPAのベースラインを推定します。
SCMと異なるのは、PAの時系列、およびそれとRRDの時系列をつなぐ関係式に状態空間モデルを用いる点です。
数式での表現は以下のようになります。
ベースライン設定の文脈では、y_tはPAにおけるdeforestation rate, Z_tはRRDにおける複数のdeforestation rateをまとめたベクトル、α_tは重みベクトルです。
プロジェクト開始前までのデータで学習してパラメータを推定し、プロジェクト開始後のRRDの時系列(Z_t)に適用することでPAのベースライン推定値を得ます。
BSTSの強みとしては以下のような点が挙げられます。
プロジェクト開始前の段階で、プロジェクト開始後のベースラインの予測を行うことができる。
元論文ではSCMでの重みに相当する変数 (α_t)にモデルを入れていますが、ここを重みではなくRRDの時系列 (Z_t)に対するモデルに書き換えることで、プロジェクト開始前での予測を行うことができると考えられる。
プロジェクト開始前であれば単純な時系列予測となるが、プロジェクト開始後でRRDの時系列が利用可能な状態になれば条件付き期待値による評価ができるため、予測と事後評価を統一的な枠組みで行うことができる。
ベイズ事後分布を用いて容易に推定値の不確実性を評価できる。
Spike-and-Slab priorを置くことで、RRDの多数の時系列の中から説明力の高いものを自動的に選択することができる。
一方で、弱みとしては以下の点が考えられます。
共変量の調整メカニズムが明示的に入っていないため、RRD選択の段階で何かしらの調整を行わないと適切な推定値とならない可能性がある。
プロジェクト開始前の時系列でのPAとRRDの関係を直接的にモデル化するため、開始後に発生した外的要因の影響を反映しにくい。
各手法の比較
今回紹介した３つの手法の特徴を以下の表にまとめました。
紹介した２つの因果推論手法のうち、どちらか一方が優れているというわけではありませんが、それぞれ既存の方法論の問題点を部分的にクリアできることが分かります。
なお、これらの手法に共通している「２つの時系列の差を取って因果効果とする」という方法は、政策効果などの研究で頻繁に用いられるDID (Difference-In-Differences)法の拡張として理解することが出来ます。
しかし、DID推定量が統計的妥当性を持つためにはいくつかの仮定が必要で、そのうちの一つが並行トレンドの仮定です。ここでの文脈で言うと「プロジェクトを行った場合の効果は、PAでもRRDでも変わらない」というものです。
しかし、(似ている地域を選んでいるとはいえ) PAとRRDで土地・環境・経済要因が異なれば当然プロジェクトの効果も異なるため、この仮定は満たされていない可能性も高いです。
SCMでは共変量の調整を考慮に入れて重みを計算することでこの仮定を緩和していますが、VM0007やBSTSではそれが十分には考慮されていないため、プロジェクトの実現値と推定したベースラインの差が適切な推定値にならない可能性もあります。
このように、適切な効果検証のためにはプロジェクト以外の交絡要因が調整されているかを慎重に確認する必要があります。因果推論の方法はそのような問題に対してシステマティックに対処する枠組みの一つであり、カーボンクレジットの方法論を発展させる上でも、重要な示唆を与えると思われます。
News from sustainacraft
VivaTechnology Paris 2022に参加しました (2022/06/15-17)
06/15はフランスの通信会社オレンジのブース、06/16-17はJETROのジャパンパビリオンのブースに出展させて頂きました。
第三者割当増資の実施
三菱UFJフィナンシャル・グループの三菱UFJイノベーション・パートナーズ2号投資事業組合を引受先とした第三者割当増資を実施しました
参考: 当社のリリース、MUIP様のプレスリリース
日本経済新聞電子版、日本経済新聞紙面(7/6)に掲載いただきました
電子版タイトル:カーボンオフセット検証事業参入へ サステナクラフト
紙面タイトル: 排出CO2を相殺、実現を検証
Closing remarks
今回のNewsletterでは方法論・推定手法を一般的な形で紹介しましたが、実際のプロジェクトではそれぞれdeforestationの背景や環境・政策が異なるため、手法をナイーブに適用するだけでは不十分であるケースが多いです。それぞれのプロジェクトの特性を理解し、丁寧に要素を分解してゆくことが重要だと思われます。
REDD+のプロジェクトがどのように設計されているか、およびその結果がどうであったかについては、それぞれPDDやValidation reportという形で公開されており、誰でもアクセス可能です。実際のプロジェクトの運用をイメージしたりプロジェクトごとの特性を理解する上でもとても有用ですので、ご関心のある方は是非一度目を通してみてはいかがでしょうか。
以上、sustainacraftのNewsletter #6でした。このNewsletterでは、隔週から月1回程度の頻度でNbSに関する日本語での情報発信をしていく予定です。
当社の会社概要資料はこちらで公開しておりますので、ご参照ください。
Disclaimers:
This newsletter is not financial advice. So do your own research and due diligence.
この差がそのままクレジットになるのではなく、森林減少量から炭素蓄積量変化に変換する過程で更に複数の処理が必要です。
森林プロジェクトへの応用を念頭に内容を一部改変しているため、元論文のモデル・論点とはやや異なる記載になっている部分があります。
以下では森林プロジェクトへの応用を念頭に、元論文から内容を変えて記載しています。特に、元論文では介入の影響を受けていないなどの適切な条件を満たす共変量の時系列を用いて、介入群の結果変数の時系列を説明することを想定していますが、ここでは共変量ではなくRRD(対照群)のdeforestation rateでPA(介入群)のそれを説明するモデルを念頭に置いています。