Bergerak rata rata stasioner

Sama seperti judulnya, inilah masalah saya: Biarkan Zt menjadi urutan yang sangat stasioner. Tentukan Xt Zt theta Z. Tunjukkan bahwa urutan ini juga benar-benar stasioner. Heres masalah saya. Definisi saya tentang stasioner sangat ketat adalah bahwa kita memiliki distribusi (Zt, Z, titik, Z) tidak bergantung pada t semua m dalam mathbb dan semua h dalam mathbb. Tapi bagaimana saya melihatnya (Xt, X, titik, X) (Zt theta Z, titik, Z theta Z) yang akan bebas dari t-1 dengan cara Zt diasumsikan. Bagaimana kita menggeser ini ke kemandirian t bertanya 12 Februari 13 di 17:34 Saya tidak berpikir bahwa itu adalah masalah yang nyata: kemerdekaan dari t-1 sama dengan kemerdekaan dari t dan Anda melihatnya dengan jelas dengan menulisnya secara lebih jelas: untuk H1 Anda hanya mendapatkan Zttheta Z sim Z theta Ztquadforall tinmathbb Z yang sama forall (t-1) inmathbb Z. Jangan bingung dengan ketergantungan variabel, stationarity adalah tentang distribusinya sebenarnya serie konstan memiliki variabel dependen yang distribusinya. Tidak tergantung t. Atau apakah saya salah memahami pertanyaan Anda Pengenalan Singkat tentang Seri Waktu Modern Definisi Suatu deret waktu adalah fungsi acak x t dari sebuah argumen t pada himpunan T. Dengan kata lain, deret waktu adalah keluarga dari variabel acak. X t-1 X t. X t1. Sesuai dengan semua elemen di himpunan T, di mana T seharusnya merupakan rangkaian tak terhitung dan tak terbatas. Definisi Suatu deret waktu yang teramati t t e T o T dianggap sebagai bagian dari satu realisasi fungsi acak x t. Satu set kemungkinan realisasi yang mungkin telah diamati disebut ansambel. Untuk menempatkan hal-hal lebih ketat, deret waktu (atau fungsi acak) adalah fungsi nyata x (w, t) dari dua variabel w dan t, dimana wW dan t T. Jika kita memperbaiki nilai w. Kita memiliki fungsi nyata x (t w) dari waktu t, yang merupakan realisasi deret waktu. Jika kita memperbaiki nilai t, maka kita memiliki variabel acak x (w t). Untuk suatu titik waktu tertentu ada distribusi probabilitas lebih dari x. Jadi fungsi acak x (w, t) dapat dianggap sebagai salah satu keluarga variabel acak atau sebagai keluarga realisasi. Definisi Kita mendefinisikan fungsi distribusi dari variabel acak dengan t 0 sebagai P o) x (x). Demikian pula kita dapat mendefinisikan distribusi bersama untuk n variabel acak Poin-poin yang membedakan analisis deret waktu dari analisis statistik biasa adalah sebagai berikut (1) Ketergantungan di antara pengamatan pada titik kronologis yang berbeda pada waktunya memainkan peran penting. Dengan kata lain, urutan pengamatan itu penting. Dalam analisis statistik biasa diasumsikan bahwa pengamatan saling independen. (2) Domain t tidak terbatas. (3) Kita harus membuat kesimpulan dari satu realisasi. Realisasi variabel acak dapat diamati hanya sekali pada setiap titik waktu. Dalam analisis multivariat kita memiliki banyak pengamatan terhadap sejumlah variabel yang terbatas. Perbedaan kritis ini mengharuskan asumsi adanya stasioneritas. Definisi Fungsi acak x t dikatakan benar-benar stasioner jika semua fungsi distribusi berdimensi hingga yang menentukan x t tetap sama walaupun seluruh kelompok titik t 1. T 2. T n bergeser sepanjang sumbu waktu. Artinya, jika untuk bilangan bulat t 1. T 2. T n dan k. Secara grafis, seseorang dapat membayangkan realisasi rangkaian stasioner yang ketat karena tidak hanya memiliki tingkat yang sama dalam dua interval yang berbeda, namun juga fungsi distribusi yang sama, sampai pada parameter yang menentukannya. Asumsi stasioneritas membuat hidup kita lebih sederhana dan lebih murah. Tanpa stasioneritas, kita harus sering mencicipi proses ini pada setiap titik waktu untuk membangun karakterisasi fungsi distribusi dalam definisi sebelumnya. Stationarity berarti bahwa kita dapat membatasi perhatian kita pada beberapa fungsi numerik yang paling sederhana, yaitu saat-saat distribusi. Saat-saat sentral diberikan oleh Definisi (i) Nilai rata-rata dari deret waktu t adalah momen orde pertama. (Ii) Fungsi autocovariance dari t adalah momen kedua tentang mean. Jika ts maka Anda memiliki varians x t. Kita akan menggunakan untuk menunjukkan autocovariance dari rangkaian stasioner, di mana k menunjukkan perbedaan antara t dan s. (Iii) Fungsi autokorelasi (ACF) t adalah Kami akan menggunakan untuk menunjukkan autokorelasi dari rangkaian stasioner, di mana k menunjukkan perbedaan antara t dan s. (Iv) autokorelasi parsial (PACF). F kk Adalah korelasi antara z t dan z tk setelah menghilangkan ketergantungan linier mereka pada variabel intervening z t1. Z t2 Z tk-1 Salah satu cara sederhana untuk menghitung autokorelasi parsial antara z t dan z tk adalah dengan menjalankan dua regresi kemudian menghitung korelasi antara dua vektor residual. Atau, setelah mengukur variabel sebagai penyimpangan dari meannya, autokorelasi parsial dapat ditemukan sebagai koefisien regresi LS pada z t pada model dimana titik di atas variabel menunjukkan bahwa itu diukur sebagai penyimpangan dari meannya. (V) Persamaan Yule-Walker memberikan hubungan penting antara autokorelasi parsial dan autokorelasi. Kalikan kedua sisi persamaan 10 dengan z tk-j dan ambillah ekspektasi. Operasi ini memberi kita persamaan perbedaan berikut dalam autocovariances atau, dalam hal autokorelasi Representasi yang tampaknya sederhana ini benar-benar merupakan hasil yang hebat. Yaitu untuk j1,2. K kita dapat menulis sistem persamaan penuh, yang dikenal sebagai persamaan Yule-Walker, Dari aljabar linier Anda tahu bahwa matriks r adalah pangkat penuh. Oleh karena itu dimungkinkan untuk menerapkan aturan Cramser berturut-turut untuk k1,2. Untuk memecahkan sistem autokorelasi parsial. Tiga yang pertama adalah Kami memiliki tiga hasil penting pada seri stasioner yang ketat. Implikasinya adalah kita bisa menggunakan realisasi berurutan dari urutan untuk memperkirakan meannya. Kedua. Jika t benar-benar stasioner dan E t 2 lt maka Implikasinya adalah bahwa autocovariance hanya bergantung pada perbedaan antara t dan s, bukan kronologisnya pada waktunya. Kita bisa menggunakan sepasang interval dalam perhitungan autocovariance selama waktu di antara keduanya konstan. Dan kita bisa menggunakan realisasi data yang terbatas untuk memperkirakan autocovariances. Ketiga, fungsi autokorelasi dalam hal stasioneritas ketat diberikan oleh Implikasinya adalah bahwa autokorelasi hanya bergantung pada selisih antara t dan s juga, dan sekali lagi dapat diperkirakan dengan realisasi data yang terbatas. Jika tujuan kita adalah untuk memperkirakan parameter yang deskriptif tentang kemungkinan realisasi dari deret waktu, maka mungkin stasioneritasnya terlalu ketat. Misalnya, jika mean dan kovariansi x t konstan dan tidak bergantung pada titik kronologis, maka mungkin tidak penting bagi kita bahwa fungsi distribusi sama untuk interval waktu yang berbeda. Definisi Fungsi acak bersifat stasioner dalam arti luas (atau lemah stasioner, atau stasioner dalam pengertian Khinchin, atau stasioner kovarian) jika m 1 (t) m dan m 11 (t, s). Strukturalitas yang ketat tidak dengan sendirinya menyiratkan stasioneritas yang lemah. Lemahnya stasioneritas tidak menyiratkan stasioneritas yang ketat. Strukturalitas yang ketat dengan E t 2 ini berarti lemahnya stasioneritas. Teorema ergodik berkaitan dengan pertanyaan tentang kondisi yang diperlukan dan cukup untuk membuat kesimpulan dari satu realisasi deret waktu. Pada dasarnya, ini bermuara pada asumsi lemahnya stasioneritas. Teorema Jika t lemah stasioner dengan mean m dan fungsi kovariansi, maka untuk itu, untuk setiap gt 0 dan h gt 0 ada beberapa nomor T o sehingga untuk semua T gt T o. Jika dan hanya jika kondisi yang diperlukan dan memadai ini adalah bahwa autocovariances mati, dalam hal ini mean sampel adalah estimator yang konsisten untuk mean populasi. Konsekuensi Jika t lemah dengan E tk xt 2 lt untuk setiap t, dan E tk xtx tsk x ts tidak bergantung pada t untuk bilangan bulat apa pun, maka jika dan hanya jika jika Konsekuensi dari konsekuensi sebenarnya adalah asumsi bahwa xtx tk adalah Lemah stasioner Teorema Ergodik tidak lebih dari sekedar hukum dalam jumlah besar bila pengamatannya berkorelasi. Orang mungkin bertanya pada saat ini tentang implikasi praktis dari stasioneritas. Penerapan teknik time series yang paling umum adalah pemodelan data makroekonomi, baik teori maupun atheoretik. Sebagai contoh yang pertama, seseorang mungkin memiliki model multiplier-accelerator. Agar model menjadi stasioner, parameter harus memiliki nilai tertentu. Uji model ini kemudian mengumpulkan data yang relevan dan memperkirakan parameternya. Jika perkiraan tidak konsisten dengan stasioneritas, maka seseorang harus memikirkan kembali model teoritis atau model statistik, atau keduanya. Kami sekarang memiliki cukup mesin untuk mulai berbicara tentang pemodelan data seri waktu univariat. Ada empat langkah dalam prosesnya. 1. Membangun model dari teori dan pengalaman pengetahuan 2. mengidentifikasi model berdasarkan data (seri yang diamati) 3. Memasangkan model (memperkirakan parameter model) 4. memeriksa model Jika pada langkah keempat kita tidak Puas kita kembali ke langkah pertama. Prosesnya berulang-ulang sampai pemeriksaan dan penilaian lebih lanjut tidak menghasilkan perbaikan lebih lanjut dalam hasil. Diagramatik Definisi Beberapa operasi sederhana meliputi: Operator backshift Bx tx t-1 Operator depan Fx tx t1 Operator perbedaan 1 - B xtxt - x t-1 Operator perbedaan berperilaku dengan mode yang konsisten dengan konstanta dalam deret tak terbatas. . Artinya, kebalikannya adalah batas jumlah tak terbatas. Yakni, -1 (1-B) -1 1 (1-B) 1BB 2. Operator gabungan S -1 Karena kebalikan dari operator perbedaan, operator gabungan berfungsi untuk menyusun penjumlahan. BANGUNAN MODEL Pada bagian ini kami menawarkan tinjauan singkat tentang model deret waktu yang paling umum. Berdasarkan pengetahuan tentang proses penghasil data, seseorang memilih kelas model untuk identifikasi dan estimasi dari kemungkinan yang mengikutinya. Definisi Misalkan Ex t m independen dari t. Model seperti dengan karakteristik disebut model autoregresif dari urutan p, AR (p). Definisi Jika suatu variabel dependen waktu (proses stokastik) t memenuhi maka t dikatakan memenuhi sifat Markov. Pada LHS, harapan dikondisikan pada sejarah tak terbatas x t. Di RHS itu dikondisikan hanya pada sebagian dari sejarah. Dari definisi tersebut, model AR (p) terlihat memuaskan properti Markov. Dengan menggunakan operator backshift kita dapat menulis model AR kita sebagai Teorema Suatu kondisi yang diperlukan dan cukup untuk model AR (p) menjadi stasioner adalah bahwa semua akar polinomial berada di luar lingkaran unit. Contoh 1 Perhatikan AR (1) Akar satunya dari 1 - f 1 B 0 adalah B 1 f 1. Kondisi untuk stationarity mensyaratkan hal itu. Jika kemudian seri yang diamati akan nampak sangat hingar bingar. Misalnya. Pertimbangkan di mana istilah white noise memiliki distribusi normal dengan mean nol dan varians dari satu. Hasil observasi beralih dengan hampir setiap pengamatan. Jika, di sisi lain, maka seri yang diamati akan jauh lebih mulus. Pada seri ini observasi cenderung berada di atas 0 jika pendahulunya berada di atas nol. Perbedaan dari e t adalah s e 2 untuk semua t. Varians dari x t. Bila sudah nol berarti, diberikan oleh Karena seri itu stasioner kita bisa menulis. Oleh karena itu, fungsi autocovariance dari rangkaian AR (1) adalah, seandainya tanpa kehilangan generalitas m 0 Untuk melihat seperti apa ini dari segi parameter AR, kita akan menggunakan fakta bahwa kita dapat menulis xt sebagai berikut Mengalikan dengan x Tk dan mengambil ekspektasi Perhatikan bahwa autocovariances mati saat k tumbuh. Fungsi autokorelasi adalah autocovariance dibagi dengan varians istilah white noise. Atau, . Dengan menggunakan formula Yule-Walker sebelumnya untuk autokorelasi parsial yang kita miliki Untuk AR (1) autokorelasi mati secara eksponensial dan autokorelasi parsial menunjukkan lonjakan pada satu lag dan nol setelahnya. Contoh 2 Perhatikan AR (2) Polinomial yang terkait pada operator lag adalah Akar dapat ditemukan dengan menggunakan rumus kuadrat. Akarnya adalah Bila akar itu nyata dan akibatnya seri akan menurun secara eksponensial sebagai respons terhadap kejutan. Bila akarnya rumit dan seri akan muncul sebagai gelombang tanda teredam. Teorema stasioneritas membebankan kondisi berikut pada koefisien AR Autocovariance untuk proses AR (2), dengan mean nol, Membagi melalui varians xt memberikan fungsi autokorelasi Karena kita dapat menulis yang serupa untuk autokorelasi kedua dan ketiga yang lain. Autokorelasi dipecahkan secara rekursif. Pola mereka diatur oleh akar persamaan diferensial linier orde kedua Jika akarnya nyata maka autokorelasi akan menurun secara eksponensial. Bila akarnya rumit, autokorelasi akan muncul sebagai gelombang sinus yang teredam. Dengan menggunakan persamaan Yule-Walker, autokorelasi parsial adalah Sekali lagi, autokorelasi padam perlahan. Autokorelasi parsial di sisi lain cukup khas. Ini memiliki lonjakan pada satu dan dua kelambatan dan nol setelahnya. Teorema Jika x t adalah proses AR (p) stasioner maka dapat dituliskan secara ekivalen sebagai model filter linier. Artinya, polinom di operator backshift bisa terbalik dan AR (p) ditulis sebagai moving average dari pesanan tak terbatas. Contoh Misalkan z t adalah proses AR (1) dengan mean nol. Apa yang benar untuk periode sekarang juga harus benar untuk periode sebelumnya. Jadi dengan substitusi rekursif kita dapat menulis Square kedua sisi dan mengambil ekspektasi sisi kanan lenyap seperti k sejak f lt 1. Oleh karena itu jumlah konvergen ke z t dalam mean kuadrat. Kita dapat menulis ulang model AR (p) sebagai filter linier yang kita tahu bersifat stasioner. Fungsi Autokorelasi dan Autokorelasi Parsial Umumnya Misalkan rangkaian stasioner z t dengan mean nol diketahui bersifat autoregresif. Fungsi autokorelasi AR (p) ditemukan dengan mengambil ekspektasi dan pembagian melalui varians z t Ini memberitahu kita bahwa r k adalah kombinasi linear dari autokorelasi sebelumnya. Kita bisa menggunakan ini dalam menerapkan aturan Cramster menjadi (i) dalam menyelesaikan fkk. Secara khusus kita dapat melihat bahwa ketergantungan linier ini akan menyebabkan f kk 0 untuk k gt p. Fitur khas dari seri autoregressive ini akan sangat berguna ketika menyangkut identifikasi seri yang tidak diketahui. Jika Anda memiliki MathCAD atau MathCAD Explorer maka Anda dapat melakukan eksperimen interactivley dengan beberapa ide AR (p) yang disajikan di sini. Model Bergerak Rata-rata Perhatikan model dinamis di mana rangkaian minat bergantung hanya pada sebagian aspek sejarah istilah white noise. Secara diagram ini dapat digambarkan sebagai Definisi Misalkan t adalah urutan yang tidak berkorelasi dari i. i.d. Variabel acak dengan mean nol dan varians terbatas. Kemudian proses rata-rata order bergerak q, MA (q), diberikan oleh Teorema: Proses moving average selalu stasioner. Bukti: Daripada memulai dengan bukti umum, kita akan melakukannya untuk kasus tertentu. Misalkan z t adalah MA (1). Kemudian . Tentu saja, t memiliki mean nol dan varian terbatas. Rata-rata z t selalu nol. Autocovariances akan diberikan oleh Anda dapat melihat bahwa mean dari variabel acak tidak bergantung pada waktu dengan cara apapun. Anda juga bisa melihat bahwa autocovariance hanya bergantung pada offset s, bukan di mana di seri yang kita mulai. Kita bisa membuktikan hasil yang sama lebih umum dengan memulai dengan, yang memiliki representasi rata-rata pergerakan alternatif. Pertimbangkan dulu varians dari z t. Dengan substitusi rekursif Anda dapat menunjukkan bahwa ini sama dengan jumlah yang kita ketahui sebagai rangkaian konvergen sehingga variansnya terbatas dan tidak tergantung waktu. Kovarians adalah, misalnya, Anda juga dapat melihat bahwa kovarian otomatis hanya bergantung pada titik relatif pada waktunya, bukan pada kronologis waktu. Kesimpulan kami dari semua ini adalah bahwa proses MA () tidak bergerak. Untuk general MA (q) proses fungsi autokorelasi diberikan oleh fungsi autokorelasi parsial akan mati dengan lancar. Anda dapat melihat ini dengan membalik proses untuk mendapatkan proses AR (). Jika Anda memiliki MathCAD atau MathCAD Explorer maka Anda dapat melakukan eksperimen secara interaktif dengan beberapa gagasan MA (q) yang disajikan di sini. Mixed Autoregressive - Model Bergerak Rata-rata Definisi Misalkan t adalah urutan yang tidak berkorelasi dari i. i.d. Variabel acak dengan mean nol dan varians terbatas. Kemudian proses order rata-rata autoregresif, bergerak rata-rata (p, q), ARMA (p, q), diberikan oleh Akar operator autoregresif semuanya berada di luar lingkaran unit. Jumlah yang tidak diketahui adalah pq2. P dan q sudah jelas. 2 meliputi tingkat proses, m. Dan varians istilah white noise, sa 2. Misalkan kita menggabungkan representasi AR dan MA kita sehingga model dan koefisien dinormalisasi sehingga bo 1. Maka representasi ini disebut ARMA (p, q) jika Akar (1) semua terletak di luar lingkaran unit. Anggaplah bahwa y t diukur sebagai penyimpangan dari mean sehingga kita bisa menjatuhkan o. Maka fungsi autocovariance diturunkan dari jika jgtq maka istilah MA drop out dalam harapan untuk memberi Artinya, fungsi autocovariance terlihat seperti AR biasa untuk kelambatan setelah q mereka mati dengan lancar setelah q, tapi kita tidak bisa mengatakan bagaimana 1,2,133, Q akan terlihat Kita juga bisa memeriksa PACF untuk kelas model ini. Model dapat ditulis sebagai Kita dapat menulis ini sebagai proses MA (inf) yang menunjukkan bahwa PACF mati perlahan. Dengan beberapa aritmatika, kita bisa menunjukkan bahwa ini terjadi hanya setelah lonjakan p pertama disumbang oleh bagian AR. Hukum Empiris Sebenarnya, rangkaian waktu stasioner dapat ditunjukkan oleh p 2 dan q 2. Jika bisnis Anda memberikan perkiraan yang baik terhadap kenyataan dan kebaikan yang sesuai adalah kriteria Anda, maka model yang hilang lebih disukai. Jika minat Anda adalah efisiensi prediktif maka model pelit itu lebih diutamakan. Bereksperimenlah dengan gagasan ARMA yang disajikan di atas dengan lembar kerja MathCAD. Autoregressive Mengintegrasikan Moving Average Model MA filter AR filter Mengintegrasikan filter Terkadang proses, atau seri, kita coba model tidak diam di level. Tapi itu mungkin diam di, katakanlah, perbedaan pertama. Artinya, dalam bentuk aslinya, autocovariances untuk serial ini mungkin tidak terlepas dari kronologis waktu. Namun, jika kita membuat seri baru yang merupakan perbedaan pertama dari seri aslinya, seri baru ini memenuhi definisi stasioneritas. Hal ini sering terjadi pada data ekonomi yang sangat cenderung. Definisi Misalkan z t tidak stasioner, tapi z t - z t-1 memenuhi definisi stasioneritas. Juga, pada, istilah white noise memiliki mean dan varian yang terbatas. Kita bisa menulis model seperti ini dinamakan model ARIMA (p, d, q). P mengidentifikasi urutan operator AR, d mengidentifikasi daya. Q mengidentifikasi urutan operator MA. Jika akar f (B) berada di luar lingkaran satuan maka kita dapat menulis ulang ARIMA (p, d, q) sebagai filter linier. Yaitu. Itu bisa ditulis sebagai MA (). Kami menyimpan diskusi tentang pendeteksian akar unit untuk bagian lain dari catatan kuliah. Pertimbangkan sistem dinamis dengan x t sebagai rangkaian masukan dan y sebagai keluaran seri. Secara diagram kami memiliki Model-model ini adalah analogi diskrit dari persamaan diferensial linier. Kami menganggap hubungan berikut dimana b menunjukkan penundaan murni. Ingat itu (1-B). Dengan membuat substitusi ini model dapat dituliskan Jika koefisien polinomial pada y t dapat terbalik maka model dapat dituliskan sebagai V (B) dikenal sebagai fungsi respon impuls. Kita akan menemukan terminologi ini lagi dalam pembahasan vektor autoregresif kita nanti. Kointegrasi dan koreksi kesalahan model. IDENTIFIKASI MODEL Setelah memutuskan kelas model, seseorang harus mengidentifikasi urutan proses yang menghasilkan data. Artinya, seseorang harus membuat tebakan terbaik mengenai urutan proses AR dan MA yang mengemudikan seri stasioner. Seri stasioner benar-benar ditandai oleh mean dan autocovariances-nya. Untuk alasan analitis, biasanya kita bekerja dengan autokorelasi dan autokorelasi parsial. Dua alat dasar ini memiliki pola unik untuk proses AR dan MA stasioner. Seseorang dapat menghitung perkiraan sampel autokorelasi dan fungsi autokorelasi parsial dan membandingkannya dengan hasil tabulasi untuk model standar. Contoh Autocovariance Function Contoh Fungsi Autokorelasi Autokorelasi parsial sampel akan Menggunakan autokorelasi dan autokorelasi parsial cukup sederhana. Misalkan kita memiliki seri z t. Dengan mean nol, yaitu AR (1). Jika kita menjalankan regresi z t2 pada z t1 dan z t kita akan berharap untuk menemukan bahwa koefisien pada z t tidak berbeda dari nol karena autokorelasi parsial ini seharusnya nol. Di sisi lain, autokorelasi untuk seri ini seharusnya menurun secara eksponensial untuk meningkatkan kelambatan (lihat contoh AR (1) di atas). Misalkan seri itu benar-benar bergerak rata-rata. Autokorelasi harus nol di mana-mana tapi pada lag pertama. Autokorelasi parsial harus mati secara eksponensial. Bahkan dari kegilaan kita yang sekilas melalui dasar analisis deret waktu jelas bahwa ada dualitas antara proses AR dan MA. Dualitas ini dapat dirangkum dalam tabel berikut ini. Model OMA Moving Average ARMA (p, q) untuk Analisis Seri Waktu - Bagian 1 Pada artikel terakhir kita melihat jalan acak dan white noise sebagai model deret waktu dasar untuk instrumen keuangan tertentu, seperti Sebagai ekuitas harian dan harga indeks ekuitas. Kami menemukan bahwa dalam beberapa kasus, model jalan acak tidak cukup untuk menangkap perilaku autokorelasi penuh instrumen, yang memotivasi model yang lebih canggih. Dalam beberapa artikel berikutnya kita akan membahas tiga jenis model, yaitu model urutan orisinil Autoregressive (AR) p, model Moving Average (MA) dari pesanan q dan model Order Autogressive Moving Average (ARMA) orde p , Q. Model ini akan membantu kita mencoba menangkap atau menjelaskan lebih banyak korelasi serial yang ada dalam instrumen. Pada akhirnya mereka akan memberi kita sarana untuk meramalkan harga di masa depan. Namun, sudah diketahui bahwa deret waktu keuangan memiliki properti yang dikenal sebagai volatility clustering. Artinya, volatilitas instrumen tidak konstan pada waktunya. Istilah teknis untuk perilaku ini dikenal sebagai heteroskedastisitas bersyarat. Karena model AR, MA dan ARMA tidak heteroskedastisitas kondisional, artinya mereka tidak memperhitungkan pengelompokan volatilitas, pada akhirnya kita memerlukan model prediksi yang lebih canggih. Model seperti itu termasuk model Autertressive Conditional Heteroskedastic (ARCH) dan model Generalised Autogressive Conditional Heteroskedastic (GARCH), dan banyak variannya. GARCH sangat terkenal di bidang keuangan kuantitatif dan terutama digunakan untuk simulasi time series keuangan sebagai alat untuk memperkirakan risiko. Namun, seperti semua artikel QuantStart lainnya, saya ingin membangun model ini dari versi yang lebih sederhana sehingga kita dapat melihat bagaimana setiap varian baru mengubah kemampuan prediksi kita. Terlepas dari kenyataan bahwa AR, MA dan ARMA adalah model rangkaian waktu yang relatif sederhana, model ini menjadi dasar model yang lebih rumit seperti Autoregressive Integrated Moving Average (ARIMA) dan keluarga GARCH. Oleh karena itu penting bagi kita untuk mempelajarinya. Salah satu strategi trading pertama kami dalam seri seri time series adalah menggabungkan ARIMA dan GARCH untuk memprediksi harga n periode sebelumnya. Namun, kita harus menunggu sampai kita membahas baik ARIMA maupun GARCH secara terpisah sebelum kita menerapkannya pada strategi nyata Bagaimana Kita Akan Berjalan Pada artikel ini kita akan menggariskan beberapa konsep rangkaian waktu baru yang dibutuhkan dengan baik untuk metode yang tersisa, yaitu ketat. Stationarity dan kriteria informasi Akaike (AIC). Setelah konsep baru ini, kita akan mengikuti pola tradisional untuk mempelajari model time series baru: Dasar Pemikiran - Tugas pertama adalah memberikan alasan mengapa tertarik dengan model tertentu, sebagai quants. Mengapa kita memperkenalkan model deret waktu Apa efek yang dapat ditangkap Apa yang kita dapatkan (atau hilang) dengan menambahkan kompleksitas ekstra Definisi - Kita perlu memberikan definisi matematis penuh (dan notasi terkait) dari model deret waktu untuk meminimalkan Ambiguitas apapun Properti Pesanan Kedua - Kami akan membahas (dan dalam beberapa kasus menurunkan) sifat pesanan kedua dari model deret waktu, yang mencakup mean, varians dan fungsi autokorelasinya. Correlogram - Kami akan menggunakan properti pesanan kedua untuk merencanakan correlogram realisasi model deret waktu untuk memvisualisasikan perilakunya. Simulasi - Kami akan mensimulasikan realisasi model deret waktu dan kemudian menyesuaikan model dengan simulasi ini untuk memastikan kami memiliki implementasi yang akurat dan memahami proses pemasangannya. Data Keuangan Riil - Kami akan menyesuaikan model time series dengan data keuangan riil dan mempertimbangkan correlogram residual untuk melihat bagaimana model memperhitungkan korelasi serial pada seri aslinya. Prediksi - Kami akan membuat prakiraan n-langkah ke depan dari model deret waktu untuk realisasi tertentu agar menghasilkan sinyal perdagangan. Hampir semua artikel yang saya tulis pada model time series akan jatuh ke dalam pola ini dan akan memungkinkan kita untuk dengan mudah membandingkan perbedaan antara masing-masing model saat kita menambahkan kompleksitas lebih lanjut. Akan mulai dengan melihat stasioner ketat dan AIC. Strictly Stationary Kami menyediakan definisi stasioneritas dalam artikel tentang korelasi serial. Namun, karena kita akan memasuki ranah banyak seri keuangan, dengan berbagai frekuensi, kita perlu memastikan bahwa model (akhirnya) kita memperhitungkan volatilitas bervariasi dari rangkaian ini. Secara khusus, kita perlu mempertimbangkan heteroskedastisitasnya. Kami akan menemukan masalah ini saat kami mencoba menyesuaikan model tertentu dengan seri historis. Umumnya, tidak semua korelasi serial pada residual model pas dapat dipertanggungjawabkan tanpa memperhitungkan heteroskedastisitas. Ini membawa kita kembali ke stasioneritas. Seri tidak stasioner dalam variannya jika memiliki volatilitas bervariasi, menurut definisinya. Ini memotivasi definisi stasioner yang lebih ketat, yaitu stasioneritas yang ketat: Seri Strictly Seriesary Model time series, sangat ketat jika distribusi statistik gabungan dari elemen x, ldot, x sama dengan xm, ldot, xm, Forall ti, m. Kita bisa memikirkan definisi ini hanya karena distribusi deret waktu tidak berubah untuk setiap pergeseran abstrak dalam waktu. Secara khusus, mean dan variansnya konstan pada waktunya untuk rangkaian stasioner yang ketat dan autocovariance antara xt dan xs (katakanlah) hanya bergantung pada perbedaan mutlak t dan s, t-s. Kami akan meninjau ulang seri stasioner secara ketat di posting masa depan. Kriteria Informasi Akaike yang saya sebutkan di artikel sebelumnya bahwa pada akhirnya kita perlu mempertimbangkan bagaimana memilih antara model terbaik yang terpisah. Hal ini benar tidak hanya analisis deret waktu, tapi juga pembelajaran mesin dan, secara lebih luas, statistik pada umumnya. Dua metode utama yang akan kita gunakan (untuk sementara waktu) adalah Kriteria Informasi Akaike (AIC) dan Kriteria Informasi Bayesian (seiring kemajuan kita dengan artikel kami di Statistik Bayesian). Pertimbangkan sebentar AIC, karena akan digunakan di Bagian 2 dari artikel ARMA. AIC pada dasarnya adalah alat untuk membantu pemilihan model. Artinya, jika kita memiliki pilihan model statistik (termasuk deret waktu), maka AIC memperkirakan kualitas setiap model, relatif terhadap yang lain yang telah kita sedia. Hal ini didasarkan pada teori informasi. Yang sangat menarik, dalam topik yang sayangnya kita cant masuk ke terlalu banyak detail tentang. Ini mencoba untuk menyeimbangkan kompleksitas model, yang dalam hal ini berarti jumlah parameter, dengan seberapa baik data tersebut sesuai. Mari memberi definisi: Kriteria Informasi Akaike Jika kita mengambil fungsi kemungkinan untuk model statistik, yang memiliki parameter k, dan L memaksimalkan kemungkinannya. Maka Kriteria Informasi Akaike diberikan oleh: Model pilihan, dari pilihan model, memiliki minium AIC kelompok. Anda dapat melihat bahwa AIC tumbuh seiring dengan jumlah parameter, k, meningkat, namun berkurang jika log-likelihood negatif meningkat. Intinya itu menghukum model yang terlalu banyak. Kami akan menciptakan model AR, MA dan ARMA dari berbagai pesanan dan satu cara untuk memilih model terbaik sesuai dengan dataset tertentu adalah dengan menggunakan AIC. Inilah yang sebaiknya dilakukan di artikel berikutnya, terutama untuk model ARMA. Autoregressive (AR) Model order p Model pertama akan dipertimbangkan, yang merupakan basis dari Bagian 1, adalah model orisinil dari urutan p, yang sering disingkat menjadi AR (p). Pada artikel sebelumnya kita menganggap random walk. Di mana setiap istilah, xt bergantung hanya pada istilah sebelumnya, x dan istilah white stochastic white, wt: Model autoregresif hanyalah perpanjangan dari jalan acak yang mencakup persyaratan lebih jauh ke masa lalu. Struktur model bersifat linier. Itu adalah model yang bergantung secara linear pada istilah sebelumnya, dengan koefisien untuk setiap istilah. Di sinilah regresif berasal dari autoregresif. Ini pada dasarnya adalah model regresi dimana istilah sebelumnya adalah prediktor. Autoregressive Model order p Model time series,, adalah model pesanan autoregresif p. AR (p), jika: mulai xt alpha1 x ldot alphap x wt sum p alphai x wt end Dimana white noise dan alphai dalam mathbb, dengan alphap neq 0 untuk proses autoregresif p-order. Jika kita mempertimbangkan Backward Shift Operator. (Lihat artikel sebelumnya) maka kita bisa menulis ulang fungsi heta di atas sebagai berikut: mulai thetap () xt (1 - alpha1 - alpha2 2 - ldots - alphap) xt wt end Mungkin hal pertama yang harus diperhatikan tentang model AR (p) Adalah bahwa jalan acak hanya AR (1) dengan alpha1 sama dengan kesatuan. Seperti yang kita nyatakan di atas, model autogressif adalah perpanjangan dari jalan acak, jadi ini masuk akal. Sangat mudah untuk membuat prediksi dengan model AR (p), untuk setiap saat t, seperti yang kita dapatkan koefisien alfa yang ditentukan, perkiraan kita Hanya menjadi: begin hat t alpha1 x ldots alphap x end Maka kita bisa membuat n-step ahead prakiraan dengan menghasilkan topi t, topi, topi, dll sampai ke topi. Sebenarnya, begitu kita mempertimbangkan model ARMA di Bagian 2, kita akan menggunakan fungsi prediksi R untuk membuat perkiraan (bersama dengan band interval kepercayaan kesalahan standar) yang akan membantu kita menghasilkan sinyal perdagangan. Keterpaduan untuk Proses Autoregresif Salah satu aspek terpenting model AR (p) adalah tidak selalu stasioner. Memang, stasioneritas model tertentu bergantung pada parameter. Saya telah menyinggung hal ini sebelumnya di artikel sebelumnya. Untuk menentukan apakah suatu proses AR (p) bersifat stasioner atau tidak, kita perlu menyelesaikan persamaan karakteristik. The characteristic equation is simply the autoregressive model, written in backward shift form, set to zero: We solve this equation for . In order for the particular autoregressive process to be stationary we need all of the absolute values of the roots of this equation to exceed unity. This is an extremely useful property and allows us to quickly calculate whether an AR(p) process is stationary or not. Lets consider a few examples to make this idea concrete: Random Walk - The AR(1) process with alpha1 1 has the characteristic equation theta 1 - . Clearly this has root 1 and as such is not stationary. AR(1) - If we choose alpha1 frac we get xt frac x wt. This gives us a characteristic equation of 1 - frac 0, which has a root 4 gt 1 and so this particular AR(1) process is stationary. AR(2) - If we set alpha1 alpha2 frac then we get xt frac x frac x wt. Its characteristic equation becomes - frac ( )( ) 0, which gives two roots of 1, -2. Since this has a unit root it is a non-stationary series. However, other AR(2) series can be stationary. Second Order Properties The mean of an AR(p) process is zero. However, the autocovariances and autocorrelations are given by recursive functions, known as the Yule-Walker equations. The full properties are given below: begin mux E(xt) 0 end begin gammak sum p alphai gamma , enspace k 0 end begin rhok sum p alphai rho , enspace k 0 end Note that it is necessary to know the alphai parameter values prior to calculating the autocorrelations. Now that weve stated the second order properties we can simulate various orders of AR(p) and plot the corresponding correlograms. Simulations and Correlograms Lets begin with an AR(1) process. This is similar to a random walk, except that alpha1 does not have to equal unity. Our model is going to have alpha1 0.6. The R code for creating this simulation is given as follows: Notice that our for loop is carried out from 2 to 100, not 1 to 100, as xt-1 when t0 is not indexable. Similarly for higher order AR(p) processes, t must range from p to 100 in this loop. We can plot the realisation of this model and its associated correlogram using the layout function: Lets now try fitting an AR(p) process to the simulated data weve just generated, to see if we can recover the underlying parameters. You may recall that we carried out a similar procedure in the article on white noise and random walks . As it turns out R provides a useful command ar to fit autoregressive models. We can use this method to firstly tell us the best order p of the model (as determined by the AIC above) and provide us with parameter estimates for the alphai, which we can then use to form confidence intervals. For completeness, lets recreate the x series: Now we use the ar command to fit an autoregressive model to our simulated AR(1) process, using maximum likelihood estimation (MLE) as the fitting procedure. We will firstly extract the best obtained order: The ar command has successfully determined that our underlying time series model is an AR(1) process. We can then obtain the alphai parameter(s) estimates: The MLE procedure has produced an estimate, hat 0.523, which is slightly lower than the true value of alpha1 0.6. Finally, we can use the standard error (with the asymptotic variance) to construct 95 confidence intervals around the underlying parameter(s). To achieve this, we simply create a vector c(-1.96, 1.96) and then multiply it by the standard error: The true parameter does fall within the 95 confidence interval, as wed expect from the fact weve generated the realisation from the model specifically. How about if we change the alpha1 -0.6 As before we can fit an AR(p) model using ar : Once again we recover the correct order of the model, with a very good estimate hat -0.597 of alpha1-0.6. We also see that the true parameter falls within the 95 confidence interval once again. Lets add some more complexity to our autoregressive processes by simulating a model of order 2. In particular, we will set alpha10.666, but also set alpha2 -0.333. Heres the full code to simulate and plot the realisation, as well as the correlogram for such a series: As before we can see that the correlogram differs significantly from that of white noise, as wed expect. There are statistically significant peaks at k1, k3 and k4. Once again, were going to use the ar command to fit an AR(p) model to our underlying AR(2) realisation. The procedure is similar as for the AR(1) fit: The correct order has been recovered and the parameter estimates hat 0.696 and hat -0.395 are not too far off the true parameter values of alpha10.666 and alpha2-0.333. Notice that we receive a convergence warning message. Notice also that R actually uses the arima0 function to calculate the AR model. As well learn in subsequent articles, AR(p) models are simply ARIMA(p, 0, 0) models, and thus an AR model is a special case of ARIMA with no Moving Average (MA) component. Well also be using the arima command to create confidence intervals around multiple parameters, which is why weve neglected to do it here. Now that weve created some simulated data it is time to apply the AR(p) models to financial asset time series. Financial Data Amazon Inc. Lets begin by obtaining the stock price for Amazon (AMZN) using quantmod as in the last article : The first task is to always plot the price for a brief visual inspection. In this case well using the daily closing prices: Youll notice that quantmod adds some formatting for us, namely the date, and a slightly prettier chart than the usual R charts: We are now going to take the logarithmic returns of AMZN and then the first-order difference of the series in order to convert the original price series from a non-stationary series to a (potentially) stationary one. This allows us to compare apples to apples between equities, indices or any other asset, for use in later multivariate statistics, such as when calculating a covariance matrix. If you would like a detailed explanation as to why log returns are preferable, take a look at this article over at Quantivity . Lets create a new series, amznrt. to hold our differenced log returns: Once again, we can plot the series: At this stage we want to plot the correlogram. Were looking to see if the differenced series looks like white noise. If it does not then there is unexplained serial correlation, which might be explained by an autoregressive model. We notice a statististically significant peak at k2. Hence there is a reasonable possibility of unexplained serial correlation. Be aware though, that this may be due to sampling bias. As such, we can try fitting an AR(p) model to the series and produce confidence intervals for the parameters: Fitting the ar autoregressive model to the first order differenced series of log prices produces an AR(2) model, with hat -0.0278 and hat -0.0687. Ive also output the aysmptotic variance so that we can calculate standard errors for the parameters and produce confidence intervals. We want to see whether zero is part of the 95 confidence interval, as if it is, it reduces our confidence that we have a true underlying AR(2) process for the AMZN series. To calculate the confidence intervals at the 95 level for each parameter, we use the following commands. We take the square root of the first element of the asymptotic variance matrix to produce a standard error, then create confidence intervals by multiplying it by -1.96 and 1.96 respectively, for the 95 level: Note that this becomes more straightforward when using the arima function, but well wait until Part 2 before introducing it properly. Thus we can see that for alpha1 zero is contained within the confidence interval, while for alpha2 zero is not contained in the confidence interval. Hence we should be very careful in thinking that we really have an underlying generative AR(2) model for AMZN. In particular we note that the autoregressive model does not take into account volatility clustering, which leads to clustering of serial correlation in financial time series. When we consider the ARCH and GARCH models in later articles, we will account for this. When we come to use the full arima function in the next article, we will make predictions of the daily log price series in order to allow us to create trading signals. SampP500 US Equity Index Along with individual stocks we can also consider the US Equity index, the SampP500. Lets apply all of the previous commands to this series and produce the plots as before: We can plot the prices: As before, well create the first order difference of the log closing prices: Once again, we can plot the series: It is clear from this chart that the volatility is not stationary in time. This is also reflected in the plot of the correlogram. There are many peaks, including k1 and k2, which are statistically significant beyond a white noise model. In addition, we see evidence of long-memory processes as there are some statistically significant peaks at k16, k18 and k21: Ultimately we will need a more sophisticated model than an autoregressive model of order p. However, at this stage we can still try fitting such a model. Lets see what we get if we do so: Using ar produces an AR(22) model, i. e. a model with 22 non-zero parameters What does this tell us It is indicative that there is likely a lot more complexity in the serial correlation than a simple linear model of past prices can really account for. However, we already knew this because we can see that there is significant serial correlation in the volatility. For instance, consider the highly volatile period around 2008. This motivates the next set of models, namely the Moving Average MA(q) and the Autoregressive Moving Average ARMA(p, q). Well learn about both of these in Part 2 of this article. As we repeatedly mention, these will ultimately lead us to the ARIMA and GARCH family of models, both of which will provide a much better fit to the serial correlation complexity of the Samp500. This will allows us to improve our forecasts significantly and ultimately produce more profitable strategies. Just Getting Started with Quantitative Trading