CONTENT

This web page ichiro-maruta.blogspot.com states the following, "しかし個人的に収集した英語論文ではやはりデータベースが小さく例文検索エンジンとしてはいまいちだなーと思っていました ArXiv Bulk Data Access." We saw that the webpage said " 何がきっかけだったか忘れましたが去年の年末あたりに arXiv が Bulk Data Access." It also said " データの公開はAmazon S3 で Requester Pays Buckets として行われており700GBくらいのデータなので全部ダウンロードすると8000円くらいかかります多分それくらい請求されていたと思います ダウンロードしてきたデータはLaTeXのソースを含んだアーカイブなのでまずこれを展開して文章を抽出しコーパスとして出力するプログラムを書く必要がありますLaTeXからプレーンテキストへの変換方法にはざっと調べた感じ. というのを使うのがベストで実装としては Succinct Data Structure Library."