/ 最近 .rdf 追記 編集 設定 本棚

脳log[20070723] Amazon.co.jpから新刊情報を取ろうとしたが



2007年07月23日 (月)

[Amazon][] Amazon.co.jpから新刊情報を取ろうとしたが

14日に「新刊のリストが手に入れば自分でフィルタリングするが」と書いたのを受けて、Amazon E-Commerce Serviceの 2007-06-13版のドキュメントを眺めてみた。

 案1: BrowseNodeLookupオペレーションで NewReleasesという Response Groupを使用する

特定の BrowseNodeに属するニューリリースを取得することが可能。Booksという BrowseNodeも存在するので、本のニューリリースを取得できる。但し US locale限定。JP localeで使用できるようになれば本命。

 案2: ItemSearchオペレーションで Sort=pubdateを指定して、発売日の新しいものを端から取得する

検索条件を一つ以上与えないといけないので、BrowseNode=465610 という条件を加える。465610は JP localeで Booksを表す BrowseNodeId。(但し BrowseNodeInfoで得られる、この BrowseNodeIdの Nameは「ジャンル別」となっている。HTML表示のためだろう)

これはまあまあ、Amazonがどれくらいの数のクエリを許してくれるかを度外視した上で、成功した。ドキュメントには ItemPageパラメータは 1-400だと書かれていて、1ページ目の 2009-01発売の本から始まって、400ページ目までいってもまだ 2007-07発売の本が続いてるから、直近の新刊は取得できないかと思ったが、実際には ItemPageパラメータに上限は設けられていないようで、400ページ目以降も問題なく取得できた。

追記 エラーメッセージによると有効な値は 1から3200までだって。実際に 3300ページ目は取得できなかった。

追記:2007-09-10 9月からエラーメッセージでも 1から400までが有効だと言われた。実際に 3200ページ目は取得できなくなっている。ドキュメント通りになってしまった。

但し、この方法で取得できない本があった。BrowseNodeが全ての本に設定されてるわけじゃないものね。この本は「ジャンル別」(BrowseNodeId=465610)ではなく「出版社別」の BrowseNodeにしか属していない。どの BrowseNodeにも属していない本だってあるだろう。

BrowseNodeに依存する案1と案2では漏れがでることがわかった。

 案3: ItemSearchオペレーションで SearchIndex=Booksの時にだけ使用できる Powerパラメータを使う

これは「author」「ISBN」「keyword」「language」「pubdate」「publisher」「subject」「title」というキーワードと「not」「and」「or」「:」「()」「""」「*」という構文要素からなる複雑な検索が行える。例えば、Power=author:"米澤 穂信" なら著者(Authorや Creator要素。Roleは関係なさそう)に「米澤 穂信」を含む本が取得できる。これで Power=pubdate:2007-07*を検索してやろうというわけだ。

結果は、先のリンクをクリックすればわかるけど「リクエストに該当する結果がありません。」とのつれないお答え。Power=pubdate:2007-07Power=pubdate:2007-07-23でもダメなところを見ると、ドキュメントでは気付かなかったけど、pubdateキーワードがサポートされてないんじゃなかろうか。(US localeではもちろんサポートされてるだろう)。ガックリ。

 現時点でも実行可能な案2についてもう少し

コミックは比較的早め(それでも 1〜2週間前)に登録されるが、文庫は前日から数日前が多い。単行本は知らない。 速報性は求められないので、毎日、当日発売の本をチェックするのが妥当。

【続きを読む前に予備知識】 発売日 2007-06-31〜2007-06-01〜2007-06の本が含まれるのは現時点で 5?0から 15?0ページ目までの約1000ページ。

ひと月約1000ページとして 2000ページ目までには今月の刊行物が全て収まってるとする。 特定の日付の始まりか終わりの含まれるページを見つけるのに約11回(log2(2000)≒10.9)のクエリ。 そこから一つずつインクリメント(デクリメント)すること 30回(1000÷31)もあれば次の日付が現れるだろう。

平均して一日あたり 40回程度のクエリで当日発売の本が取得できる。(前述の通り「ジャンル別」の BrowseNodeに属していない本は漏れるが)

発売年月の情報しか持たない本については、どのタイミングで追加されるかわからないので、漏れとクエリを最小にするには、月が変わってから取得する必要がある。月が変わってから……。

 (追記:25日) やってみた

Amazonを 25回呼び出して得られたのが以下の23日発売の本たち(といっても半分以上が雑誌だが)。25回の内訳は 2007-07-23が現れる最初のページを見つけるまでに 11回。データ取得に 14回。同じページを重複して取得するのを避けたら 1〜数回は呼び出しを減らせる。ラブやんがきちんと引っ掛かってるので自分的には成功。

これ、毎日起動してもいいのかな……かな?

  • JUNON (ジュノン) 2007年 09月号 [雑誌]
  • ViVi (ヴィヴィ) 2007年 09月号 [雑誌]
  • urecco gal (ウレッコギャル) 2007年 09月号 [雑誌]
  • office you (オフィス ユー) 2007年 09月号 [雑誌]
  • オトナの実名では話せない秘密の告白 2007年 09月号 [雑誌]
  • SPY GIRL Select (スパイガールセレクト) 関西版 2007年 09月号 [雑誌]
  • 関西 ゼクシィ 2007年 09月号 [雑誌]
  • Kindai (キンダイ) 2007年 09月号 [雑誌]
  • 技術教室 2007年 08月号 [雑誌]
  • CanCam (キャンキャン) 2007年 09月号 [雑誌]
  • 建設物価 2007年 08月号 [雑誌]
  • 現代ギター 2007年 08月号 [雑誌]
  • どの子も伸びる 2007年 08月号 [雑誌]
  • KeLLy (ケリー) 2007年 09月号 [雑誌]
  • 産科と婦人科 2007年 08月号 [雑誌]
  • That's DAN (ザッツダン) 2007年 09月号 [雑誌]
  • Zipper (ジッパー) 2007年 09月号 [雑誌]
  • SPUR (シュプール) 2007年 09月号 [雑誌]
  • 自由民主 2007年 08月号 [雑誌]
  • 純愛果実 2007年 09月号 [雑誌]
  • spring (スプリング) 2007年 09月号 [雑誌]
  • Soup. (スープ) 2007年 09月号 [雑誌]
  • JAPAN COMPANY HANDBOOK FIRST SECTION (英文会社四季報 1部版) 2007年 08月号 [雑誌]
  • ゼクシィ 長野版 2007年 09月号 [雑誌]
  • ゼクシィ 富山・石川・福井版 2007年 09月号 [雑誌]
  • ゼクシィ 福島版 2007年 09月号 [雑誌]
  • ゼクシィ 茨城・栃木・群馬版 2007年 09月号 [雑誌]
  • ゼクシィ 青森・秋田・岩手版 2007年 09月号 [雑誌]
  • ゼクシィ 宮城・山形版 2007年 09月号 [雑誌]
  • ゼクシィ 四国版 2007年 09月号 [雑誌]
  • ゼクシィ 首都圏版 2007年 09月号 [雑誌]
  • ゼクシィ 東海版 2007年 09月号 [雑誌]
  • 地理 2007年 08月号 [雑誌]
  • ドンキホーテのパチンコ天国 2007年 09月号 [雑誌]
  • 日本臨牀 2007年 08月号 [雑誌]
  • NAIL VENUS (ネイルヴィーナス) 2007年 09月号 [雑誌]
  • 農耕と園藝 2007年 08月号 [雑誌]
  • BITEKI (美的) 2007年 09月号 [雑誌]
  • ふらんす 2007年 08月号 [雑誌]
  • JJ (ジェィジェィ) 2007年 09月号 [雑誌]
  • ポポロ 2007年 09月号 [雑誌]
  • MAQUIA (マキア) 2007年 09月号 [雑誌]
  • 漫画 パチンコ大連勝 2007年 09月号 [雑誌]
  • Myojo (ミョウジョウ) 2007年 09月号 [雑誌]
  • sweet spring (スウィートスプリング) My ベストヘア 2007年 09月号 [雑誌]
  • 油脂 2007年 08月号 [雑誌]
  • 溶接技術 2007年 08月号 [雑誌]
  • LaVie (ラビエ) 2007年 07月号 [雑誌]
  • 歴史学研究 2007年 08月号 [雑誌]
  • Ray (レイ) 2007年 09月号 [雑誌]
  • あまから手帖 2007年 08月号 [雑誌]
  • AERA English (アエラ・イングリッシュ) 2007年 09月号 [雑誌]
  • JK Fan (ジェイケイ・ファン) 空手道マガジン 2007年 09月号 [雑誌]
  • 漫画ガチンコ 2007年 09月号 [雑誌]
  • 季刊 SEXUALITY (セクシュアリティ) 2007年 07月号 [雑誌]
  • 月刊 日本 2007年 08月号 [雑誌]
  • GONKAKU (ゴンカク) 2007年 09月号 [雑誌]
  • 小説 アクア 2007年 08月号 [雑誌]
  • 最高の主婦たち 2007年 09月号 [雑誌]
  • 生活教育 2007年 08月号 [雑誌]
  • コミック DVD 爆写 2007年 09月号 [雑誌]
  • ゼクシィ 静岡版 2007年 09月号 [雑誌]
  • ゼクシィ 熊本版 2007年 09月号 [雑誌]
  • ゼクシィ 広島版 2007年 09月号 [雑誌]
  • ゼクシィ 山口版 2007年 09月号 [雑誌]
  • ゼクシィ 福岡・佐賀版 2007年 09月号 [雑誌]
  • ゼクシィ 宮崎・鹿児島版 2007年 09月号 [雑誌]
  • ゼクシィ 大分版 2007年 09月号 [雑誌]
  • ゼクシィ 岡山版 2007年 09月号 [雑誌]
  • Cheek (チーク) 2007年 09月号 [雑誌]
  • PINKY (ピンキー) 2007年 09月号 [雑誌]
  • ビデオ α (アルファ) 2007年 08月号 [雑誌]
  • FYTTE (フィッテ) 2007年 09月号 [雑誌]
  • FRUiTS (フルーツ) 2007年 09月号 [雑誌]
  • Forbes (フォーブス) 日本版 2007年 09月号 [雑誌]
  • Master Modelers (マスターモデラーズ) 2007年 09月号 [雑誌]
  • Brands Off (ブランズオフ) 2007年 09月号 [雑誌]
  • 月刊 フルコンタクト KARATE (カラテ) 2007年 09月号 [雑誌]
  • ブランド JOY (ジョイ) 2007年 09月号 [雑誌]
  • VoCE (ヴォーチェ) 2007年 09月号 [雑誌]
  • Body+ (ボディプラス) 2007年 09月号 [雑誌]
  • 月刊 BOSS(ボス) 2007年 09月号 [雑誌]
  • ManMan (マンマン) 九州版 2007年 09月号 [雑誌]
  • マダム X (エックス) 2007年 09月号 [雑誌]
  • marie claire (マリ・クレール) 2007年 09月号 [雑誌]
  • Ranzuki (ランズキ) 2007年 09月号 [雑誌]
  • PRESIDENT (プレジデント) 2007年 8/13号 [雑誌]
  • クッキングパパ 93 (93) (モーニングKC)
  • ヒストリエ 4 (4) (アフタヌーンKC)
  • 宙のまにまに 3 (3) (アフタヌーンKC)
  • ナチュン 2 (2) (アフタヌーンKC)
  • ミミア姫 1 (1) (アフタヌーンKC)
  • ラブやん 8 (8) (アフタヌーンKC)
  • ウルトラマンSTORY0 5 (5) (マガジンZコミックス)
  • シュヴァリエ 5 (5) (マガジンZコミックス)
  • 極東綺譚 2 (2) (マガジンZコミックス)
  • 恋咲忍伝おもいっきりハヤテさま 2 (2) (マガジンZコミックス)
  • ヒロイック・エイジ 1 (1) (マガジンZコミックス)
  • 天地開闢 1 (1) (マガジンZコミックス)
  • ツレビト 1 (1) (マガジンZコミックス)
  • レッド 1 (1) (KCデラックス)
  • 湘南爆走族 7 完全版 (7) (KCデラックス)
  • 湘南爆走族 8 完全版 (8) (KCデラックス)
  • おとぎのまちのれな 1 (1) (KCデラックス)
  • ジパング 30 (30) (モーニングKC)
  • ドラゴン桜 20 (20) (モーニングKC)
  • 特上カバチ!!-カバチタレ2 9 (9) (モーニングKC)
  • 実録!関東昭和軍 3 (3) (モーニングKC)
  • 専務島耕作 2 (2) (モーニングKC)
  • GIANT KILLING 2 (2) (モーニングKC)
  • その男、淫乱につき~ONE LOVE 1st.~ (アクアノベルズ ONE LOVE 1st.)
  • 月下の華盗人 (プリズム文庫 hm- 1)
  • 不機嫌なピアニスト (アクアノベルズ)
  • 会社という砂漠がオアシスに変わる100滴
  • 阿波DANCE
  • 構造計算[図解雑学] (図解雑学)
  • 星座の事典
  • 双月巫女3 (MFコミックス)
  • ネフィリム 2 (2)
  • 陰からマモル! 3 (3)
  • 神ぷろ。 2
  • セカンドライフの儲け方 (セカンドライフ簡単登録講座CD-R付)
  • 一夜漬け 伝わる!プレゼン

 (追記:27日) タスクスケジューラに登録した

毎日 01:00前に自動更新。リストは Amazon.co.jp NewReleasesにアップ。