AOISAKURA - 日記(編集)

日記本文

年月日

タイトル:

本文(tDiaryスタイル/書き方):

[linux] Gentoo in Crisis?
<%=ul <<LIST
<a href="http://distrowatch.com/weekly.php?issue=20070312#future">DistroWatch Weekly, Issue 193, 12 March 2007 Commentary: Gentoo in crisis</a>(DistroWatch.com)
<a href="http://www.osnews.com/story.php/17470/Gentoo-in-Crisis">Gentoo in Crisis?</a>(OSNews.com)
<a href="http://linux.slashdot.org/article.pl?sid=07/03/12/1154242">Is Gentoo in Crisis?</a>(slashdot)
<a href="http://slashdot.jp/linux/07/03/12/1920256.shtml">危機に瀕するGentoo Linux</a>(Slashdot Japan)
LIST
%>
ごぁーまじかよー。とは言いつつ本筋追いかけられていないんでアレやけども。よくあることだろうとはいえ気分悪い話。
<%=ul <<LIST
<a href="http://d.hatena.ne.jp/tmatsuu/20070313#1173789059">「危機に瀕するGentoo Linux」は大げさ</a>(もしもし、matsuuですが...)
LIST
%>
matsuuさんのフォロー。

[python][mail] 定期的にwebから情報拾って自分のケータイにメールを投げるスクリプト...の予定
webから情報拾ってくるところは後にして、メールを投げるpythonスクリプトは以下でいけそう。日本語について何も考えて無いのでちゃんと調べないといかんけど。
<pre>
import smtplib
server = "192.168.99.99" # smtpサーバのホスト名
from_addr = "xxx@from.com"
to_addr = "xxx@to.com"
msg = ("From: %s\r\nTo: %s\r\n\r\n" % (from_addr, to_addr)) + "contents"
smtpserv = smtplib.SMTP(server)
smtp.sendmail(from_addr, to_addr, msg);
</pre>
まぁpythonのライブラリリファレンスのまんま。定期的に送るのはcronを使うことにする。
<%=ul <<LIST
<a href="http://www.python.jp/doc/2.4/lib/SMTP-example.html">11.12.2 SMTP 使用例</a>(Python ライブラリリファレンス)
LIST
%>

[python][web] htmlファイルを処理する
さて、メールで送る内容を取得・処理する側の話。過去に何度か調べてはダルそうで躊躇してきたpythonのHTMLParserライブラリ。躊躇してきた理由は、標準ライブラリの<a href="http://www.python.jp/doc/2.4/lib/module-HTMLParser.html">HTMLParser</a>を拡張して処理をさせるっていうのがすげぇ面倒臭い。大体、HTMLを扱いやすいように構造化させるのっていかにも既に作られていそうだったし。
まずはlibxml2がどうやらちゃんとしてないHTMLでも解析してくれるらしいのでlibxml2のpythonバインディングを使ってxmlのように扱ってみることにした。参考にしたのは以下のサイト
<%=ul <<LIST
<a href="http://mikekneller.com/wiki/index.php?title=Getting_started_with_Libxml2_and_Python_-_part_1">Getting started with Libxml2 and Python - part 1</a>
<a href="http://xmlsoft.org/html/libxml-HTMLparser.html#htmlReadDoc">Module HTMLparser from libxml2</a>
LIST
%>
上のサイトを参考に、以下のようなスクリプトを書いた。
<pre>
import urllib2
import libxml2
f = urllib2.urlopen('http://www.hatena.ne.jp')
html = f.read()
f.close()
doc = libxml2.htmlReadDoc(html, '', None, 
 libxml2.HTML_PARSE_RECOVER +
 libxml2.HTML_PARSE_NOERROR +
 libxml2.HTML_PARSE_NOWARNING)
links = doc.xpathEval('//a')
for link in links:
 href = link.xpathEval('attribute::href')
 if len(href) > 0:
 href = href[0].content	
 print href
doc.freeDoc()
</pre>
が、何も表示されない。htmlReadDoc()の出力はxmlDocのオブジェクトだけど、中身が何も無い。htmlReadDoc()の引数いじったり、英語のサイトでやってみたり、すごい単純なhtmlファイルをローカルに作ってやってみたりしたけど結果は皆同じ。で、作ったすごい単純なhtmlファイルをxmlファイルとして、xmlPasreDoc()で読ませたらうまくいった。が、これでは意味が無いのでlibxml2を使うことは止めにして他のを探すことにした。
探していたら、<a href="http://www.crummy.com/software/BeautifulSoup/">Beautiful Soup</a>というライブラリがあり、しかもすごい使い易そうというわけでこっちを使うことに。どんなことができるのかは、以下のサイトを見ればわかるかと、もしくは<a href="http://www.crummy.com/software/BeautifulSoup/documentation.html#Quick%20Start">Beautiful Soupのクイックスタート</a>。
<%=ul <<LIST
<a href="http://sh1.2-d.jp/b/2006-10-29-02-41.html">pythonでスクレイピング</a>(sh1.2 pyblosxom)
<a href="http://sh1.2-d.jp/b/2006-11-01-02-26.html">BeautifulSoup使ってみた</a>(sh1.2 pyblosxom)
LIST
%>
htmlタグのname、attrをキーに簡単にアクセスできるし、要素を辿るためのメソッドも揃ってる。ドキュメントを読みながら電車の中で現在試してるところ。これでいけそうだ、っていうか十分。
portageで配布されているので、家の環境にはこっからインストール、ありがとーGentoo。ノートのVine上ではpython関連はvineのaptでは管理しないという方針でそのままインストール。

[python][web] libxml2のscriptうまくいった...
一つ前の記事のscript、家の環境でやったらうまくいったよ...、アレー。
家と仕事先で試したときの違いはいくつもあるけど、その中のどれだろ、直接的に影響のありそうなのって無いと思ってたんだけどなぁ。
むぅ、ローカルに保存したファイルでもうまくいく...。まぁ明日調べるか。なんか文字コード絡みな悪寒。

更新情報を送る

この日の日記を隠す

本日のツッコミ

nozom (2007-03-14 00:02)

＞定期的にwebから情報拾って自分のケータイにメールを投げるスクリプト
それPla
Python版のPlaggerはまだないみたいですけどね。

さくらい (2007-03-14 00:33)

こう、Plaggerってライブラリの集合っていう認識しか無いんですがどうなんでしょう。

多分今後も出てこなさそうな気がします、python版plagger...。

nozom (2007-03-14 01:13)

まず、Plagger自体はコマンドラインで実行するスクリプトです。
確かにインストールする時には山のように大量のモジュールを要求しますが、「あれをするにはこのモジュールを、それをするにはこのモジュールを」という感じで豊富に機能が用意されている結果です。しかも、それらのモジュールをどう組み合わせるかということを設定ファイルに書くだけでやってくれるのがPlaggerの良いところです。今日の記事に書かれた仕様ならたぶん一行もコードを書かなくても実現できると思います（「htmlファイルを処理する」の内容にもよりますが）。
インストールが一つの壁ですが、CPANモジュールを使えば割と簡単にインストールできます（僕はRPMで管理することは諦めました）。

＞Python版Plagger
PRaggerというRubyで書かれたPlaggerはあったりするんですが、これもユーザ層（というかコミュニティの性質？）の違いですかね。

ちなみに、Plaggerには外部スクリプトを実行する仕組みもあるので、その部分だけ別の言語で書くことも可能ですよ。

さくらい (2007-03-14 01:37)

> 今日の記事に書かれた仕様ならたぶん一行もコードを書かなくても実現できると思います
という説明と、設定ファイルへの記述というので何となく理解しました。定形句とそれ以外を切り離すのはフレームワークの隆盛なんかもあって便利ですよね。

言語のユーザ間の比較ができるほど他の言語を知らない状態なのでなんとも言えませんが、言語コミュニティ毎の特色ってのはありそう...。

nozom (2007-03-14 06:33)

だいたい理解してもらえたかと思いますが、この辺を見てもらうとイメージがしやすいかもしれません。
-なつみかん＠はてな - 個人ニュースサイトをGmailでまとめて読もう導入編
ttp://d.hatena.ne.jp/acqua_alta/20061013/introduction
-なつみかん＠はてな - RSSもGmailでまとめて読もう導入編
ttp://d.hatena.ne.jp/acqua_alta/20061014/rss2gmail
-なつみかん＠はてな - マイミク日記もGmailでまとめて読もう導入編
ttp://d.hatena.ne.jp/acqua_alta/20061014/mixi
-Plaggerグループ - Plugin::mikan
ttp://plagger.g.hatena.ne.jp/acqua_alta/
(SPAMとして弾かれてしまったのでhttp→ttpにしています)

さくらい (2007-03-14 10:58)

> SPAMとして弾かれてしまったのでhttp→ttpにしています
　ご迷惑おかけします＿○／|＿

　ぉぉ、はてなのなつみかんってそういう記事書いてるとこだったんですね(何。

774 (2007-03-15 02:20)

>多分今後も出てこなさそうな気がします、python版plagger...。
それらしきものを実装している方はいらっしゃいますが。
http://www.liris.org/blog/E698A8E697A5E381AEE4BD9CE6A5ADE381B8E38293E381AAE38282E381AEE38081E381B8E38293E381AAE38282E381AE/

さくらい (2007-03-15 09:52)

おぁ、ほんとだ...。情報ありがとうございますー。

自分があんまり必要としていなかったので調査せずに言ってしまってましたorz

Barnypok <jfvynms4281rt@hotmail.com> (2016-12-31 23:36)

w3OaYI http://www.FyLitCl7Pf7ojQdDUOLQOuaxTXbj5iNG.com

AOISAKURA - 日記 [登録]

日記の更新

日記本文