■スレッドリストへ戻る■ 全部 1- 101- 201- 301- 401- 501- 601- 701- 801- 901- 1001- 最新50
monazilla Part 3
- 685 ：デフォルトの名無しさん ：02/10/30 21:12
- ちょっと質問なんですが、このスレ
http://pc3.2ch.net/test/read.cgi/tech/1012544484/
でいうところの pc3.2ch.net、tech、1012544484 （正式な名称が分からない）
からスレタイを得る方法ってありますか？
datファイルの1行目を見るやりかたくらいしか分からないのですが。
既出だったら参照先とか教えてもらえるとありがたいです。
- 686 ：デフォルトの名無しさん ：02/10/30 21:16
- subject.txtみればいいだけですね。
なんでこんな質問したんだろ？俺。
- 687 ：デフォルトの名無しさん ：02/10/30 23:00
- datファイルの一行目にスレタイが入ってるなんて今まで知らなかった。
- 688 ：デフォルトの名無しさん ：02/10/31 01:42
- >>687
（ﾟ∀ﾟ）おおお！マジだ。知らなかった。
- 689 ：デフォルトの名無しさん ：02/10/31 01:55
- 意外と知られてないのね。
- 690 ：686 ：02/10/31 03:36
- ああ、思い出した。
subject.txtを取得してないけど、スレタイが知りたいとき。
subject.txtを取得して検索するか、datファイルの1行目だけ取得するか
だったら後者の方がいいんですかね？
それとももっと真っ当なやり方がありますか？
- 691 ：デフォルトの名無しさん ：02/10/31 03:50
- どうやって「１行目だけ」取得するんだ？
- 692 ：デフォルトの名無しさん ：02/10/31 08:23
- 1行目だけっていうより、datファイルの1行目まで読むんだろ？
- 693 ：test ：02/11/01 00:55
- 書き込みテスト
- 694 ：デフォルトの名無しさん ：02/11/01 01:24
- ここなのか？
ここでテストするのか？
monazilla作者の人は、
どこで読み書きテストしていますか？
- 695 ：デフォルトの名無しさん ：02/11/01 01:25
- ばたーも実験室も閉鎖しちゃったからなあ…
- 696 ：デフォルトの名無しさん ：02/11/01 08:29
- 俺的テスト
- 697 ：デフォルトの名無しさん ：02/11/01 22:53
- その板の全スレの最終更新日を一覧表示するときは、数百あるdatすべてにHEADしていいんでしょうか？
- 698 ：デフォルトの名無しさん ：02/11/01 22:55
- /dat/ディレクトリが見れるならそっちを見たほうが
地球に優しいと思われ
- 699 ：デフォルトの名無しさん ：02/11/01 23:59
- >>698
おお！ディレクトリ一覧が普通に表示できました。
表示禁止かと思いこんでいたのでありがたいです。
- 700 ：デフォルトの名無しさん ：02/11/02 00:15
- 一時期確かに表示禁止だったよ
- 701 ：デフォルトの名無しさん ：02/11/02 00:15
- そのリストは北米西海岸時間な罠
しかも夏時間を考慮しないといけない罠
あっ…一部の鯖は屁ネットじゃなくて日本にあるんだっけか
- 702 ：デフォルトの名無しさん ：02/11/02 00:30
- たいていのまともなOSにはタイムゾーンの変換機能があるから
そんなの一瞬だろ。
日本にあるのはsports2だけ?
- 703 ：デフォルトの名無しさん ：02/11/02 00:43
- >>702
どこのサーバの時間が日本でどこがアメリカンなのか
のデータベースをもつのか？
- 704 ：デフォルトの名無しさん ：02/11/02 00:51
- 2chの鯖だけを相手にするならsports2だけ例外で十分だろ
何なら1つだけHEADでdatを取ってきて時差を見れば完璧
- 705 ：デフォルトの名無しさん ：02/11/02 03:16
- 自分用ツールの時間が1時間ずれてたんでおかしいと思ったら・・・
そうか、夏時間か！
- 706 ：デフォルトの名無しさん ：02/11/02 13:59
- >>704
そうだね、そのアイディアいただきまんこ。
>>705
漏れツールも10日前くらいに、/bbs/dat/ を取得するようにしたら
いつのまにか1時間ズレてた。ふはは。
日本に住んでると、夏時間って何よ? 状態になってしまうのう。
- 707 ：デフォルトの名無しさん ：02/11/02 14:25
- 俺は../subject.txtのHEADを取って夏時間の誤差を調べてたな。
ずーっと昔だけど。
- 708 ：デフォルトの名無しさん ：02/11/05 00:31
- User-Agent制限復活した？
今朝までは取れてたんだけど。
- 709 ：デフォルトの名無しさん ：02/11/05 14:53
- 2chブラウザを作る上で、「これは2chに迷惑がかかるからするな」
ってのを教えてもらえるとありがたいのですが。
（できれば代替手段も）
- 710 ：デフォルトの名無しさん ：02/11/05 16:29
- >>709
いくらでも挙げられるが。
自分が何をしようとしているのかを
匿名で言ってご覧。
- 711 ：デフォルトの名無しさん ：02/11/05 17:25
- >>709
１．負荷をかけること
２．転送量を増やすこと
具体的にどうすべきなのかは、過去ログやいろいろな参考スレ(転送量問題時や負荷問題時)をみればわかるはず
今(少し前まで？)はHDD要領問題が起きていたけど、これはクライアント側からできることは少ない
- 712 ：デフォルトの名無しさん ：02/11/05 18:25
- ちなみに、これらの問題に対する代替手段は
・作るな。
ということになります。ご了承を。
- 713 ：デフォルトの名無しさん ：02/11/05 19:22
- >>709
ブラウザが多すぎてユーザーが困ってます。
せめて作るんだったら、他とは違うブラウザを作ってね
- 714 ：名無しさん＠Ｅｍａｃｓ ：02/11/05 20:48
-
>712
普通のブラウザで見たほうが2chにやさしいってこと？
- 715 ：デフォルトの名無しさん ：02/11/05 21:44
- >>711
それをまとめてあれば他の人が過去ログ探すさがす苦労が省けると
思うのですが。。。（一応Monazilla.org(wにも情報はあるけど。）
というと怠慢だと思われるので勉強ついでにちょっと考えてみる。
まず、スレッドのリストを表示するにはsubject.txtをとってくる。
これはスレッドリストのリロード要求がある度にLast-Modifiedを見て
最新のをGETすればいい。
(HEADしてからGETするとリクエストが２回になるからNGですか？)
あと最終書き込み時刻を得るのには全datファイルにHEADするのは
負荷の面でNG。
dat/ディレクトリ一覧が見れるならそっちを使う。
かちゅ〜しゃでは既得スレだけ最終書き込み時刻が表示されるように
なってますね。
- 716 ：デフォルトの名無しさん ：02/11/05 21:57
- スレの内容を得るのにread.cgiを介するのは負荷の面でNG。datを直取りする。
スレの更新がある度にdatを取り直すのは転送量の面でNG。差分で取ってくる。
これにはあぼーんされたレスがあったときの対処が問題となる。
http://members.jcom.home.ne.jp/monazilla/document/abone.html
- 717 ：デフォルトの名無しさん ：02/11/05 22:05
- >dat/ディレクトリ一覧が見れるならそっちを使う。
これは疑問。stat()をファイル数分だけ繰り返すので、意外に負荷が高い可能性がある。
さらに、GET ..../dat/?M=Dなどとすると、ソートも必要になる。
その他、Range-GETは当然として、必ずIf-Modified-Sinceをつける。
同一サーバーに複数のリクエストを送るときは、HTTP/1.1 またはKeep-Aliveを使う。
パイプラインするとさらによい。
もちろん、cgiは呼ばない(offlaw.cgiは除く)。
dat落ちスレのチェックにはread.cgiではなく
過去ログ(.dat.gz)GETと/kako/o10xx/subject.txtを使用する。
などかな。
それと、
・スレ立て機能の是非
・巡回の有無
・自動取得/巡回の是非
・取得/巡回/更新チェックする間隔の自主規制の有無
なども考慮してな。
- 718 ：デフォルトの名無しさん ：02/11/05 22:14
- あと、
・自動再試行は極力行わない
ってのもあったな。
例えばbbs.cgiへのPOSTが失敗した時等、ユーザーに確認させるようにしないと
ちょっとした誤操作で無限ループになる可能性があるから。
- 719 ：デフォルトの名無しさん ：02/11/05 22:35
- 夜勤によると、２ちゃんねるツールはIEの100倍鯖に優しいらしい。
つまり、普通に２ちゃんねるツールの99倍、鯖に負担を掛けても
IEよりは鯖に優しいのである。（ﾟ∀）OK?
- 720 ：デフォルトの名無しさん ：02/11/05 22:36
- 普通に→普通の。ﾃﾞｽﾀ
- 721 ：デフォルトの名無しさん ：02/11/05 23:20
- >>719
しかし、何の根拠も示されていません
根拠がないので、ここからは私の推測ですが・・・
ツールを使う→●ユーザー以外制限アリ→制限がウザイ→●を買う→夜勤(ﾟДﾟ)ｳﾏｰ
→少しだけ鯖代にまわす→鯖に(･∀･)ｲｲ!!
確かにＩＥよりも鯖に１００倍優しいです
- 722 ：デフォルトの名無しさん ：02/11/06 05:56
- >>717
stat()か。なるほど。/?M=Dなんてのは初めて知った。
最終更新時刻なんて全部見る人はいないだろうから
イッキに全部表示する必要はないのかも。
>721
read.cgiがやることを2chブラウザでは各PCがやってくれる
と考えれば負荷の面では優しいのかな。
- 723 ：デフォルトの名無しさん ：02/11/07 14:16
- >>717
> これは疑問。stat()をファイル数分だけ繰り返すので、
> 意外に負荷が高い可能性がある。
それはそのとおりだがstat()の回数は全スレHEADした場合でも
同じだから全スレHEADよりはマシだな。
用もないのに最終書き込み時刻を取らないのが一番だが。
- 724 ：デフォルトの名無しさん ：02/11/07 14:29
- >>723
つまり、用があるときだけ取りにいけばいいって結論か。
- 725 ：デフォルトの名無しさん ：02/11/07 16:36
- 普通に閲覧するだけなら、最終書き込み時刻は必要ないよね。
しかし、いまさら普通に閲覧する新たな２ｃｈブラウザはイラン・・・
- 726 ：デフォルトの名無しさん ：02/11/07 18:45
- 夜勤って以前、２ｃｈブラウザユーザーだけがかなりの鯖リソース食ってる
みたいな発言なかったっけ？
夜勤の考える事はよくわからん。
- 727 ：デフォルトの名無しさん ：02/11/07 22:01
- 負荷の全体量として2chブラウザ含むdat直読みが、じゃないか？
dat総ざらい業者の問題もあるし。
単純に一個人が同じスレをブックマークして定期的に読む
とだけ見ればどー考えてもIEより負荷は少ないはずだ。
- 728 ：デフォルトの名無しさん ：02/11/08 04:44
- >>726
これだろ。リソース面でツールが１００倍優しい根拠は怪しいな
金銭面で夜勤に１００倍優しいの間違いだろ
851 名前： 夜勤 ◆D69Zsbfg 投稿日： 02/03/22 17:57 ID:???
>>893
今、手元に資料ないので、詳しい数値はわかりませんが、 先日 cheese サーバで Apache のログとったですよ。
ユニークな IP でのアクセス数とか、 UserAgent 別、IP別でのアクセス数とか、 しらべたんです。
それを解析してみたら、
呼び出し回数では、ツール使用者が 50% をとうに越しています。
ユニークな IP では ツール使用者は 18.6% です。
cheese の数値を元に全体を推定すると、 60万人/日 のツール使用者。で、これが全体の 18% 〜 20% くらいで あるのかな? ということです。
20% の人が 50% 以上のリソースを使っているのが、今日の２ちゃんねるです。
- 729 ：デフォルトの名無しさん ：02/11/08 05:07
- ツールで１回読み込むのとＩＥなどで１回読み込むのが
同じ負荷でもないだろうし。
cheese鯖ってのがサンプル足りえるのかと言う疑問も有る。
都合のいいデータを都合よく解釈してるだけで参考にも何にも・・・
- 730 ：デフォルトの名無しさん ：02/11/08 10:03
- 素人さんの2ch読み書きの仕方を背後から観察すると納得できる話ではある
- 731 ：デフォルトの名無しさん ：02/11/10 22:23
- >>729
ま、夜勤は素人だからな。
- 732 ：デフォルトの名無しさん ：02/11/15 00:46
- C# 最強!
- 733 ：助けを求める者です ：02/11/16 23:08
- 「まいど３」によりスレッドが表示されません。
相談したらｒｅａｄ．ｃｇｉを止められているのが原因だそうです。
回避手段がここ（www.monazilla.org/)にあると聞いたのですが
なかなか発見できません。ご存知の方がいらしたら教えてください。
- 734 ：デフォルトの名無しさん ：02/11/16 23:30
- >>733
この板はソフトの作り方に関する板ですので、
使い方に関しては初心者板やソフトウェア板にどうぞ。
http://pc.2ch.net/pcqa/
http://pc3.2ch.net/software/
- 735 ：デフォルトの名無しさん ：02/11/17 13:05
- まちBBSのdatが読めないのはどうしてだろう？
サーバはどこのを使ってるかな。
- 736 ：デフォルトの名無しさん ：02/11/18 12:47
- まちBBSのdatが読めないのは仕様です。read.cgiで読んでください。
鯖会社はGVNです。
- 737 ：名無しさん ：02/11/20 05:45
- datが読めないのは拡張子がcgiだから
http://www.machibbs.com/tawara/dat/
- 738 ：デフォルトの名無しさん ：02/11/20 12:57
- JBBS＠したらばのdatは拡張子cgiだけど読めてた時期があったよ
IP丸見えはさすがにまずいので修正されたが。
質問の本質は「なぜ拡張子をcgiにしたりdatが読めないように
細工してるのか」という点だと思うが。
もうまちBBSはIP強制表示だしdatを読めなくするメリットが
見当たらない
- 739 ：デフォルトの名無しさん ：02/11/20 13:16
- そもそもdatが見える必要ってあるのかな
ＩＥとかからは必要もないし、ツールのために見せるのは本末店頭だと思われ
- 740 ：デフォルトの名無しさん ：02/11/20 14:53
- まちBBSの負荷がcgi叩かれるとどうにもならないくらい
増えてるんでなければどうでもいいとは言えるが
- 741 ：デフォルトの名無しさん ：02/11/20 15:07
- どっちでもいいならdatを読めるようにしてくれると助かる・・
- 742 ：デフォルトの名無しさん ：02/11/20 20:29
- リロード制限解除したJaneをばらまいてる香具師がいるな。
http://ex2.2ch.net/test/read.cgi/morningcoffee/1037541708/
- 743 ：nanashi-browser-man ：02/11/23 17:04
- 最近２ちゃんブラウザの開発を始めました。
VCで組んでいるのですが通信のプログラムとかサーバーへの負荷のこととか
よくわかってないんですが
subject.txtとかdatとかってCInternetSession使って以下のようなコードで
落としてきて問題ないんですよね？
-------------------------------------------------------------------------
char szBuff[1024];
CInternetSession session("My Session");
CStdioFile* pFile = session.OpenURL("http://money.2ch.net/xxx/dat/xxxxxxxxx.dat");
while( (pFile->Read(szBuff, 1024)) > 0 ){
CString str( szBuff );
}
pFile->Close();
-------------------------------------------------------------------------
- 744 ：相野 葵§‘｡‘ゞ§ ◆aoiaild7V. ：02/11/26 20:36
- http://members.tripod.co.jp/tatsu01
これめちゃめちゃ文字化けしてる
aoia@infoseek.jp
- 745 ：デフォルトの名無しさん ：02/11/26 21:03
- VBのランタイムをcheck!!
てかスレ違い
- 746 ：デフォルトの名無しさん ：02/11/27 22:14
- test
- 747 ：デフォルトの名無しさん ：02/11/27 22:16
- test
- 748 ：デフォルトの名無しさん ：02/11/27 22:23
- test
- 749 ：デフォルトの名無しさん ：02/11/27 22:29
- test
- 750 ：デフォルトの名無しさん ：02/11/27 22:37
- test
- 751 ：test ：02/11/27 22:50
- test
- 752 ：test ：02/11/27 22:55
- test
- 753 ：デフォルトの名無しさん ：02/11/27 22:56
- なにやってんの？
test
- 754 ：デフォルトの名無しさん ：02/11/27 22:59
- testですよ。
- 755 ：デフォルトの名無しさん ：02/11/27 23:07
- だから、このスレでテストするなって。
- 756 ：デフォルトの名無しさん ：02/11/27 23:08
- 直りました。さようなら。
- 757 ：デフォルトの名無しさん ：02/12/06 12:03
- ●テストで、offlaw.cgiにアクセスすると、
「もう つかえません」と出るんですが、どうしてでしょうか？
http://kage.monazilla.org/system_DOLIB100.html のページを参考にしています。
- 758 ：デフォルトの名無しさん ：02/12/06 12:20
- sessionIDはきちんとURLEncodeしませう
- 759 ：デフォルトの名無しさん ：02/12/06 12:44
- >>758 ども。
「もう つかえません」は出なくなりましたが、
今度は「そんな板orスレッドないです。」と出ます。
どうしてだろう。。
- 760 ：デフォルトの名無しさん ：02/12/06 12:48
- 2chから帰ってくるエラーメッセージは嘘ばっかだからな。
- 761 ：デフォルトの名無しさん ：02/12/06 17:25
- テストしたスレのURLを示してみたまえ。
- 762 ：デフォルトの名無しさん ：02/12/06 23:21
- >>757
既存のブラウザと自分のやつでアクセスしてみて、
何が違うのかを見てみるとよろしいのではないのでしょうか？
- 763 ：デフォルトの名無しさん ：02/12/07 08:11
- >>759
実際にないんじゃないのか。
絶対あると確信するならURL晒せ。
- 764 ：757 ：02/12/07 09:02
- GET /test/offlaw.cgi?bbs=tech&key=1012544484&sid=セッションID HTTP/1.1
Host: pc3.2ch.net
User-Agent: Monazilla/1.00 (UA/0.1)
Connection: Close
こんな感じでGET送ってます。返事は「そんな板orスレッドないです。」
●書き込みはできたので、セッションIDは間違ってないと思う。
（セッションIDが間違っている時は「もう つかえません」と出る）
DTA落ち中のスレに送った時も同様です。
ちなみにブラウザでURLにアクセスした時も、「もう つかえません」と出ます。
- 765 ：デフォルトの名無しさん ：02/12/07 09:06
- offlawは生いスレとか、htmlになったスレはとれない。
- 766 ：757 ：02/12/07 09:19
- >>765
それが、
http://news2.2ch.net/test/read.cgi/newsplus/1039022352/
のようなHTML化待ちのスレッドでも、「そんな板orスレッドないです。」
- 767 ：デフォルトの名無しさん ：02/12/07 09:38
- ついでに、Accept-Encoding:gzipも要る。
- 768 ：757 ：02/12/07 10:17
- ども。おかげさまでちょっとずつ進んでます・・
実はgzipなしでも、「そんな板orスレッドないです。」 の下に、
dat落ちしたスレッドを発見しましたというメッセージがあったのを発見しました。
でも、今度はこの発見したスレッドの取得ができません。。
（gzipにしてもしてなくても）
- 769 ：デフォルトの名無しさん ：02/12/07 12:00
- 公開されてるソースを参考にしなさい。
- 770 ：デフォルトの名無しさん ：02/12/08 00:53
- １スレのDATファイルのサイズって大体どれ位？
1〜1000までで200KBから400KBぐらいか
1MB超えることってあると思う？
- 771 ：デフォルトの名無しさん ：02/12/08 01:00
- 昔は10000レスのスレとかあったけど。
いまはスレ容量512kbでdat落ちしたはず。
- 772 ：770 ：02/12/08 01:06
- >>771
そんな仕様があったのか。サンクス
- 773 ：デフォルトの名無しさん ：02/12/08 01:16
- 俺が持ってるネオむぎスレのdat(youth/957323893)は、
2721422バイト 15283レス
2001/03/15 21:35まで。止まるまでにもう少し伸びたと思う。
- 774 ：デフォルトの名無しさん ：02/12/12 02:16
-
- 775 ：デフォルトの名無しさん ：02/12/13 10:53
- なるほど
- 776 ：デフォルトの名無しさん ：02/12/13 10:53
- ほう
- 777 ：デフォルトの名無しさん ：02/12/13 10:53
- と言う事で777ゲット
- 778 ：デフォルトの名無しさん ：02/12/13 10:55
- 無駄に長寿ですな。
- 779 ：bloom ：02/12/13 10:57
-
http://www.agemasukudasai.com/bloom/
- 780 ：デフォルトの名無しさん ：02/12/13 14:25
- スレのGETの仕方なのだけど、以下のロジックに欠陥はない?
ローカル.datのmtimeは、リモート.datのmtimeに合わせておく。
で、ローカル.datのラスト10レス分を切り出しておく
GET /bbs/dat/key.dat HTTP/1.1
Host: xxx.2ch.net
User-Agent: Monazilla/1.0 (omaemona)
If-Modified-Since: (ローカル.datの時刻)
Range: bytes=(最新10レスの位置)-
if (status == 304) {何もしない(変更無し)}
else if (status == 200) {今回取得したもので、全部差し替え}
else if (status == 206)
{
if (ローカル.datのラスト10が、今回取得したものの部分集合)
ローカルのラスト10を、今回取得したものとさしかえ
else
あぼーんがあったとみなし、全部取得
}
if (取得した部分があったら)
{
ローカル.datのmtimeを、リモートL-Mの時刻で変更
}
今、これでちょっとしたツールを動かしているのだけど、
Squidなどのキャッシュ串相手のときは、キャッシュをスルー
させるリクエストを入れないと、206を返してくれなくなる。
- 781 ：デフォルトの名無しさん ：02/12/13 14:41
- うむ、proxy通す時はPragma:no-cacheは必要だな。
それと、今の2chのapacheは(互換板もだけど)416を返すから対処した方がいい。
もちろん404(302)の他、500等も対処してるよね？
あと、根本的に10レス前から取得する意味がわかんない。
1バイト前じゃだめなの？確かに確実ではないけど。
- 782 ：デフォルトの名無しさん ：02/12/14 15:59
- >>780
ローカルのファイルシステムがFATだとmtimeを合わせられるとは限らない。
- 783 ：デフォルトの名無しさん ：02/12/15 13:47
- いつの間にか「Set-Cookie: SPID=」が「Set-Cookie: PON=」に変わってるやんけ！
腹立つぞ。age
- 784 ：780 ：02/12/15 14:02
- >>781
416は見落としてますた。当方で実験したときは、
206を返せないときは200だったので。
最新10レスを取得しに行くのは、一貫性チェックと
転送量抑制の落としどころを狙ったものです。
1レスだと、手が滑った連続投稿によるズレが識別
できないパターンが考えられて。
1バイトはさすがにどうかと思うんですが。
環境はPerl+LWP on Linuxどす。
>>782
ああそうだ、FATにはそんな仕様があったんだ…
鬱だ氏のう
226KB
新着レスの表示
スレッドリストへ戻る 全部 前100 次100 最新50
0ch BBS 2004-10-30