Từ 1 tới 3 trên tổng số 3 kết quả

Đề tài: Request trang web

  1. #1
    Ngày gia nhập
    03 2008
    Bài viết
    9

    Mặc định Request trang web

    Mình đang viết một chương trình lấy thông tin từ một trang web. Tuy nhiên, trong quá trình làm mình gặp phải 2 vấn đề sau:
    1. Trang abc.com có hơn 22.000 doanh nghiệp. Mình mới lấy được 2000 thì server không cho truy cập vào do request quá nhiều
    2. Trang xyz.com sử dụng Javascript để truy cập vào các trang con. Khi click vào một link con trong trang chủ, vẫn thấy URI: xyz.com ==> không biết phải truy cập vào các trang con ntn để lấy dữ liệu???
    Mọi người có ý tưởng gì không?

  2. #2
    Ngày gia nhập
    01 2008
    Nơi ở
    Gameloft Studio
    Bài viết
    294

    1. Trang abc.com có hơn 22.000 doanh nghiệp. Mình mới lấy được 2000 thì server không cho truy cập vào do request quá nhiều
    Nó chặn IP rồi. Bạn chỉ cần đổi IP (khởi động lại router ADSL) là có thể lấy tiếp.

    2. Trang xyz.com sử dụng Javascript để truy cập vào các trang con. Khi click vào một link con trong trang chủ, vẫn thấy URI: xyz.com ==> không biết phải truy cập vào các trang con ntn để lấy dữ liệu???
    Cái này bạn có thể sử dụng FireBug của Firefox để debug từng đoạn JavaScript khi website đó đang request bằng javascript (ajax), may mắn thì vẫn có thể tìm ra path request của Webservices.

    Có 1 số website họ dùng ajax nhưng được bảo mật rất tốt thì chịu thua vì nó chỉ request cho đúng người truy cập chính thống, nói đơn giản hơn là Javascript nó được server request khi site đang chạy chứ ko phải load từ đầu khi pages load và đoạn javascript này khá bảo mật vì nó đã được đánh dấu bằng các session.

    Nhưng nói chung là ko có cách nào có thể che dữ liệu đi được. Nếu bạn hay hacker nó muốn lấy thì vẫn lấy được thôi. Điều cơ bản là bạn phải hiểu rõ về POST và GET, HTTP protocol và vẫn có thể giả lập y chang như 1 chương trình lướt web.

    Còn khó quá thì bạn có thể làm bằng tay như copy + paste dữ liệu ra excel chẳng hạn rồi viết chương trình đọc file excel này cũng được!!! ....

    Chúc may mắn nhé!

  3. #3
    Ngày gia nhập
    03 2008
    Bài viết
    9

    Cảm ơn Zcoder87
    Mình vừa giải quyết xong vấn đề thứ nhất. Sau khoảng 1000 lần request mình sử dụng Thread.Sleep() để tạm dừng trong a phút (a: mình dùng hàm random để nó chịu thua luôn).
    Vấn đề thứ 2 mình sẽ thử làm xem.

Các đề tài tương tự

  1. Custom request tới IIS
    Gửi bởi tamhd_vn88 trong diễn đàn Thắc mắc lập trình ASP.NET
    Trả lời: 0
    Bài viết cuối: 18-06-2013, 04:10 PM
  2. Cách khắc phục trang ASP.Net không respone lại khi có request?
    Gửi bởi nguyennghiem1205 trong diễn đàn Thắc mắc lập trình ASP.NET
    Trả lời: 2
    Bài viết cuối: 16-04-2013, 09:51 AM
  3. Lấy tất cả các request khi truy cập một trang web?
    Gửi bởi dlover trong diễn đàn Thắc mắc lập trình C#
    Trả lời: 0
    Bài viết cuối: 11-04-2012, 12:03 PM
  4. Tạo 1 request GET để lấy dữ liệu ứng với URL
    Gửi bởi sieuthanh trong diễn đàn Thắc mắc lập trình C/C++ trên Linux
    Trả lời: 2
    Bài viết cuối: 30-11-2011, 03:57 PM
  5. Xin tài liệu về http request
    Gửi bởi hoangtucodon121 trong diễn đàn Nhập môn lập trình C#, ASP.NET
    Trả lời: 1
    Bài viết cuối: 12-11-2011, 02:26 PM

Quyền hạn của bạn

  • Bạn không thể gửi đề tài mới
  • Bạn không thể gửi bài trả lời
  • Bạn không thể gửi các đính kèm
  • Bạn không thể chỉnh sửa bài viết của bạn