{
"url": "https://example.com",
"status_code": 200,
"markdown": "This domain is for use in documentation examples without needing permission.",
"stats": {
"word_count": 25,
"char_count": 156,
"estimated_llm_tokens": 39,
"reading_time_minutes": 0.1
},
"metadata": {
"title": "Example Domain",
"canonical_url": null,
"headings": [
{
"level": 1,
"text": "Example Domain"
}
]
}
}
curl --location --request GET 'https://zylalabs.com/api/15142/llm+webpage+markdown+extractor+api/40415/convert+webpage+to+clean+markdown?url=https://example.com&include_links=true&include_metadata=true&check_ai_files=false' --header 'Authorization: Bearer YOUR_API_KEY'
{
"url": "https://example.com",
"status_code": 200,
"metadata": {
"title": "Example Domain",
"description": null,
"open_graph": [],
"json_ld": []
},
"ai_files": {
"llms_txt": {
"present": false,
"status_code": 404
},
"robots_txt": {
"present": false,
"status_code": 404
}
}
}
curl --location --request GET 'https://zylalabs.com/api/15142/llm+webpage+markdown+extractor+api/40416/extract+webpage+metadata+and+ai+readiness?url=https://example.com&check_ai_files=true' --header 'Authorization: Bearer YOUR_API_KEY'
साइन अप करने के बाद, प्रत्येक डेवलपर को एक पर्सनल API एक्सेस की असाइन की जाती है, जो अक्षरों और अंकों का एक यूनिक संयोजन होता है, जिसका उपयोग हमारे API एंडपॉइंट तक पहुंचने के लिए किया जाता है। प्रमाणीकरण के लिए LLM वेबपेज मार्कडाउन एक्सट्रैक्टर API के साथ बस अपने बेयरर टोकन को Authorization हेडर में शामिल करें।
| हेडर | विवरण |
|---|---|
Authorization
|
आवश्यक
होना चाहिए Bearer access_key. जब आप सब्सक्राइब हों तो ऊपर "Your API Access Key" देखें।
|
कोई लंबी अवधि की प्रतिबद्धता नहीं। कभी भी अपग्रेड, डाउनग्रेड या कैंसल करें। फ्री ट्रायल में 50 रिक्वेस्ट तक शामिल हैं।
(वार्षिक बिलिंग के साथ 2 महीने बचाएँ 🎉)
किसी भी सार्वजनिक वेबपेज को बड़े भाषा मॉडलों और रिट्रीवल पाइपलाइनों के लिए अनुकूलित साफ़-सुथरे, बॉयलरप्लेट-मुक्त Markdown में बदलें, जिसमें टोकन अनुमान, OpenGraph टैग, JSON-LD डेटा और llms.txt जाँच शामिल हों
स्क्रिप्ट, स्टाइल, नेविगेशन बार और कुकी बैनर हटाने से टोकन का उपयोग बहुत कम हो जाता है, जबकि सटीक पुनर्प्राप्ति और सारांश के लिए शीर्षक, तालिकाएँ, सूचियाँ और कोड ब्लॉक सुरक्षित रहते हैं
API पेज शीर्षक मेटा विवरण कैनोनिकल लिंक OpenGraph टैग Twitter Cards JSON-LD Schema ब्लॉक हेडिंग आउटलाइन और डुप्लिकेट हटाए गए आंतरिक तथा बाहरी लिंक को पार्स करता है
सक्षम होने पर, सेवा llms.txt और robots.txt फ़ाइलों के लिए साइट रूट की जाँच करती है और उनका HTTP स्थिति कोड और सामग्री का पूर्वावलोकन लौटाती है
यह अनुरोधित URL HTTP स्थिति कोड साफ़ किया गया Markdown सामग्री सामग्री के आँकड़े और बुनियादी मेटाडेटा लौटाता है Markdown में मुख्य पृष्ठ सामग्री एक संरचित पठनीय प्रारूप में होती है जबकि मेटाडेटा में शीर्षक कैनोनिकल URL और शीर्षकों का पदानुक्रम शामिल हो सकता है
`word_count` निकाले गए शब्दों की संख्या है, `char_count` वर्णों की संख्या है, `estimated_llm_tokens` भाषा-मॉडल टोकन उपयोग का अनुमान है, और `reading_time_minutes` पढ़ने में लगने वाले समय का अनुमान है। ये मान प्रॉम्प्ट, पुनर्प्राप्ति खंडों और प्रसंस्करण कार्यभार का आकार निर्धारित करने में मदद करते हैं
यह पृष्ठ का URL और स्थिति कोड लौटाता है साथ ही शीर्षक विवरण OpenGraph डेटा JSON-LD ब्लॉक कैननिकल जानकारी शीर्षक और पृष्ठ लिंक जैसे मेटाडेटा भी देता है यह यह भी बताता है कि `llms.txt` और `robots.txt` उपलब्ध हैं या नहीं और उनके स्थिति कोड शामिल करता है
प्रतिक्रियाएँ JSON ऑब्जेक्ट होती हैं। साफ़ पृष्ठ सामग्री Markdown स्ट्रिंग के रूप में दी जाती है, जबकि आँकड़े, मेटाडेटा, संरचित टैग, लिंक और AI-फ़ाइल जाँच नेस्टेड ऑब्जेक्ट या ऐरे के रूप में दर्शाए जाते हैं। JSON-LD मान डाउनस्ट्रीम पार्सिंग के लिए उपयुक्त संरचित डेटा बने रहते हैं
यह सेवा दिए गए सार्वजनिक HTTP या HTTPS URL को प्राप्त करती है और नेविगेशन स्क्रिप्ट तथा कुकी बैनर जैसी आम गैर-ज़रूरी सामग्री को हटाकर पृष्ठ की मुख्य सामग्री की पहचान करती है परिणाम अलग-अलग हो सकते हैं यदि कोई पृष्ठ पहुंच से बाहर हो क्लाइंट-साइड पर बहुत अधिक रेंडर किया गया हो या उसमें निकालने योग्य सामग्री कम हो
`http://` या `https://` का उपयोग करके सार्वजनिक रूप से पहुंच योग्य वेबपेज URL दें। एंडपॉइंट उस पेज को प्रोसेस करता है और जवाब में परिणामी HTTP स्थिति बताता है। निजी, प्रमाणीकरण-सुरक्षित या अन्यथा पहुंच से बाहर पेजों की पूरी सामग्री प्राप्त नहीं हो सकती है
विवरण, कैनोनिकल URL, OpenGraph ऐरे और JSON-LD ऐरे जैसे फ़ील्ड को वैकल्पिक मानें `null` मान या खाली ऐरे का आम तौर पर अर्थ है कि स्रोत पेज ने वह जानकारी उपलब्ध नहीं कराई, न कि अनुरोध विफल हुआ HTTP स्थिति कोड से फ़ेच की सफलता का आकलन करें
Markdown फ़ील्ड को प्राथमिक दस्तावेज़ पाठ के रूप में उपयोग करें, शीर्षकों को अनुभाग सीमाओं के रूप में मानें और टोकन अनुमानों से खंड का आकार तय करें। अनुक्रमण के लिए शीर्षकों, मानक URL और संरचित मेटाडेटा का उपयोग करें, जबकि `llms.txt` और `robots.txt` के परिणाम मशीन-पठनीय साइट मार्गदर्शन का आकलन करने में मदद करते हैं