HTTP Client

Tato knihovna se skládá z modulů:

• Http Client System Module - základní systémový modul
• Http Client Customization Module - modul umožňující komplikovanější konfigurace HTTP klientů

Konfigurace

Oba moduly mají z důvodu různých typů i různé možnosti konfigurace.

Http Client System ModuleZkopírovat odkaz na sekci

Tento modul lze konfigurovat pouze parametry v .properties souborech. Protože se jedná o systémový modul, nemá nikde XML konfiguraci.

Http Client Customization ModuleZkopírovat odkaz na sekci

Modul slouží pro pokročilejší nastavení HTTP klientů.

Umožňuje konfiguovat pojmenované klienty standardním způsobem v XML konfiguraci. Například takto:

1<httpclientcustomizationmodule>2
3    <httpConnection name="default">4        <proxy hostname="test-proxy.cz" port="80"/>5    </httpConnection>6
7    <httpConnection name="auth">8        <auth hostname="auth-server.cz" username="username" password="pass123"/>9    </httpConnection>10
11    <httpConnection name="proxy">12        <proxy hostname="other-proxy.cz" port="8080"/>13    </httpConnection>14
15    <httpConnection name="mapping">16        <dns>17            <hostMapping from="www.my-url.com" to="internal-infrastructure-url"/>18        </dns>19        <port>20            <portMapping hostname="www.my-url.com" from="80" to="8888"/>21            <portMapping hostname="www.my-url.com" from="443" to="8889"/>22        </port>23    </httpConnection>24
25    <httpConnection name="timeout" timeout="30000"/>26
27    <httpConnection name="basic"/>28
29</httpclientcustomizationmodule>

Konfigurace je složena z tagů httpConnection, ty mají následující parametry:

Pokud má parametr name hodnotu default je jím přenastavena konfigurace standardního klienta definovaná v systémovém modulu.

Každá konfigurace spojení může obsahovat jednu konfiguraci proxy:

Dále je u každého spojení možné definovat i více autentikačních konfigurací pro různé rozsahy domén či portů, a to pomocí tagu auth:

Nastavené httpConnectiony nedědí vlastnosti HttpClientSystemModulu.

Každá konfigurace spojení může obsahovat jednu konfiguraci dns uvnitř pak jedno nebo více nastavení pro hostMapping:

Každá konfigurace spojení může obsahovat jednu konfiguraci port uvnitř pak jedno nebo více nastavení pro portMapping:

Modul s podporou konfigurace http clientaZkopírovat odkaz na sekci

Každý modul, který používá http klienta lze upravit, aby konfigurace těchti klientů šla modifikovat přímo v konfiguraci modulu. Konfigurace se pak vkládá do elementu httpClient. Konfigurace by pak měla obsahovat pouze nastavení platné pro daný modul.

1<fulltextmodule>2    <httpClient>3        <httpConnection name="fulltext">4            <dns>5                <hostMapping from="${fulltext.host.virtual}" to="${fulltext.host.name}"/>6            </dns>7            <auth preemptiveAuthentication="true" hostname="${fulltext.host.virtual}" username="${fulltext.host.username}" password="${fulltext.host.password}"/>8        </httpConnection>9    </httpClient>10</fulltextmodule>

Doplnění podpory vlastní konfigurace do moduluZkopírovat odkaz na sekci

Probíhá pomocí HttpClientConfigurationLoader v metodě setupModuleBeforeSpringInitialization

1class MyModule extends CpsSpringModuleAbstract {2    @Override3    public void setupModuleBeforeSpringInitialization(Map<String,Object> params) {4        // allow http client configuration5        HttpClientConfigurationLoader.configureHttpClient(getModuleSupport());6    }7}

Získání http klienta

1. Pomocí HttpClientProviderZkopírovat odkaz na sekci

Modul poskytuje provider com.fg.httpclient.service.HttpClientProvider s veřejným rozhraním pro získání různých implementací http klienta.

Jsou podporovány:

• Edee http client - com.fg.httpclient.model.EdeeHttpClient
• Apache HttpClient v4 - org.apache.http.client.HttpClient
• Google HTTP Client Library - com.google.api.client.http.HttpTransport, com.google.api.client.http.HttpRequestFactory
• Spring Framework - org.springframework.web.client.RestTemplate, org.springframework.http.client.ClientHttpRequestFactory

Provider vrácí klienta pro danou konfiguraci určenou názvem, který odpovídá httpConnection#name. Opakované volání se stejným názvem vrací stejnou instanci klienta.

V případě, že konfigurace není zaregistrována v CentralHttpClientConfigurationManager, je klient vytvořen s výchozí konfigurací.

Příklad:

1@Autowired2private final HttpClientProvider httpClientProvider;3
4private HttpClient createHttpClient() {5    return httpClientProvider.getApacheHttpClient("myModule");6}

Vlastní výchozí konfiguraceZkopírovat odkaz na sekci

Vhodnější je spoléhat na výchozí nastavení a možnost jejího přenastavení, ale nic nebrání aplikační konfiguraci

1@Autowired2private final CentralHttpClientConfigurationManager centralHttpClientConfigurationManager;3
4private void prepareConfiguration(String connectionName) {5    if(centralHttpClientConfigurationManager.getHttpConnectionConfiguration(connectionName)==null) {6        HttpConnectionConfiguration httpConnection=new HttpConnectionConfiguration();7        httpConnection.setName(connectionName);8        AuthenticationConfiguration authentication=new AuthenticationConfiguration();9        authentication.setCredentials(new Credentials("userName","apiKey"));10        httpConnection.addAuthentication(authentication);11        centralHttpClientConfigurationManager.addHttpConnectionConfiguration(httpConnection);12        }13    }

2. Pomocí Factory Beany ve spring-contextu.Zkopírovat odkaz na sekci

Knihovna poskytuje sjednocenou konfiguraci pro různé druhy implementací HTTP klienta. Instance jednotlivých implementací lze v modulech vytvářet pomocí Factory Bean.

Vždy je vhodné použít vlastní název pomocí atributu httpConnectionName. To umožní nezávisle konfigurovat nastavení klienta pomocí Http Client Customization Module.

Knihovna obsahuje následující Factory Beany:

• Apache HttpClient - com.fg.httpclient.service.ApacheHttpClientFactoryBean vytváří instanci org.apache.http.client.HttpClient
• Google HttpRequestFactory - com.fg.httpclient.service.GoogleHttpRequestFactoryFactoryBean vytváří instanci com.google.api.client.http.HttpRequestFactory
• Google HttpTransport - com.fg.httpclient.service.GoogleHttpTransportFactoryBean vytváří instanci com.google.api.client.http.HttpTransport
• Spring ClientHttpRequestFactory - com.fg.httpclient.service.SpringClientHttpRequestFactoryFactoryBean vytváří instanci org.springframework.http.client.ClientHttpRequestFactory
• Spring RestTemplate - com.fg.httpclient.service.SpringRestTemplateFactoryBean vytváří instanci org.springframework.web.client.RestTemplate

Dědičnost nastavení klientů

Volání HttpClientProvider.getXXXHttpClient("myModule") vrátí:

• klienta dle konfigurace httpConnection v rámci HttpClientCustomizationModule
• pokud konfigurace neexistuje, pak klienta s výchozím nastavením HttpClientSystemModulu

Pokud vám některé z nastavení HttpClientSystemModulu nevyhovuje (například proxy), jednoduše si do HttpClientCustomizationModulu zaveďte vlastní httpConnection s vlastním nastavením.

Test podpora

V testech lze používat HttpClientProvider vytvořený pomocí com.fg.httpclient.test.HttpClientProviderMockFactoryBean

Pro EdeeHttpClient je připravena specifická mock podpora.

Monitoring

Všechny beany vytvořené pomocí Factory Bean jsou automaticky monitorované. Informace o requestech prováděných pomocí nich jsou jednak ukládána do in memory implementace com.fg.httpclient.monitoring.InMemoryHttpClientMonitoringManager, a jednak vypisována do logu. Vypisování neúspěšných requestů má úroveň logování error, zatímco úspěšné requesty se logují na úrovni debug.

Diagnostika v edee

V sekci diagnostika lze zobrazit statistiky - ty se vypočítávají za posledních 30 min, maximálně však za posledních 1000 requestů. Stejně je dostupný seznam posledních http požadavků.

Od verze Edee 9.1.0 je diagnostika součástí Edee UI a níže uvedený modul není nutné specifikovat (je doporučeno ho odstranit, nic nedělá).

1<!-- odstranit, od v9.1. není potřeba -->2<httpclientviewermodule>3    <gui ramJetModuleName="edeeui" parentSection="edee" admin="true" defaultSetup="true"/>4</httpclientviewermodule>

Problémy, které mohou nastat a jejich řešení

V logu aplikace se může objevit následující chyba:

1I/O exception (org.apache.http.NoHttpResponseException) caught when processing request to {s}->https://127.11.16.1:443: The target server failed to respond

Chyba samozřejmě může znamenat, že opravdu došlo k situaci, kdy byl zavolán cílový server, který ale nevrátil odpověď. To se může stát, pokud by se požadavek trefil do restartu, nebo by po provedení požadavku vypadla komunikace a je třeba to ověřit. Nicméně pokud se chyba vyskytuje často, pak to pravděpodobně ukazuje na jiný problém. Connection pooling si totiž drží connection v podstatě neomezeně dlouhou dobu, ale cílový server toto nepodporuje a connections po určité době sám uzavírá. Do poolu se ale tato informace nedostane, takže se HTTP manager pokusí provést komunikaci na connection, která je ale už neplatná (stale connection). Uzavírání connections se běžně děje na našich serverech, kde je toto nakonfigurován v HAProxy.

Jak tento problém řešit? Jednou z možností je v poolingu nastavit parametr connectionTimeToLive, kterým se omezí doba platnosti connection v poolu. Hodnotu je vždy nutné nastavit po diskuzi s TA (či externím dodavatelem) a obecně by asi měla být nastavena vždy.

Další možností, která by měla být v poolingu standardně zapnutá, je využití ConnectionKeepAliveStrategy, kdy si aplikace přečte z response hlavičku keep-alive a hodnotu timeout použije pro nastavení idleDuration connection. Tím by měla být nastavená platnost connection, pokud se nepoužívá. Nicméně pokud se používá, tak dle dokumentace dochází k tomu, že se platnost nastaví vždy po zpracování každé odpovědi znovu a parametr max z keep-alive hlavičky je ignorován (alespoň aktuálně tomu tak je). Tj. i tak je asi vhodné nastavit i connectionTimeToLive, aby se connection čas od času obnovila.

Pokud výše uvedené nepomůže (např. proto, že cílový server je nestabilní/často přetížený), pak je možné ještě na poolingu zapnout RetryHandler viz parametr retryCount a automaticky opakovat požadavky. Jen pozor, pokud je výsledkem požadavku to, že na cílovém serveru přibudou nějaká data, pak se může stát, že díky opakovanému požadavku tam ta data vzniknou vícekrát.

Další možnosti

Makro akceZkopírovat odkaz na sekci

• HTTP Request akce - slouží pro automatizované volání HTTP requestů s možností ukládání odpovědí do souborů

Edee http clientZkopírovat odkaz na sekci

• Edee http client - http klient s jednoduchým použitím